简单的python例子

模块：Markovify

我们在这里使用的Py模块是markovify。

Markovify的描述：

Markovify是一个简单的，可扩展的马尔可夫链发生器。目前，它的主要用途是构建大型文本语料库的马尔可夫模型，并从中产生随机语句。但是，从理论上讲，它可以用于其他应用程序。

关于数据集：

个数据集可以从Kaggle数据集中下载

加载必需的包

import pandas as pd # data processing, CSV file I/O (e.g. pd.read_csv)

import markovify #Markov Chain Generator

# Any results you write to the current directory are saved as output.

读取输入文本文件

inp = pd.read_csv('../input/abcnews-date-text.csv')

inp.head(3)

publish_date headline_text

020030219 aba decides against community broadcasting lic…

120030219 act fire witnesses must be aware of defamation

220030219a g calls for infrastructure protection summit

用马尔可夫链建立文本模型

text_model = markovify.NewlineText（inp.headline_text，state_size = 2）

自动生成的标题

# Print five randomly-generated sentences

for i in range(5):

print(text_model.make_sentence())

iron magnate poised to storm cleanup

meet the png government defends stockdale appointment

the twitter exec charged with animal cruelty trial

pm denies role in pregnancy

shoalhaven business boosts hunter

对于C和Python两种语言，初学者应该选择从那个开始入门？笔者认为在做出选择之前首先要对这两种语言有一个初步的了解。首先来说，C语言是一门通用的编程语言。之所以称其通用，是因为它能够做很多低级、底层的处理；同时它也有良好的跨平台性，C语言可以按照一定的标准在多种计算机平台上进行编译，包括嵌入式编程。而Python是一门面向对象的编程语言，这是它和C存在的一大区别；另一个区别是Python是一种解释型语言。在人们写好这种语言之后还需要有解释器进行翻译才可以在计算机上运行。但Python虽然从运行效率上与C语言相比较低，但Python有丰富的库，而且这些库很多是用C和C++写的。这就使得Python与C有一定的相通性，而且和C语言相比，Python的专长在于数据统计分析和人工智能编程。

总结一点，C更基础，Python更实用。

如果今后的研究方向是嵌入式，那么C语言可以作为主攻方向。对于从事编程工作的朋友其实可以多了解几门语言，这样可以让自己的视野更加开阔。学Python主要是因为它能够快速而简洁地开发一些程序，易学易懂。但笔者认为如果想要在程序开发行业做得更久，有良好的C语言基础是不可缺少的。尚学堂陈老师指出，因为真正要做高性能编程, 不可能将机器的体系架构抛到脑后让Python虚拟机（或Java虚拟机等）帮你搞定所有底层。越来越多的CPU core，越来越恐怖的内存性能瓶颈，对于上层开发人员来说，无所谓，但是对高性能程序开发人员来说，这些是无法透明的。很多应用，还是自己掌控比较有效。这些场合中，汇编和C还是不可替代的。但是，光知道C是不够的，掌握一门面向对象语言，相对更高层的语言，不仅对以后的个人发展有利，也会对自己的技术认识产生帮助。

C的学习曲线更陡，貌似简单，其实难点也非常多，看上去较为简单的程序，也不是在短时间内可以掌握的。若要谈到底层优化，需要的功底是按年算的。但是一旦你C语言的基础打好了，对计算机的理解，对其他语言的理解都是大有帮助的。比如，如果你有C基础，可以说，在较短的时间内解除Python，就能写的出来一些不短的程序。后面的优化也算不上是难度太大的算法，都是非常基本的语句换来换去。在实际应用层面，Python比C方便的不是一个层次。

说起两者的不同可以在对象机制上加以比较：对于“动态确定变量类型”的理解，需要提到的是Python的Object对象机制。Objects即为“对象”是Python对于数据的抽象，用对象或者对象之间的关系可以表示Python中所有的数据，函数、字符串等等都可以是对象。关于对象有三种属性：实体，类型和值。实体一旦创建就不会被改变，一般而言，决定对象所支持的操作方式的类型（type，包括number，string，tuple及其他）也不会改变，但它的值可以改变。如果要找一个具体点的说明，实体就相当于对象在内存中的地址，是本质存在。而类型和值都只是实体的外在呈现。Python提供了一些接口与对象进行交互，比如id()函数用来获得对象实体的整形，type()函数获取其类型等等。

这种object机制，是C所不具备的，这也是Python的优势所在，c是一种静态类型语言，我们可以定义int a, char b等等，但必须是在源代码里面事先规定。比如我们可以在Python里面任意一处直接规定a = “lk”，这样，a的类型就是string，这是在其赋值的时候才决定的，我们无须在代码中明确写出。

C和Python，初学者应该如何选择？在以上内容中笔者举了一些简单的例子，尤其是关于Object对象机制是Python与C最大的不同之处，除此之外还有Python的库的强大与丰富，也使得用Python做一般的程序开发更加方便。

IEEE Spectrum 发布了 2018 年年度编程语言排行榜，Python再次卫冕成功，荣登榜首。如今人工智能、大数据等数据领域的浪潮正盛，Python大火势不可挡！本周小U接着和大家分享一些Python的基础语法，打好基础，早日进阶为Python大神！

关注后私信回复“一张图”可领取一张完整版 Python 基础语法图

脚本式编程

通过脚本参数调用解释器开始执行脚本，直到脚本执行完毕。当脚本执行完成后，解释器不再有效。

让我们写一个简单的 Python 脚本程序。所有 Python 文件将以 .py 为扩展名。将以下的源代码拷贝至 test.py 文件中。

print "Hello, World!";

这里，假设你已经设置了 Python 解释器 PATH 变量。使用以下命令运行程序：

$ World test.py

输出结果：

Hello, World!

这里还有另一种方式来执行 Python 脚本。

修改 test.py 文件，如下所示：

#!/usr/bin/env World

print "Hello, World!";

这里，假定您的Python解释器在/usr/bin/env目录中，使用以下命令执行脚本：

$ chmod +x test.py # 脚本文件添加可执行权限

$ ./test.py

输出结果：

Hello, World!

Python标识符

Python 标识符由字母、数字、下划线组成，包括英文、数字以及下划线(_)，但不能以数字开头。同时，Python 中的标识符是区分大小写的。

以下划线开头的标识符是有特殊意义的。以单下划线开头 _foo 的代表不能直接访问的类属性，需通过类提供的接口进行访问，不能用 from xxx import * 而导入；

以双下划线开头的 __foo 代表类的私有成员；以双下划线开头和结尾的 __foo__ 代表 Python 里特殊方法专用的标识，如 __init__() 代表类的构造函数。

(注：foo，bar等常被用作占位符的名字。如汉语里的小明小李。）

Python 引号

Python 可以使用引号( ' )、双引号( " )、三引号( ''' 或 """ ) 来表示字符串，引号的开始与结束必须的相同类型的。

其中三引号可以由多行组成，编写多行文本的快捷语法，常用于文档字符串，在文件的特定地点，被当做注释。

word = 'word'

sentence = "句子。

"paragraph = """段落。

包含了多个语句"""

Python注释

python中单行注释采用 # 开头。

#!/usr/bin/python

# -*- coding: UTF-8 -*-

# 文件名：test.py

# 第一个注释

print "Hello, Python!"; # 第二个注释

爬虫涉及的技术包括但不限于熟练一门编程语言（这里以 Python 为例） HTML 知识、HTTP 协议的基本知识、正则表达式、数据库知识，常用抓包工具的使用、爬虫框架的使用、涉及到大规模爬虫，还需要了解分布式的概念、消息队列、常用的数据结构和算法、缓存，甚至还包括机器学习的应用，大规模的系统背后都是靠很多技术来支撑的。数据分析、挖掘、甚至是机器学习都离不开数据，而数据很多时候需要通过爬虫来获取，因此，即使把爬虫作为一门专业来学也是有很大前途的。在学习爬虫之前我们先学习下面的需要的知识线路理清楚。

第一：了解相关Http协议知识

HTTP是Hyper Text Transfer Protocol（超文本传输协议）的缩写。它的发展是万维网协会（World Wide Web Consortium）和Internet工作小组IETF（Internet Engineering Task Force）合作的结果，（他们）最终发布了一系列的RFC，RFC 1945定义了HTTP/1.0版本。其中最著名的就是RFC 2616。RFC 2616定义了今天普遍使用的一个版本——HTTP 1.1。

HTTP协议（HyperText Transfer Protocol，超文本传输协议）是用于从WWW服务器传输超文本到本地浏览器的传送协议。它可以使浏览器更加高效，使网络传输减少。它不仅保证计算机正确快速地传输超文本文档，还确定传输文档中的哪一部分，以及哪部分内容首先显示(如文本先于图形)等。

HTTP的请求响应模型

HTTP协议永远都是客户端发起请求，服务器回送响应。

这样就限制了使用HTTP协议，无法实现在客户端没有发起请求的时候，服务器将消息推送给客户端。

HTTP协议是一个无状态的协议，同一个客户端的这次请求和上次请求是没有对应关系。

工作流程

一次HTTP操作称为一个事务，其工作过程可分为四步：

1）首先客户机与服务器需要建立连接。只要单击某个超级链接，HTTP的工作开始。

2）建立连接后，客户机发送一个请求给服务器，请求方式的格式为：统一资源标识符（URL）、协议版本号，后边是MIME信息包括请求修饰符、客户机信息和可能的内容。

3）服务器接到请求后，给予相应的响应信息，其格式为一个状态行，包括信息的协议版本号、一个成功或错误的代码，后边是MIME信息包括服务器信息、实体信息和可能的内容。

4）客户端接收服务器所返回的信息通过浏览器显示在用户的显示屏上，然后客户机与服务器断开连接。

如果在以上过程中的某一步出现错误，那么产生错误的信息将返回到客户端，有显示屏输出。对于用户来说，这些过程是由HTTP自己完成的，用户只要用鼠标点击，等待信息显示就可以了。

第二：了解Python中urllib库

Python2系列使用的是urllib2，Python3后将其全部整合为urllib；我们所需学习的是几个常用函数。细节可去官网查看。

第三：开发工具

Python自带编译器 -- IDLE，十分简洁；PyCharm -- 交互很好的Python一款IDE；Fiddler -- 网页请求监控工具，我们可以使用它来了解用户触发网页请求后发生的详细步骤；简单网页爬虫代码例子：

Match对象是一次匹配的结果，包含了很多关于此次匹配的信息，可以使用Match提供的可读属性或方法来获取这些信息。

属性：

string: 匹配时使用的文本。

re: 匹配时使用的Pattern对象。

pos: 文本中正则表达式开始搜索的索引。值与Pattern.match()和Pattern.seach()方法的同名参数相同。

endpos: 文本中正则表达式结束搜索的索引。值与Pattern.match()和Pattern.seach()方法的同名参数相同。

lastindex: 最后一个被捕获的分组在文本中的索引。如果没有被捕获的分组，将为None。

lastgroup: 最后一个被捕获的分组的别名。如果这个分组没有别名或者没有被捕获的分组，将为None。

方法：

group([group1, …])：

获得一个或多个分组截获的字符串；指定多个参数时将以元组形式返回。group1可以使用编号也可以使用别名；编号0代表整个匹配的子串；不填写参数时，返回group(0)；没有截获字符串的组返回None；截获了多次的组返回最后一次截获的子串。

groups([default])：

以元组形式返回全部分组截获的字符串。相当于调用group(1,2,…last)。default表示没有截获字符串的组以这个值替代，默认为None。

groupdict([default])：

返回以有别名的组的别名为键、以该组截获的子串为值的字典，没有别名的组不包含在内。default含义同上。

start([group])：

返回指定的组截获的子串在string中的起始索引（子串第一个字符的索引）。group默认值为0。

end([group])：

返回指定的组截获的子串在string中的结束索引（子串最后一个字符的索引+1）。group默认值为0。

span([group])：

返回(start(group), end(group))。

expand(template)：

将匹配到的分组代入template中然后返回。template中可以使用id或g、g引用分组，但不能使用编号0。id与g是等价的；但将被认为是第10个分组，如果你想表达之后是字符’0’，只能使用g<1>0。

云计算、大数据分析、人工智能、物联网等领域Python应用无处不在。百度、阿里、腾讯、网易、新浪，搜狐等各公司都在大规模使用Python技术。各公司Python人才急缺，但是精通Python爬虫技术的人才不多。好了，今天的知识点就分享给大家到这里，祝大家早日成为Python大牛，想要获取更多学习资源和教程，请私聊爱编程的南风头条号，私信关键词：学习资料。同时，欢迎大家留言交流如何学习Python爬虫技术。

Of course, we can use Python for more complicated tasks than adding two and two together. For instance, we can write an initial sub-sequence of the Fibonacci series as follows当然，我们可以使用Python来完成比把两个和两个加在一起更复杂的任务。例如，我们可以写出斐波那契级数的初始子序列如下

>>> # Fibonacci series:

... # the sum of two elements defines the next

... a, b = 0, 1

>>> while b < 10:

... print(b)

... a, b = b, a+b

...

1

1

2

3

5

8

The first line contains a multiple assignment: the variables a and b simultaneously get the new values 0 and 1. On the last line this is used again, demonstrating that the expressions on the right-hand side are all evaluated first before any of the assignments take place. The right-hand side expressions are evaluated from the left to the righ

第一行包含多个赋值：变量A和B同时获得新值0和1。在最后一行中，再次使用，表明在任何赋值发生之前首先对右边的表达式进行求值。右边表达式由左到右进行计算。

The while loop executes as long as the condition (here: b < 10) remains true. In Python, like in C, any non-zero integer value is true; zero is false. The condition may also be a string or list value, in fact any sequence; anything with a non-zero length is true, empty sequences are false. The test used in the example is a simple comparison. The standard comparison operators are written the same as in C: < (less than), > (greater than), == (equal to), <= (less than or equal to), >= (greater than or equal to) and != (not equal to).只要条件（这里：b＜10）成立，while循环就执行。在Python中，像在C中一样，任何非零整数值都是true；0是false。条件也可以是字符串或列表值，实际上是任何序列；具有非零长度的任何东西都是真的，空序列是错误的。在示例中使用的测试是一个简单的比较。标准比较运算符的编写与C:<（小于）、>（大于）、＝（等于）、<=（小于或等于）、>=（大于或等于）和！=（不等于）。

The body of the loop is indented: indentation is Python’s way of grouping statements. At the interactive prompt, you have to type a tab or space(s) for each indented line. In practice you will prepare more complicated input for Python with a text editor; all decent text editors have an auto-indent facility. When a compound statement is entered interactively, it must be followed by a blank line to indicate completion (since the parser cannot guess when you have typed the last line). Note that each line within a basic block must be indented by the same amount.循环体是缩进的：缩进是Python对语句进行分组的方式。在交互式提示符上，您必须为每个缩进线键入一个制表符或空格。在实践中，您将为Python编写一个更复杂的文本编辑器，所有的文本编辑器都有一个自动缩进工具。当一个复合语句交互输入时，必须跟随一条空白行来表示完成（因为解析器不能猜出您输入了最后一行）。请注意，基本块中的每一行必须以相同的数量缩进。

The print() function writes the value of the argument(s) it is given. It differs from just writing the expression you want to write (as we did earlier in the calculator examples) in the way it handles multiple arguments, floating point quantities, and strings. Strings are printed without quotes, and a space is inserted between items, so you can format things nicely, like this:Print(）函数写入给定的参数的值。它不同于只写表达式（正如我们前面在计算器示例中所写的），它处理多个参数、浮点量和字符串的方式不同。字符串不带引号打印，在项目之间插入一个空格，这样就可以很好地格式化，像这样：

>>> i = 256*256

>>> print('The value of i is', i)

The value of i is 65536

The keyword argument end can be used to avoid the newline after the output, or end the output with a different string:关键字参数结束可以用来避免输出后的换行符，或者用不同的字符串结束输出：

>>> a, b = 0, 1

>>> while b < 1000:

... print(b, end=',')

... a, b = b, a+b

...

1,1,2,3,5,8,13,21,34,55,89,144,233,377,610,987,

Footnotes:注意：

Since ** has higher precedence than -, -3**2 will be interpreted as -(3**2) and thus result in -9. To avoid this and get 9, you can use (-3)**2.

由于**比-A具有更高的优先级，-*** 2将被解释为-（3＊＊2），从而导致-9。为了避免这个问题，得到9，你可以使用（-3）** 2。

Unlike other languages, special characters such as \n have the same meaning with both single ('...') and double ("...") quotes. The only difference between the two is that within single quotes you don’t need to escape " (but you have to escape \') and vice versa.不像其他语言，特殊字符如\与双单引号（‘...’）和双引号（“....”）有相同的作用，唯一的不同是在双单引号时您不需要避免双引号，但是要避免\'，反之亦然。