python中常用的模块

顾名思义，python中的自定义模块，就不是python自带的模块，而是通过自己来创建出来的。

自己创建的模块，估计自己也感觉到非常有趣了，因为自己能创，也能调用其它人创建的模块使用，在工作量上面是轻松多了，这边所谓的自建模块的后缀名是(.py),还是通过示例来解说一下。特别注意一下，自己创建的模块得放到同一文件夹里面，虽然python有指令可以跨文件夹调用，但结果是不理想的。因为调用一下，下次估计这个指令就失效了，别怪我没提醒大家。下面我创建了两个.py的文件。

zhichuan1.py

zhichuan2.py

我第二个文件可以调用我自己创建的第一个模块的内容。见示例图：

通过上面两张图片可以看出，我第二个模块可以导入第一个模块。省略了写现在时间的程序了，只用了导入语句import zhichuan1和zhichuan1.now_time()。这种自建的模块，在写程序时，只要程序员能够合理利用自己建的模块。再复杂的程序，也不再是难写的事了。请看这个程序运行的结果，见下图：

为了让有兴趣的朋友也可以试一下，我把程序代码分享如下：

zhichuan1.py内的程序如下：import time

def now_time():nt = time.localtime() s = ("%02d:%02d:%02d" % nt[3:6]) print(s) time.sleep(1)

zhichuan2.py内的程序如下：

import zhichuan1import time#两位朋友的问时间对话a=str(input("请输入第一位朋友的英文名字tila："))b=str(input("请输入第二位朋友的英文名字lisa："))if a=="tila":print("tila:lisa 我们坐了这么久的车，现在是几点了") time.sleep(5)else: print("你输错第一个朋友名字了")if b=="lisa": print("lisa:tila 等等，我看一下，现在是北京时间")else: print("你输错第二个朋友名字了")zhichuan1.now_time()time.sleep(10)

以上是一些简单的程序，主要讲明自建模块的优点。运行时，是运行第二个自建模块。赶快行动起来，程序高手都是练出来的，如果你有自己新创的模块也可以分享出来给我们。因为互相学习才能成长更快，才能让我们的技术有新的突破。

模块是代码的归类，能定义函数、类和变量，把相关的代码分配到一个模块里，能让你的代码更好用，更易懂、也更简洁。模块在java中叫做类库。

模块的存在方式：

模块可以是单个.py文件，也可以是一个文件（里面存放n多个.py文件）。

1、模块分类：

内置模块：如os和sys是两个非常常见的和操作系统交互的模块；file是文件操作相关的模块；比较常用的一些模块如:logging、time/datetime、json/pickle自定义模块：自己写的py文件或者文件夹（可含多个py文件）第三方模块：如requests、math等2、模块的使用：原则是先导入后使用

最好是模块和执行文件放在同一目录，导入方法可以使用import也可以使用from。

主要语法形式如下：

import导入单个模块：比如导入单个.py文件，s1.py，可直接使用import+文件名 import s1

s1.login()#使用s1中的login函数

import导入文件夹下的文件：如s1.py在lib文件夹下，可使用import 文件夹名.文件名 import lib.s1

lib.s1.login()#使用方法

from导入单个模块：比如导入单个.py文件，s1.py， from s1 import login

login()

from 一次性导入所有的函数：但是不太推荐这种方式。 from s1 import *

login()

logout()

如果是文件夹的形式，导入后可以设置别名，后续可以使用别名直接调用。 from lib import s1 as lib_s1

from scr import s1 as scr_s1

3、模块的优先级规则：

python会先去项目所在的目录去找，如果不存在，再去python默认的其他目录去找，优先级是从上往下找。具体优先级可查看sys.path

如果文件不在系统查找目录，可以通过append来添加。

案例1：模块查找目录优先级。

import sysfor item in sys.path: print(item)查找优先级：

案例2：假设s2不在系统的目录，则可以先添加，再导入s2文件：

import syssys.path.append('D:\')#导入D盘文件夹import s2#文件名4、第三方模块的导入

通过pip3安装与下载： 1）pip3 install 模块。python3自带pip3，需要添加pip3的目录到环境变量中，然后即可直接导入模块。

2）pip3 uninstall +卸载模块

导入模块requests

案例：

步骤1：进入目录

开始—cmd，打开命令编辑框，输入如下命令(cd+空格+pip3所在的目录)，进入pip3的目录：

输入的命令：cd C:Users...AppDataLocalProgramsPythonPython36Scripts

步骤2：安装wheel

输入：pip3 install requests

通过下载源码，进行安装，下载源码，然后执行5、模块中的特殊变量：

1）查看所有的内置变量

执行结果：

2)注释信息__doc__

import s2

print(__doc__ )#获取注释信息，获取py程序文档"""里面的内容

3）获取当前程序所在路径__file__

# print(__file__)#获取当前程序所在的路径

import os

print(os.path.abspath(__file__))#C:Users...PycharmProjectsstudy2017s2.py

print(os.path.dirname(os.path.abspath(__file__)))#C:Users...PycharmProjectsstudy2017

print(os.path.dirname(os.path.dirname(os.path.abspath(__file__))))#C:Users...PycharmProjects

4） print(__package__)#获取程序所在的包，文件import哪个包就在哪个里面，如果自己的包，则显示None。

5)主文件执行__name__=="__main__"

#只有执行当前文件时才执行。当前文件的特殊变量__name__=="__main__",如果是导入的时候，就不执行，因此在主文件中可以这么写，这样可以限制，只在主程序执行，作为模块导入时不执行

def run():#定义run函数

print("run")

run()

if __name__=="__main__":#只在主程序内运行

run()

写在最后

前几天有私信小编要Python的学习资料，小编整理了一些有深度的Python教程和参考资料，从入门到高级的都有，文件已经打包好了，正在学习Python的同学可以下载学习学习。文件下载方式：点击小编头像，关注后私信回复“资料”即可下载。首先把代码撸起来！首先把代码撸起来！首先把代码撸起来！重要的事说三遍，哈哈。“编程是门手艺活”。什么意思？得练啊。

根据使用场景，网络爬虫可分为通用爬虫(传统爬虫)和聚焦爬虫两种

通用网络爬虫捜索引擎抓取系统(Baidu、Google、Yahoo等)的重要组成部分。主要目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。但是大多数情况下，网页里面90%的内容对用户来说是无用的。

聚焦爬虫需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。然后，它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停止。

而我们现在要学的就是聚焦爬虫。

http请求：

浏览器的一个url向http服务器发送请求，分为：get和post两种。

浏览器发送一个request请求去获取URL的html文件，服务器把response文件对象发送回给浏览器。

浏览器解析response中的HTML，其中的img文件，css文件，js文件，浏览器会自动再次发送request请求获取图片，css文件或js文件。

当所有的文件都下载成功后，网页会根据HTML语法结构，完整的显示出来了。

HTTP请求主要分为Get和Post两种方法

GET是从服务器上获取数据，POST是向服务器传送数据

GET请求参数显示，都显示在浏览器网址上，HTTP服务器根据该请求所包含URL中的参数

来产生响应内容，即“get”请求的参数是url的一部分。例如：http://baidu/s?wd=Chinese

向指定资源提交数据进行处理请求(例如提交表单或者上传文件)，数据被包含在请求体中。POST请求可能会导致新的资源的建立或已有资源的修改，一般主要是表单提交，请求参数在请求体当中，消息长度没有限制而且以隐式的方式进行发送，通常用来向HTTP服务器提交量比较大的数据(比如请求中包含许多参数或者文件上传操作等)，请求的参数包含在“Content-Type”消息头里，指明该消息体的媒体类型和编码，

注意：避免使用Get方式提交表单，因为有可能会导致安全问题。 比如说在登陆表单中用Get方式，用户输入的用户名和密码将在地址栏中暴露无遗

Python爬虫工作的流程图：

urllib2库的基本使用

所谓网页抓取，就是把URL地址中指定的网络资源从网络流中读取出来，保存到本地。 在Python中有很多库可以用来抓取网页，我们先学习urllib2。urllib2 在 python3.x 中被改为urllib.request

在python2中，urllib2的库基本使用：

# 导入urllib2 库

import urllib2

# 向指定的url发送请求，并返回服务器响应的类文件对象

response = urllib2.urlopen("http://baidu")

#read()方法读取文件全部内容，返回字符串

html = response.read()

# 打印字符串

print(html)

在python3中，urllib库的使用

#导入urllib库

import urllib.request

# 向指定的url发送请求，并返回服务器响应的类文件对象

response=urllib.request.urlopen('http://baidu')

#read()方法读取文件全部内容，返回字符串

html=response.read()

print(html)

如何模拟浏览器进行访问：

最好通过抓包工具，或者浏览器的调试工具，找到Headers

#导入模块

import urllib.request

import urllib.parse

#url，模拟浏览器

url='http://baidu'

hearder={

'User-Agent':'Mozilla/5.0 (X11; Fedora; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'

}

#发送请求

request=urllib.request.Request(url,headers=header)

response=urllib.request.urlopen(request).read()

#写入文件

f=open("./1.html","wb")

f.write(reponse)

f.close()

Python模块概念

模块化编程是很多高级编程语言都支持的。在Python中可以按照实现的功能把函数等分类，放到不同的文件中.py文件中，每个这样的文件就是一个模块（Module），文件名就是模块名。Python模块通常包括：函数、变量、类。

Python模块分类：

模块使用方法：

图：模块使用方法

使用import语句导入模块：

引用包的属性和方法

使用 import 方式导入模块后，可以使用 . 运算符 使用模块内的函数（方法）和属性（模块内变量）。

from 语句导入模块：

导入模块中指定的成员（函数、变量）

from import * 语句：

导入一个模块内的所有内容

import 的搜索路径：

PYTHONPATH：

标准库目录：

安装Python时会安装标准库，标准库路径会加入到sys.path，导入模块时，会按照顺序搜索对应路径

sys.modules：

dir 函数：

__import__ 函数：

__import__ 函数根据给定的字符串名字，导入模块(动态导入)

Python 的模块导入，在日常的编程活动中十分常用，下面介绍其原理：

通常一个 python 文件（.py）被称之一个模块，若干个模块组织在一个目录中，被称之一个包。模块的导入就是在一个 python 上下文中引用在其他模块中的代码实现。例如下面的代码：

代码示例1

在文件 apply.py 中导入模块 myPrint，当然前提是 myPrint 和 apply.py 在同一个目录下

上述的代码在使用 myPrint 函数的时候，需要书写模块名 myPrint，比较累赘，下面采用 from import 语法，可以解决这一问题。

当需要引用模块内的函数众多时，可以使用 from moduleName import * 的用法，但这是一种消耗python 加载性能的做法，切不可滥用。

在从事Python相关工作中，Python时间模块与日常工作密切相关，因此，掌握时间处理模块及方法十分重要，以下是相关内容介绍：

1. time模块

time模块下有很多函数可以日期和时间的处理，如time.time()用于获取当前时间戳，localtime()将浮点数的时间戳向时间元组转换，asctime()和strftime()可以进行时间和日期的格式化，time.sleep()可以进行时间定时等。

实例：

import time #引入time模块

localtime = time.localtime(time.time()) #返回时间元组

newtime= time.asctime(localtime) #获取格式化时间

time.sleep(3600) #定时1个小时

2.datetime模块

datetime模块是Python时间处理的又一模块，主要包括date、time和datetime三个子模块，是一个更亲民、方便的模块。

实例：

import datetime #引入datetime模块

print datetime.datetime.now() #获取当前时间

3. 时间加减处理

datetime模块中的timedelta子模块在处理时间加减方面十分好用，可以让时间处理变得很灵活。

实例：

import datetime #引入datetime模块

d1=datetime.datetime(2018,4,19) #定义变量获取定义时间

d2= datetime.datetime(2018,2,19) #定义变量获取定义时间

print d1+datetime.timedelta(days=100) # 输出规定时间之后的第100天日期

print d1-datetime.timedelta(days=100) # 输出规定时间之前的第100天日期

print d1-d2 #d1和d2日期相差天数

4. 日历

日历在时间处理中是非常重要的一块，可以采用Python中的calendar模块实现。

实例：

import calendar #引入calendar模块

print calendar.month(2018,4) 输出2018年4月日历

5. 字符串和日期的转换

字符串和日期的转换需要用到strftime()模块和Python中时间日期格式化符号，常用时间日期格式化符号有：

%y 两位数的年份表示（00-99）

%Y 四位数的年份表示（000-9999）

%m 月份（01-12）

%d 月内中的一天（0-31）

%H 24小时制小时数（0-23）

%I 12小时制小时数（01-12）

%M 分钟数（00=59）

%S 秒（00-59）

把字符串转换成日期

import datetime #引入datetime模块

time= datetime.strptime('2018-4-19 11:19:59','%Y-%m-%d %H:%M:%S') #把字符串转换成时间

print time #输出时间信息

把日期转换成字符串

import datetime #引入datetime模块

str = datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S') #获取当前时间并转化成字符串

print str #输出字符串信息

以上是Python时间处理常用模块和基础用法，除此之外，还有很多高深用法，感兴趣或者需要用到的可以深入学习！

模块是代码的归类，能定义函数、类和变量，把相关的代码分配到一个模块里，能让你的代码更好用，更易懂、也更简洁。模块在java中叫做类库。

模块的存在方式：

模块可以是单个.py文件，也可以是一个文件（里面存放n多个.py文件）。

1、模块分类：

内置模块：如os和sys是两个非常常见的和操作系统交互的模块；file是文件操作相关的模块；比较常用的一些模块如:logging、time/datetime、json/pickle自定义模块：自己写的py文件或者文件夹（可含多个py文件）第三方模块：如requests、math等2、模块的使用：原则是先导入后使用

最好是模块和执行文件放在同一目录，导入方法可以使用import也可以使用from。

主要语法形式如下：

import导入单个模块：比如导入单个.py文件，s1.py，可直接使用import+文件名 import s1

s1.login()#使用s1中的login函数

import导入文件夹下的文件：如s1.py在lib文件夹下，可使用import 文件夹名.文件名 import lib.s1

lib.s1.login()#使用方法

from导入单个模块：比如导入单个.py文件，s1.py， from s1 import login

login()

from 一次性导入所有的函数：但是不太推荐这种方式。 from s1 import *

login()

logout()

如果是文件夹的形式，导入后可以设置别名，后续可以使用别名直接调用。 from lib import s1 as lib_s1

from scr import s1 as scr_s1

3、模块的优先级规则：

python会先去项目所在的目录去找，如果不存在，再去python默认的其他目录去找，优先级是从上往下找。具体优先级可查看sys.path

如果文件不在系统查找目录，可以通过append来添加。

案例1：模块查找目录优先级。

import sysfor item in sys.path: print(item)查找优先级：

案例2：假设s2不在系统的目录，则可以先添加，再导入s2文件：

import syssys.path.append('D:\')#导入D盘文件夹import s2#文件名4、第三方模块的导入

通过pip3安装与下载： 1）pip3 install 模块。python3自带pip3，需要添加pip3的目录到环境变量中，然后即可直接导入模块。

2）pip3 uninstall +卸载模块

导入模块requests

案例：

步骤1：进入目录

开始—cmd，打开命令编辑框，输入如下命令(cd+空格+pip3所在的目录)，进入pip3的目录：

输入的命令：cd C:Users...AppDataLocalProgramsPythonPython36Scripts

步骤2：安装wheel

输入：pip3 install requests

通过下载源码，进行安装，下载源码，然后执行5、模块中的特殊变量：

1）查看所有的内置变量

执行结果：

2)注释信息__doc__

import s2

print(__doc__ )#获取注释信息，获取py程序文档"""里面的内容

3）获取当前程序所在路径__file__

# print(__file__)#获取当前程序所在的路径

import os

print(os.path.abspath(__file__))#C:Users...PycharmProjectsstudy2017s2.py

print(os.path.dirname(os.path.abspath(__file__)))#C:Users...PycharmProjectsstudy2017

print(os.path.dirname(os.path.dirname(os.path.abspath(__file__))))#C:Users...PycharmProjects

4） print(__package__)#获取程序所在的包，文件import哪个包就在哪个里面，如果自己的包，则显示None。

5)主文件执行__name__=="__main__"

#只有执行当前文件时才执行。当前文件的特殊变量__name__=="__main__",如果是导入的时候，就不执行，因此在主文件中可以这么写，这样可以限制，只在主程序执行，作为模块导入时不执行

def run():#定义run函数

print("run")

run()

if __name__=="__main__":#只在主程序内运行

run()

写在最后

前几天有私信小编要Python的学习资料，小编整理了一些有深度的Python教程和参考资料，从入门到高级的都有，文件已经打包好了，正在学习Python的同学可以下载学习学习。文件下载方式：点击小编头像，关注后私信回复“资料”即可下载。首先把代码撸起来！首先把代码撸起来！首先把代码撸起来！重要的事说三遍，哈哈。“编程是门手艺活”。什么意思？得练啊。

Python模块概念

模块化编程是很多高级编程语言都支持的。在Python中可以按照实现的功能把函数等分类，放到不同的文件中.py文件中，每个这样的文件就是一个模块（Module），文件名就是模块名。Python模块通常包括：函数、变量、类。

Python模块分类：

模块使用方法：

图：模块使用方法

使用import语句导入模块：

引用包的属性和方法

使用 import 方式导入模块后，可以使用 . 运算符 使用模块内的函数（方法）和属性（模块内变量）。

from 语句导入模块：

导入模块中指定的成员（函数、变量）

from import * 语句：

导入一个模块内的所有内容

import 的搜索路径：

PYTHONPATH：

标准库目录：

安装Python时会安装标准库，标准库路径会加入到sys.path，导入模块时，会按照顺序搜索对应路径

sys.modules：

dir 函数：

__import__ 函数：

__import__ 函数根据给定的字符串名字，导入模块(动态导入)

在从事Python相关工作中，Python时间模块与日常工作密切相关，因此，掌握时间处理模块及方法十分重要，以下是相关内容介绍：

1. time模块

time模块下有很多函数可以日期和时间的处理，如time.time()用于获取当前时间戳，localtime()将浮点数的时间戳向时间元组转换，asctime()和strftime()可以进行时间和日期的格式化，time.sleep()可以进行时间定时等。

实例：

import time #引入time模块

localtime = time.localtime(time.time()) #返回时间元组

newtime= time.asctime(localtime) #获取格式化时间

time.sleep(3600) #定时1个小时

2.datetime模块

datetime模块是Python时间处理的又一模块，主要包括date、time和datetime三个子模块，是一个更亲民、方便的模块。

实例：

import datetime #引入datetime模块

print datetime.datetime.now() #获取当前时间

3. 时间加减处理

datetime模块中的timedelta子模块在处理时间加减方面十分好用，可以让时间处理变得很灵活。

实例：

import datetime #引入datetime模块

d1=datetime.datetime(2018,4,19) #定义变量获取定义时间

d2= datetime.datetime(2018,2,19) #定义变量获取定义时间

print d1+datetime.timedelta(days=100) # 输出规定时间之后的第100天日期

print d1-datetime.timedelta(days=100) # 输出规定时间之前的第100天日期

print d1-d2 #d1和d2日期相差天数

4. 日历

日历在时间处理中是非常重要的一块，可以采用Python中的calendar模块实现。

实例：

import calendar #引入calendar模块

print calendar.month(2018,4) 输出2018年4月日历

5. 字符串和日期的转换

字符串和日期的转换需要用到strftime()模块和Python中时间日期格式化符号，常用时间日期格式化符号有：

%y 两位数的年份表示（00-99）

%Y 四位数的年份表示（000-9999）

%m 月份（01-12）

%d 月内中的一天（0-31）

%H 24小时制小时数（0-23）

%I 12小时制小时数（01-12）

%M 分钟数（00=59）

%S 秒（00-59）

把字符串转换成日期

import datetime #引入datetime模块

time= datetime.strptime('2018-4-19 11:19:59','%Y-%m-%d %H:%M:%S') #把字符串转换成时间

print time #输出时间信息

把日期转换成字符串

import datetime #引入datetime模块

str = datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S') #获取当前时间并转化成字符串

print str #输出字符串信息

以上是Python时间处理常用模块和基础用法，除此之外，还有很多高深用法，感兴趣或者需要用到的可以深入学习！