在获取 IP 时，已经成功将各个网站的代理 IP 获取下来了，然后就需要一个检测模块来对所有的代理进行一轮轮的检测，检测可用就设置为满分，不可用分数就减 1，这样就可以实时改变每个代理的可用情况，在获取有效 IP 的时候只需要获取分数高的 IP
代码地址：https://github.com/Stevengz/Proxy_pool
另外三篇：
Python搭建代理IP池（一）- 获取 IP
Python搭建代理IP池（二）- 存储 IP
Python搭建代理IP池（四）- 接口设置与整体调度
由于代理 IP 的数量非常多，为了提高 IP 的检测效率，这里使用异步请求库 Aiohttp 来进行检测。至于为什么不用抓取时用的 Requests 库，是因为它是一个同步请求库，在发出一个请求之后需要等待网页加载完成之后才能继续执行程序。这个过程会阻塞在等待响应中，如果服务器响应非常慢，一个请求就会需要十几秒，程序不会继续往下执行
异步请求库就解决了这个问题，在请求发出之后，程序可以继续接下去执行其他的事情，当响应到达时会通知程序再去处理这个响应，这样程序就没有被阻塞，可以充分把时间和资源利用起来
添加设置
增加了几个测试用的常量
setting.py
# 数据库地址HOST = '127.0.0.1'# MySql端口MYSQL_PORT = 3306# MySQl用户名、密码MYSQL_USERNAME = '***'MYSQL_PASSWORD = '***'# 数据库名SQL_NAME = 'test'# 代理等级MAX_SCORE = 30MIN_SCORE = 0INITIAL_SCORE = 10# 代理池数量界限POOL_UPPER_THRESHOLD = 1000VALID_STATUS_CODES = [200, 302]# 测试API，建议抓哪个网站测哪个TEST_URL = 'http://plete(asyncio.wait(tasks)) sys.stdout.flush() time.sleep(5) except Exception as e: print('测试器发生错误', e.args)if __name__ == "__main__": test = Tester() test.run()test_single_proxy() 方法前面加了 async 关键词，代表这个方法是异步的，方法内部首先创建了 Aiohttp 的 ClientSession 对象，此对象类似于 Requests 的 Session 对象，可以直接调用该对象的 get() 方法来访问页面
运行结果：
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持。
最新文章
热门文章
猜你喜欢
