提起python做网络爬虫就不得不说到强大的组件urllib2。在python中正是使用urllib2这个组件来抓取网页的。urllib2是Python的一个获取URLs(Uniform Resource Locators)的组件。它以urlopen函数的形式提供了一个非常简单的接口。通过下面的代码简单感受一下urllib2的功能；
import urllib2 response = urllib2.urlopen('http:///register.php' user_agent = 'Mozilla/5.0 (Windows NT 6.1; rv:33.0) Gecko/20100101 Firefox/33.0' values = {'useid' : 'user', 'pwd' : '***', 'language' : 'Python' } headers = { 'User-Agent' : user_agent } data = urllib.urlencode(values) req = urllib2.Request(url, data, headers) response = urllib2.urlopen(req) page = response.read()查阅相关资料后显示Errno 10061表示服务器端主动拒绝。
除此之外还有HTTPError，当客户端与服务器之间建立正常连接时，urllib2将开始处理相关数据。如果遇到不能处理的情况就会产生相应的HTTPError，如网站访问常见的错误码”404″(页面无法找到)，”403″(请求禁止)，和”401″(带验证请求)等……HTTP状态码表示HTTP协议的响应情况，常见的状态码见HTTP状态码详解。
HTTPError会带有一个'code'属性，是服务器发送的错误号。当一个HTTPError产生后服务器会返回一个相关的错误号和错误页面。如下代码验证；
输出404代码，说明找不到页面。
捕捉异常并处理……实现代码如下；
成功捕捉到异常！
最新文章
热门文章
猜你喜欢
