基本模块
python爬虫，web spider。爬取网站获取网页数据，并进行分析提取。
基本模块使用的是 urllib，urllib2，re，等模块
基本用法，例子：
（1）进行基本GET请求，获取网页html
#!coding=utf-8import urllibimport urllib2 url = 'http://puters/Programming/Languages/Python/Resources/' ] def parse(self, response): filename = response.url.split('/')[-2] open(filename, 'wb').write(response.info)这个简单一些。 使用scrapy crawl dmoz # 即可运行spider
最新文章
热门文章
猜你喜欢
