Python Scrapy爬虫,听说妹子图挺火,我整站爬取了,上周一共搞了大概8000多张图片。和大家分享一下。
核心爬虫代码
# -*- coding: utf-8 -*-from scrapy.selector import Selectorimport scrapyfrom scrapy.contrib.loader import ItemLoader, Identityfrom fun.items import MeizituItem class MeizituSpider(scrapy.Spider): name = "meizitu" allowed_domains = ["meizitu.com"] start_urls = ( 'http:///ZhangBohan/fun_crawler以上所述就是本文的全部内容了,希望大家能够喜欢。