一、CrawlSpider类介绍

1.1 引入

使用scrapy框架进行全站数据爬取可以基于Spider类，也可以使用接下来用到的CrawlSpider类。基于Spider类的全站数据爬取之前举过栗子，感兴趣的可以康康

scrapy基于CrawlSpider类的全站数据爬取

1.2 介绍和使用

1.2.1 介绍

CrawlSpider是Spider的一个子类，因此CrawlSpider除了继承Spider的特性和功能外，还有自己特有的功能，主要用到的是 LinkExtractor()和rules = (Rule(LinkExtractor(allow=r'Items/'), callback='parse_item', follow=True),)

LinkExtractor()：链接提取器
LinkExtractor()接受response对象，并根据allow对应的正则表达式提取响应对象中的链接

link = LinkExtractor(# Items只能是一个正则表达式,会提取当前页面中满足该"正则表达式"的url 　 allow=r'Items/')

rules = (Rule(link, callback='parse_item', follow=True),)：规则解析器
按照指定规则从链接提取器中提取到的链接中解析网页数据
link：是一个LinkExtractor()对象，指定链接提取器
callback：回调函数，指定规则解析器(解析方法)解析数据
follow：是否将链接提取器继续作用到链接提取器提取出的链接网页中

import scrapy# 导入相关的包from scrapy.linkextractors import LinkExtractorfrom scrapy.spiders import CrawlSpider, Ruleclass TextSpider(CrawlSpider): name = 'text' allowed_domains = [''] start_urls = ['https://www.gushiwen.org/'] # 链接提取器:只能使用正则表达式，提取当前页面的满足allow条件的链接 link = LinkExtractor(allow=r'/default_\d+\.aspx') # 链接提取器，提取所有标题对应的详情页url content_link = LinkExtractor(allow=r'cn/shiwenv_\w+\.aspx') rules = ( # 规则解析器，需要解析所有的页面，所有follow=True Rule(link, callback='parse_item', follow=True), # 不需要写follow，因为我们只需要解析详情页中的数据，而不是详情页中的url Rule(content_link, callback='content_item'), ) # 解析当前页面的标题 def parse_item(self, response): p_list = response.xpath('//div[@class="sons"]/div[1]/p[1]') for p in p_list: title = p.xpath('./a//text()').extract_first() item = GushiproItem() item['title'] = title yield item # 解析详情页面的标题和内容 def content_item(self,response): # //div[@id="sonsyuanwen"]/div[@class="cont"]/div[@class="contson"] # 解析详情页面的内容 content = response.xpath('//div[@id="sonsyuanwen"]/div[@class="cont"]/div[@class="contson"]//text()').extract() content = "".join(content) # # 解析详情页面的标题 title = response.xpath('//div[@id="sonsyuanwen"]/div[@class="cont"]/h1/text()').extract_first() # print("title:"+title+"\ncontent:"+content) item = ContentItem() item["content"] = content item["title"] = title # 将itme对象传给管道 yield item

2.2 item文件

import scrapy# 不同的item类是独立的，他们可以创建不同的item对象class GushiproItem(scrapy.Item): # define the fields for your item here like: # name = scrapy.Field() title = scrapy.Field()class ContentItem(scrapy.Item): title = scrapy.Field() content = scrapy.Field()

2.3 管道文件

from itemadapter import ItemAdapterclass GushiproPipeline: def __init__(self): self.fp = None def open_spider(self,spider): self.fp = open("gushi.txt",'w',encoding='utf-8') print("开始爬虫") def process_item(self, item, spider): # 从详情页获取标题和内容，所以需要判断爬虫文件中传来的item是什么类的item # item.__class__.__name__判断属于什么类型的item if item.__class__.__name__ == "ContentItem": content = "《"+item['title']+"》",item['content'] content = "".join(content) print(content) self.fp.write(content) return item def close_spider(self,spider): self.fp.close() print("结束爬虫")

2.4 配置文件

2.5 输出结果

到此这篇关于python爬虫scrapy基于CrawlSpider类的全站数据爬取示例解析的文章就介绍到这了,更多相关python爬虫scrapy数据爬取内容请搜索以前的文章或继续浏览下面的相关文章希望大家以后多多支持！