1.先指定通用模板
url = 'https:///text/page/%d/'#通用的url模板 pageNum = 1 #parse第一次调用表示的是用来解析第一页对应页面中的段子内容和作者 def parse(self, response): div_list = response.xpath('//*[@id="content-left"]/div') all_data = [] for div in div_list: author = div.xpath('./div[1]/a[2]/h2/text()').extract_first() content = div.xpath('./a[1]/div/span//text()').extract() content = ''.join(content) # 将解析的数据存储到item对象 item = QiubaiproItem() item['author'] = author item['content'] = content # 将item提交给管道 yield item # item一定是提交给了优先级最高的管道类 if self.pageNum <= 5: self.pageNum += 1 new_url = format(self.url%self.pageNum) #手动请求(get)的发送 yield scrapy.Request(new_url,callback=self.parse)
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持。
最新文章
热门文章
猜你喜欢
