使用Selenium驱动chrome页面，获得淘宝信息并用BeautifulSoup分析得到结果。
使用Selenium时注意页面的加载判断，以及加载超时的异常处理。
import jsonimport refrom bs4 import BeautifulSoupfrom selenium import webdriverfrom selenium.common.exceptions import TimeoutExceptionfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.support.ui import WebDriverWaitfrom selenium.webdriver.support import expected_conditions as ECbrowser = webdriver.Chrome()# 浏览器需要多次使用，所以单独拿出来。设置一个最长的等待时间,等待目标加载完成wait = WebDriverWait(browser, 10)def search(keyword): # wait容易出现加载时间长的问题，因此用try来捕捉异常 try: browser.get('https://pile('(\d+)').search(total).group(1)) # 翻页 for i in range(2, total+1): # 循环包含前，不包含尾 next_page(i) browser.close()if __name__ == '__main__': main()更多内容请参考专题《python爬取功能汇总》进行学习。
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持。
最新文章
热门文章
猜你喜欢
