使用python写爬虫时，优选selenium，由于PhantomJS因内部原因已经停止更新，最新版的selenium已经使用headless chrome替换掉了PhantomJS，所以建议将selenium更新到最新版，使用selenium + headless chrome
准备工作：
安装chrome、chrome driver、selenium
一、安装chrome
配置yum下载源，在目录/etc/yum.repos.d/下新建文件google-chrome.repo
> cd /ect/yum.repos.d/> vim google-chrome.repo编辑google-chrome.repo，内容如下，保存退出
[google-chrome]name=google-chromebaseurl=http://dl.google.com/linux/chrome/rpm/stable/$basearchenabled=1gpgcheck=1gpgkey=https://dl-ssl.google.com/linux/linux_signing_key.pub安装google chrome浏览器：
> yum -y install google-chrome-stablePS: Google官方源可能在中国无法使用，导致安装失败或者在国内无法更新，可以添加以下参数来安装：
> yum -y install google-chrome-stable --nogpgcheck这样，google chrome即可安装成功。
二、安装chrome driver
查看上述安装的chrome版本，根据版本选择对应的chrome driver下载，下载之后放到/usr/local/bin目录
三、安装selenium
> pip install selenium上述准备工作完成后，就可以开始写代码了
from selenium.webdriver import Chromefrom selenium.webdriver.chrome.options import Optionsoptions = Options()options.add_argument('--headless')options.add_argument('--disable-gpu')options.add_argument('lang=zh_CN.UTF-8')# 在linux上需要添加一下两个参数options.add_argument('--no-sandbox')options.add_argument('--disable-dev-shm-usage')browser = Chrome(chrome_options=options)browser.set_page_load_timeout(30)browser.set_script_timeout(30)browser.get(url)# 获取返回内容print browser.page_source# 查找元素print browser.find_element_by_tag_name('pre').text备注：如果访问一些详情页有cookie验证，可以先访问主页，然后再访问详情页，webdriver会自动携带cookie
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持。
最新文章
热门文章
猜你喜欢
