一、Urllib方法
Urllib是python内置的HTTP请求库
import urllib.request#1.定位抓取的urlurl='http:///'headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'}html=requests.get(url,headers=headers)data=html.content.decode('gbk')soup=BeautifulSoup(data,'html.parser')#获取span标签，class_="at"属性span=soup.find_all('span',class_="at")# for i in span:# print(i.get_text())#select方法（CSS选择器）span1=soup.select('span[class="at"]')for m in span1: print(m.get_text())
四、XPath语法
XPath 是一门在 XML 文档中查找信息的语言。
XPath 可用来在 XML 文档中对元素和属性进行遍历
from lxml import etreetext=''' <html> <head> <title>春晚</title> </head> <body> <h1 name="title">个人简介</h1> <div name="desc"> <p name="name">姓名：<span>岳云鹏</span></p> <p name="addr">住址：中国 河南</p> <p name="info">代表作：五环之歌</p> </div>'''#初始化html=etree.HTML(text)# result=etree.tostring(html) #字节流# print(result.decode('utf-8'))#查询所有的p标签p_x=html.xpath('//p')print(p_x)#查询所有p标签的文本,用text只能拿到该标签下的文本，不包括子标签for i in p_x: print(i.text) #发现<span>没有拿到#优化，用string（）拿标签内部的所有文本for i in p_x: print(i.xpath('string(.)'))# 查询所有name属性的值attr_name=html.xpath('//@name')print(attr_name)#查询出所有包含name属性的标签attr_name1=html.xpath('//*[@name]')print(attr_name1)
到此这篇关于一文带你了解Python 四种常见基础爬虫方法介绍的文章就介绍到这了,更多相关Python 基础爬虫内容请搜索以前的文章或继续浏览下面的相关文章希望大家以后多多支持！
网站建设 IT知识 IT知识教程 一文带你了解Python 四种常见基础爬虫方法介绍 
最新文章
热门文章
猜你喜欢
