解析url用的类库:
python2版本：
from urlparse import urlparseimport urllibpython3版本：
from urllib.parse import urlparseimport urllib.request研究了不同的url规则发现：只要在搜索关键字是用=嫁接的，查询的关键在解析后的query里
如果不是用=嫁接，查询的关键在解析后的path里。
解析的规则都是一样的，正则如下：（6中不同情况的组合）
另外host为‘s.weibo.com'的url编码与其他不同要另做处理。
代码如下：有些网站的规则还不是很清楚，需要花大量时间找规则，规则越清晰，关键字就越清楚，如下规则已适合绝大部分网站，酌情参考。
# -*- coding:utf-8 -*- from urlparse import urlparseimport urllibimport re # urlsource_txt = "E:\\python_Anaconda_code\\url.txt"# 规则regular = r'(\w+(%\w\w)+\w+|(%\w\w)+\w+(%\w\w)+|\w+(%\w\w)+|(%\w\w)+\w+|(%\w\w)+|\w+)' # 存放关键字kw_list = list() # key为要研究网站的host，value为关键字的嫁接标识符dict = { "/weibo/%25E4%25BD%25A0%25E5%25A5%25BD123mm%2520%25E5%2597%25AF%2520mm11&Refer=STopic_box结果如下：
如果要研究其他host，可以加到字典dict里。
备注：以上代码和思路仅供参考，如有更好的方法敬请留言！
以上这篇Python解析、提取url关键字的实例详解就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持。
最新文章
热门文章
猜你喜欢
