分析
分析网站寻找需要的网址
用谷歌浏览器摁F12打开开发者工具，然后打开斗鱼颜值分类的页面，如图：
在里面的请求中，最后发现它是以ajax加载的数据，数据格式为json，如图：
圈住的部分是我们需要的数据，然后复制它的网址为https:///gapi/rknc/directory/yzRec/1", headers=header) # 把json数据转换成python中的字典 json_obj = json.loads(request.urlopen(req).read().decode("utf-8")) tasks = [] for src in json_obj["data"]["rl"]: tasks.append(gevent.spawn(download, src["rs16"])) # 开始下载图片 gevent.joinall(tasks)
结果
由于使用的是协程，比线程效率更高，不到1秒就把第一页的图片全部爬取下来了。效果如图：
此案例仅用于学习gevent的使用。
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持。
最新文章
热门文章
猜你喜欢
