按F12打开开发者工具抓包，可以定位到招聘信息的接口
在请求中可以获取到接口的url和formdata，表单中pn为请求的页数，kd为关请求职位的关键字
使用python构建post请求
data = { 'first': 'true', 'pn': '1', 'kd': 'python'}headers = { 'referer': 'https:///jobs/list_python/p-city_0?&cl=false&fromSearch=true&labelWords=&suginput=', 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36' } #初始化cookie cookies = getCookie() with open("file.csv", "w", encoding="utf-8") as f: for i in range(1, 31): #每十个请求重新获取cookie if (i % 10 == 0): cookies = getCookie() #解析字段并存储 data = getPage(i, cookies, "python") saveInCsv(f, data)到此这篇关于python使用requests库爬取拉勾网招聘信息的实现的文章就介绍到这了,更多相关python requests爬取拉勾网内容请搜索以前的文章或继续浏览下面的相关文章希望大家以后多多支持！
最新文章
热门文章
猜你喜欢
