python中的数据抓取

前面的几篇文章讲解了爬虫的基本原理，并使用了一些代码来做演示。这是爬虫系列的最后一篇，这篇文章会对前面的内容总结一下，没有新的内容。

Python基本环境的搭建，爬虫的基本原理以及爬虫的原型Python爬虫入门，快速抓取大规模数据

如何使用BeautifulSoup对网页内容进行提取Python爬虫入门，快速抓取大规模数据(第二部分)

爬虫运行时数据的存储数据，以SQLite和MySQL作为示例Python爬虫入门，快速抓取大规模数据（第三部分）

使用selenium webdriver对动态网页进行抓取Python爬虫入门，快速抓取大规模数据（第四部分）

讨论了如何处理网站的反爬虫策略Python爬虫入门，快速抓取大规模数据(第五部分)

对Python的Scrapy爬虫框架做了介绍，并简单的演示了如何在Scrapy下进行开发Python爬虫入门，快速抓取大规模数据(第六部分)

限于篇幅的长度和作为爬虫入门文章，前面每一篇文章都只是对相关的内容作了一个简单的介绍。如果深入下去，每一部分都会有很多的内容，后面有机会在单独讨论。当然，如果对爬虫感兴趣和有工作的需要，可以用这些文章作为入门教程。

摘要

大多数APP里面返回的是json格式数据，或者一堆加密过的数据 。这里以超级课程表APP为例，抓取超级课程表里用户发的话题。

前几天有人问我，可以帮我抓取摩拜单车的数据嘛？

我想着帮他抓取下次他还是不会，古话说的好：授人以鱼不如授人以渔，所以本次我们就讲讲如何抓取app的内容吧。

Fiddle的安装及配置

抓手机包我用的是fiddle。

安装

先在下载页面下载-→https://telerik/download/fiddler

选择你“准备用fiddle来干嘛”

你的邮箱

以及同意“最终用户许可协议”就可以下载了

下载后按照提示安装就可以了。

配置

源码 群 5952 66089

开始抓包

首先确保电脑和手机连在同一个WiFi下面

打开fiddle

获取电脑ip

打开cmd命令行

输入ipconfig,如图所示，192.168.31.146就是我的ip地址

打开手机WiFi设置，找到你当前链接的WiFi

我当前链接的是Xiaomi_E172_5G

设置代理服务器为你电脑的ip，端口号为上面设置的端口号（默认为8888）

安装https证书

在手机浏览器上打开 你电脑ip:你设置的端口号

我的是192.168.31.146:8888

点击框框处安装证书

设置fiddle监听所有请求

选择all process

打开摩拜单车app

然后你会看到定位的时候一辆车也没有。。。

打开个人详情页还提示“抱歉，服务暂不可用。

这是因为摩拜有防抓取限制（我猜是检测，如果有使用代理的话，直接让你用不了。。。）

那这样的话我们就没办法抓到么？？？

因为我之前还用过摩拜的小程序，所以我们抓抓微信小程序试试看

打开摩拜单车的小程序

我们看到已经定位了。。，并且把附件的单车都显示出来了

我们可以多移动我们的位置，然后等有把附近的车显示出来

可以看到fiddle上面已经有好多请求了

mobike-api。。。这很明显就是我们要找的请求

请求头如下图所示，方法是post

返回值因为我看到是json的格式了，所以直接以json的格式看。

源码 群 59 5266089

可以看到我们已经抓取了需要的数据，那么怎么抓取整个上海的摩拜单车情况呢？？

只要获取上海的所有经纬度，然后替换上面data中的经度及纬度就可以了。。。

那么怎么获取上海的所有经纬度。。。这方面没怎么接触。。

看完我相信大家应该多试几次就好了。比较实用的技巧奉上。

@数据分析-jacky

@数据分析-jacky

全称：Document ObjectModel Tree，它是一组API，可以跟网页的元素进行互动，使用BeautifulSoup就可以把网页变成一个DOM TREE，我们就可以根据DOM TREE的节点进行操作

@数据分析-jacky

上图的举例，最外面结构是html，是最上层的节点，下面一层是body，里面包含h1和a两个链接，这些就组成了DOM TREE的架构，我们就可以根据这个架构下的某些节点进行互动，我们可以取得h1里面的词，也可以取得a里面的词，这时候我们就可以把数据顺利提取出来；

@数据分析-jacky

这里会显示警告信息，警告信息告诉我们这段代码没有使用到我们的剖析器，这时python会预测一个剖析器给我们，如果我们要避免这种警告的产生，我们可以在代码中指明

@数据分析-jacky

如何进一步把上面的文字解开？加上[0],可以去掉中括号，加.text可以把里面的文字取出来

print(header[0].text)

@数据分析-jacky

本文为中国统计网原创文章，需要转载请联系中国统计网（），转载时请注明作者及出处，并保留本文链接。

前几天有人问我，可以帮我抓取摩拜单车的数据嘛？

我想着帮他抓取下次他还是不会，古话说的好：授人以鱼不如授人以渔，所以本次我们就讲讲如何抓取app的内容吧。

Fiddle的安装及配置

抓手机包我用的是fiddle。

安装

先在下载页面下载-→https://telerik/download/fiddler

选择你“准备用fiddle来干嘛”

你的邮箱

以及同意“最终用户许可协议”就可以下载了

下载后按照提示安装就可以了。

配置

源码 群 5952 66089

开始抓包

首先确保电脑和手机连在同一个WiFi下面

打开fiddle

获取电脑ip

打开cmd命令行

输入ipconfig,如图所示，192.168.31.146就是我的ip地址

打开手机WiFi设置，找到你当前链接的WiFi

我当前链接的是Xiaomi_E172_5G

设置代理服务器为你电脑的ip，端口号为上面设置的端口号（默认为8888）

安装https证书

在手机浏览器上打开 你电脑ip:你设置的端口号

我的是192.168.31.146:8888

点击框框处安装证书

设置fiddle监听所有请求

选择all process

打开摩拜单车app

然后你会看到定位的时候一辆车也没有。。。

打开个人详情页还提示“抱歉，服务暂不可用。

这是因为摩拜有防抓取限制（我猜是检测，如果有使用代理的话，直接让你用不了。。。）

那这样的话我们就没办法抓到么？？？

因为我之前还用过摩拜的小程序，所以我们抓抓微信小程序试试看

打开摩拜单车的小程序

我们看到已经定位了。。，并且把附件的单车都显示出来了

我们可以多移动我们的位置，然后等有把附近的车显示出来

可以看到fiddle上面已经有好多请求了

mobike-api。。。这很明显就是我们要找的请求

请求头如下图所示，方法是post

返回值因为我看到是json的格式了，所以直接以json的格式看。

源码 群 59 5266089

可以看到我们已经抓取了需要的数据，那么怎么抓取整个上海的摩拜单车情况呢？？

只要获取上海的所有经纬度，然后替换上面data中的经度及纬度就可以了。。。

那么怎么获取上海的所有经纬度。。。这方面没怎么接触。。

看完我相信大家应该多试几次就好了。比较实用的技巧奉上。