销售行业的客户资源非常重要。如果您想尽可能地达成交易，您就需要尽量多的客户资源。当然，优质的客户资源更好。今天教你如何使用工具来找到准确和大量的客户资源。现在有很多人应该知道有很多工具可以在公共网站上收集客户信息。这些工具做得很好，客户资源非常庞大和准确。以下是四个客户数据采集工具。

现在介绍第一款工具：可采集车主，业主，靓号机主的信息（包括姓名和手机号码），这些都是比较高端的客户群体了。还可采集不同行业的企业的信息，如做广告的，做教育的，做汽车服务的，做美容的，批发的，家政的，婚纱的等等，不同行业的企业信息你都可以采集到 。

第二款工具：可以根据关键词采集QQ群，然后导出群成员的QQ号。比如你输入交友，股票，软件，化妆品，教育，汽车等等，都可以采集到成千上万个QQ群，里面的群成员QQ号是非常庞大的，这些QQ号导出来同样可以加为QQ好友或微信好友，因为有6成的Q号会绑定微信。

第三款工具：可采集地图上（百度地图，腾讯地图，高德地图）不同行业实体店的信息，包括手机号和地址等。比如你输入面包店，五金店，母婴店，电脑维修店，美发店，化妆品店等等，都可以搜索到相关的实体店店主的信息，这些信息都是非常有价值的。手机号也可以加为微信好友。

第四款工具：可采集全国各个地区各个行业的商家信息，比如五金店、酒店、餐厅等183个行业信息，假如你是做酒水批发的，你就可以查本地的ktv、餐厅等需要酒水的商家，可以搜索到商家的联系方式，还能导入通讯录加微信好友很方便，还有图文推广等展示功能。

有些朋友会问，这些数据采集后可以做些什么？首先，您可以按照自己的方式与客户沟通，并逐一打电话给他们。但现在很多人会通过通讯录加为微信好友。手机号码可以搜索到微信。在添加为微信朋友之后，您将通过朋友圈慢慢地进入市场。小编正在做营销软件开发。如果对这些工具感兴趣，欢迎私信小编，一起交流合作。

农产品追溯系统：追溯数据如何进行采集？追溯采集方案

为确保追溯信息的完整性、数据采集的高效性、准确性以及数据采集的可行性，追溯数据采集将采用条码技术以及布局合理的采集点来完成追溯信息的采集。

条码规则

通过条码扫描可实现数据的快速、准确的采集，为了结合条码扫描采集，XX科技需要形成自己的产品条码规则以及关键物料的条码规则，形成的物料条码中包含追溯件的关键物料代号、供方代号、物料批次号等信息。

条码生成规则 通过配置条码生成规则，如前缀代号、起始序号、生成数量等，系统可实现快速、批量的生成所需的条码，并实现条码的导出与打印，以此可大大缩减条码管理的工作量，同时针对产品和物料可按不同规则生成条码。

采集点布局

确保追溯信息的完整性以及采集效率的高效性，系统实施过程中将设计完整的采集点布局以完成数据的采集，如下图所示。涉及XX科技采集点的布局将根据实际应用场景以及采集内容，调研时展开采集点评估，最后形成完整的采集点布局图。

追溯信息采集内容

结合客户需求，并确保质量追溯数据的贯通以及质量信息的完整性，系统将采集生产过程5M1E信息以及影响产品质量的关键信息，采集内容如下：

1：生产计划订单信息

2：供应商物料批次信息

3：进货检验报告制造过程5M1E（人、机、料、法、环、测）

4：制造过程检验信息

5：不合格品处理信息（含进货检验及制造过程）

生产计划订单信息采集

系统具备生产计划管理功能，包含了订单号、生产指令号等信息，系统支持计划的在线制定、审核与发布，并可导出至EXCEL。系统可通过集成现有订单管理系统，采用定时自动或手动刷新导入生产订单及批次信息，为质量追溯贯通客户订单、生产批次以及产品编号的衔接。 进货检验信息采集

在进货检验环节IQC需要按批次记录物料名称、物料批次、供应商名称、来料数、抽检数、抽检检验数据信息、检验的合格状态等信息，当检验发现物料不良时需要明确记录物料的不良项以及批次不良的处理结果，包括挑件、退回供方或降级使用等，当在制造过程或售后发现物料不良后可通过物料批次号快速追溯到进货检验报告、不合格处理结论以及库存量等。

制造过程信息（5M1E）采集

追溯过程中为了还原生产环境，挖掘产生产品质量异常的原因，需要在生产过程中采集制造过程的5M1E信息，包括人、机、料、法、环、测等，系统在采集过程中将按采集点布局进行采集，采集内容及方式如下：

物料信息：

在关键工序设置采集点，采集该工序产品所装配的关键物料的批次号、物料代号、供应商代号等信息。为了快速、准确的记录物料批次信息，系统将采用条码扫描技术来完成物料批次信息的记录，操作员扫描产品条码后，系统自动导入产品编号、订单号、产品型号等信息，同时扫描物料条码后，系统将自动记录物料代号、物料批次号、物料供应商代号信息与产品编号关联。系统将通过条码扫描技术快速、准确的完成供应商物料批次信息的采集。

人员信息：

系统设置工序与人员绑定，扫描产品条码后系统自动保存当前工序人员与时间信息；

方法：

记录关键工序的加工工艺、工装选择、操作规程以及相关工艺参数等；

环境：

记录当时工作地的温度、湿度、照明和清洁条件等；

使用仪器设备

制造过程检验信息采集

制造过程检验信息为反应产品质量的关键信息，系统将在关键工序配置采集点采集检验信息，但采集过程中往往录入的工作量较大，考虑到实际应用场景，系统将采用条码扫描以及实现仪器接口等方式完成检验信息的采集。

采集信息包含：

半成品测试、老化测试、成品测试、出货检验、不合格品处理采集方式有：

1：检验信息

扫描产品号条码后，系统自动导入产品型号、订单号、批次号等信息，检验人员只需要填写数量，工序与不良设定关联，检验员只需要录入对应不良数量即可。

2：产品关键检测数据

可以对检测设备展开集成，通过RS232、485通讯接口自动导入检测数据，并关联产品号进行匹配保存。

不合格品处理信息采集：

当检验员发现不合格品时，检验人员可以在线填写不合格处理单，并由相应权限人员填写不合格品处理结论，通过在线完成不合格品的审理记录。

在数字经济时代，未来每个企业都可能是数字企业。数字企业则必须有自己完整的大数据体系。上期小编邀请数据大牛为大家解析了大数据底层架构（资深数据大牛深度解析：大数据底层架构！），而今天我们介绍的，便是每个企业大数据体系中最基础和最根本的部分——数据采集。

数据采集是一切有效分析的前提。如：数据接入；数据传输；数据建模／存储；数据查询；数据可视化等。总体上可以将企业大数据体系分成：

采集与存储平台：主要职责是对企业的相关大数据进行收集，并将收集到的数据进行存储。以便与企业管理及运用，同时也是未来数字企业的最重要资产之一。

分析与挖掘平台：主要职责是对企业采集到的数据进行专门的分析、BI等，以及在此基础上进一步的数据挖掘、人工智能等。

洞察与决策平台：主要职责是利用大数据分析的结果，通过自动加人工双重决策，更高效的运用到产品，业务，商业等环节以及相应的行动等。

覆盖全局数据安全平台：主要职责是负责确保数据的安全性，保证企业的数据资产不受到损害，例如数据不丢失、不损坏、不被窃、不被改等。

数据采集与存储平台将占据非常重要的位置。将来自各种数据源的原始大数据采集、分析、存储等。通常中小企业也可以不用自己拥有专门的大数据分析与挖掘平台，选择与相对专业的企业合作。

面对来源各异、以结构化/半结构化为主的数据，拍拍信使用linkedin开源的camus来采集消息类数据，使用kettle来采集RMDB的数据，具有以下优势：

1提高采集效率，降低工程成本；

2支持Web、iOS、Android、HTML等多种平台；

3采集全面属性、维度、指标等，使数据资源更优质；

4建立预测模型，实时智能监控、分析、预测用户行为；

5支持代码埋点，和全（无）埋点，按需选择，灵活运用。

采集方案：客户端（前端）；服务器日志；业务数据库；历史数据；第三方数据等。

数据采集与存储平台一般也可以分为三个层次，即数据采集层、预处理层和存储层。同时，大数据采集平台还需要一个覆盖全局的数据安全体系。

采集层负责采集企业各种来源的大数据；预处理层负责对采集回来的数据进行一些规范化的处理；存储层则是将预处理后的大数据进行存储，将企业大数据资产用一种方式保存起来。数据安全体系即数据安全平台。值得注意的是，当存储技术足够好、存储设备成本足够低容量足够大时，预处理层或可以选择忽略。

本期对大数据采集的分享就到这里啦，欢迎大家联系探讨。

（小编的鸡腿就靠各位老板啦(づ￣ 3￣)づ）

感谢您对拍拍信的认可与支持

我们一直在路上

前言

IBM大中华区总经理胡世忠曾说：数据构成了智慧地球的三大元素——智能化、互联化和物联化，而这三大元素又改变了数据来源、传送方式和利用方式，带来“大数据”这场信息社会的变革。

从上可见，时代的变革是源于对数据的利用，对企业而言，数据也同样是其发展、转型的命脉。在工作中，我的前辈不止一次地强调，数据是公司的资产，而且举足轻重。我们对待数据，一定要严谨，经得起考验，对自己的数据负责，这是一个数据人的基本要求。

数据资源

大数据时代，数据虽然很多，但是也不是随意得来的，需要利用各种渠道和方式获得。不管从哪个角度来说，数据可分为内部数据和外部数据。内部数据是企业在日积月累的经营中得来的，我们应该对这些数据挖掘、收集有价值的东西，形成企业的数据资产。内部数据重在后期的处理和分析上。

下面先说外部数据的获取方式，以及通过Excel操作来获取外部数据。

外部数据获取方式

1、专业网站看数据（某一个行业、某一件产品）2、通过收费渠道买数据（第三方数据平台等）3、通过特殊形式引数据（网站爬虫，统计网站等）4、自身积累数据（时间久、跨度长）

Excel获取外部数据

作为一个数据分析师以及想更进一步成长为数据科学家，熟练操作基本的办公软件以及SQL查询是很重要的。请看下面通过Excel获取外部数据的步骤。

第1步：打开“新建web查询”框。新建Excel工作簿，在打开的工作表中单击“数据”选项卡，然后在“获取外部数据”组中单击“自网站”按钮，如下图。

第2步：输入网址并选择要导入的表格数据。在弹出的“新建web查询”对话框中的“地址”文本框中复制粘贴上述网页的网址，然后单击“转到”，找到网站中的表格数据后单击表格左上角的箭头→，图标变成选中状态的复选框√。如下图。最后单击下方的“导入”按钮。

第3步：选择数据的放置区域。点击导入后，Excel会出现“导入数据”对话框，如下图，选中你想放置的单元格，单击“确定”开始导入。

第4步：美化导入的数据。由于导入的数据多且乱，要调整格式使数据规范，并启用冻结窗格功能方便浏览。如下图。

好了，上面就是通过Excel操作来获取网站上的外部数据，很简单吧，但网站中的数据并非都是以表格的形式呈现，现在大部分是以json格式呈现，Excel不是万能的，而且现在很多网站需要付费才能导数据（上面说过数据就是企业的资产）。

小结

希望通过上面的操作能帮助大家。如果你有什么好的意见，建议，或者有不同的看法，我都希望你留言和我们进行交流、讨论。

End.

获取线下大数据只是刚刚开始，大数据行业的竞争壁垒在于大数据的应用，而数据应用的关键在于连接。很多企业的数据意识很强、收集了堆积如山的数据，为什么用不起来？比如，你收集了自己的用户数据，知道这个用户买了你的东西，可是他离开你的店后，又去过其他什么地方，有没有更多的需求？你不知道，因为你只有自己的数据，在时间和空间上，用户都在流动，你了解到的只是单一的用户数据、对用户的洞察是片面的，因此数据的应用也很盲目。只有当消费者数据形成系统，我们看到的“人”才是多维立体的，才能够将数据价值发挥到最大。

我们的优势在于，能够以庞大的数据体系为基础实现对脏、假、伪、废数据的清洗，留存高纯度的数据，并利用专利技术，打通线下线上，让线下线上的数据流动起来、智能起来。这样我们不仅能实现用户数据的结构化、可视化，而且会让用户画像的维度更多、更立体，然后再用这些智能化的数据去指导现实中商业活动的开展。

更多关于线下大数据使用方法，请关注我们 m.syjw。线下大数据将成为资产重要一部分

最近在研究商超零售的数据分析，有不少干货和想法可分享。此前，一直注重店铺管理、商品库存管理、财务绩效管理的数据分析。后来发现，无论是零售商铺的选址，还是百货商场的招商营运，都有不少需要运用到数据管理思维的地方。

店铺选址前或者招商营运前都要进行市场调研，小规模的店家可能会说，我照自己的经验，观测人流量以及周边店铺的经营情况来判断，这样的方法确实是有迹可寻。但是，店铺不是放着让你来选的，店铺商也是需要去谈的，甚至对于那些成体系的，每年都在扩张的一些企业，必须需要一套成体系的数据分析方法论来指导。

一、市场调研的要点

1、着重于项目周边状况调查，如：业态布局、购买力等；

2、网点及竞争对手调研的要点

3、收集品牌资源，是否符合定位，有无可备选方案，效益最大化；

针对选址，

可采用常用的SWOT分析模型，分析内部环境以及外部环境的优劣势；而后采用3C模型（Company商铺，Customer顾客，Competitor 竞争者）对开店的选址分析；看附近1小时经济圈、2小时经济圈、3小时经济圈的覆盖范围。

而正式营运之后，最主要关注的就是客流量。

传统零售的数据是基于交易客流，基本等同于俗称的会员。商超里面的客流其实分为交易客流、返店客流、进店客流、到达客流、潜在客流。这里最容易获取的就是交易客流，因为企业现有的CRM系统或者收银系统基本都能涵盖这部分客流。怎么得顾客数据？这就要建立一整套的全顾客全消费行为管理的客流分析系统。

客流数据分析建模

二、如何去经营分析？

经营分析是指商业运营管理者通过数据采集并运用统计、分析、图表呈现等方式，对商场整体经营情况进行深入解析。

确定这样一个流程后，经营分析按照时间划分一般分为日、周、月以及一些关键时期，比如活动、法定节假日等等。形式以经营报表为主。

大体分析内容

经营分析的指标解析

做好全百货的经营分析要发挥主观能动性，有了数据和图表，要做好经营分析，还要发挥人的主观能动性，营运人员需根据数据和图表阐述现象并提出相关建议，加强与店铺、品牌负责人的沟通和联系，充分了解店铺的经营现状。

三、关于品牌店铺活动的分析

经营分析案例分享及关注点（日经营分析）

以上每日的客流与销售趋势图，需要关注波动趋势、波动周期和波动异常。比如波峰大多是重大节假日或企划活动，或者特殊事件。

店铺活动分析

活动前期搭建好相关指标，收集活动数据，实时监测分析。

至于如何搭建这样的分析体系，譬如以上用finereport搭建的活动监测模板，这里不多赘述。前提需要明确分析的指标，之后就是数据收集、整合、分析、展现的额工作啦~

经过两周的整理总结，沉淀出来好多数据采集的经验与大家分享。

前嗅免费模板共享链接：http://forenose/help/collection/template/cases.html

1.如何进行数据采集？

①下载安装软件后，登录到软件上。

②准备好模板：在前嗅的官网上下载免费的模板或自己配置好的模板

③将下载的官网导入到软件中。

点击文件---点击导入采集文件（将采集文件导入，自己配置的模板请忽略这一步）

④在数据建表中建关联数据表

选中需要采集模板下的表单---点击创建关联数据表，所创表名不能为汉字，点击确定---在所创数据表前的方框打勾即可关联数据表。详情见下图。

此时在数据浏览中就存在了刚刚建的关联数据表。

⑤进行数据采集。

在需要进行数据采集的模板前打勾--点击允许采集--点击开始按钮即可进行数据采集。详情见下图。

⑥数据预览及导出

选中关联表---点击刷新按钮即可查看数据---点击导出按钮即可导出数据。详情见下图。

多种导出方式：

a.可以将采集到的数据全部导出。

b.可以将数据分割导出，设置特定数目后数据会分别储存放在文件夹中。

c.可以将每个字段所采集到的内容分别导出到不同文件夹，方便查看。

数据导出教程：

http://forenose/help/guildbook/crawler_new/5-2.html

2.所采集的网站弹验证码是怎么回事？

弹验证码分为四种情况：

①登录需要验证码：登录时只需要一个验证码，所以直接手动填写配置即可。

②多账号登录：每次账号登录都需要验证码，此时应该接第三方打码平台。

前嗅（forenose）是首个深度大数据专家。

提供数据采集-分析-处理-管理-营销-应用，自主知识产权的全套大数据产品 。

尽管“大数据”一词近年来屡遭热捧

但很多人都还不知道什么是大数据

更不知道大数据有甚卵用

这两年，发现“大数据”这个词出现的越来越频繁了

不仅企业，连国家都在部署大数据战略

一番百度了之后

Oh~ emmmmmmmmm~ +_+

还是没搞懂大数据到底是个什么玩意儿

直到有一天

我发现一个秘密

不管我在网上搜索什么

页面都会跳出我要搜索的相关产品或关联事物

然后，我恍然大悟！

所谓大数据，就是算法！

它能够“算”出我们“心中所想”

那么问题来了

大数据技术是如何采集到我们的信息的呢？

数据采集，又称数据获取，是利用一种装置，从系统外部采集数据并输入到系统内部的一个接口。在互联网行业快速发展的今天，数据采集已经被广泛应用于互联网及分布式领域，比如摄像头，麦克风，都是数据采集工具。

数据采集系统整合了信号、传感器、激励器、信号调理、数据采集设备和应用软件。在数据大爆炸的互联网时代，数据的类型也是复杂多样的，包括结构化数据、半结构化数据、非结构化数据。结构化最常见，就是具有模式的数据。非结构化数据是数据结构不规则或不完整，没有预定义的数据模型，包括所有格式的办公文档、文本、图片、XML, HTML、各类报表、图像和音频/视频信息等等。大数据采集，是大数据分析的入口，所以是相当重要的一个环节。

我们首先来了解一下数据采集的三大要点：

一、数据采集的三大要点

（1）全面性

数据量足够具有分析价值、数据面足够支撑分析需求。

比如对于“查看商品详情”这一行为，需要采集用户触发时的环境信息、会话、以及背后的用户id，最后需要统计这一行为在某一时段触发的人数、次数、人均次数、活跃比等。

（2）多维性

数据更重要的是能满足分析需求。灵活、快速自定义数据的多种属性和不同类型，从而满足不同的分析目标。

比如“查看商品详情”这一行为，通过埋点，我们才能知道用户查看的商品是什么、价格、类型、商品id等多个属性。从而知道用户看过哪些商品、什么类型的商品被查看的多、某一个商品被查看了多少次。而不仅仅是知道用户进入了商品详情页。

（3）高效性

高效性包含技术执行的高效性、团队内部成员协同的高效性以及数据分析需求和目标实现的高效性。也就是说采集数据一定要明确采集目的，带着问题搜集信息，使信息采集更高效、更有针对性。此外，还要考虑数据的及时性。

不同应用领域的大数据其特点、数据量、用户群体均不相同。不同领域根据数据源的物理性质及数据分析的目标采取不同的数据采集方法。

那么，接下来我们再来了解一下常用的数据采集的方法。

常用的数据采集方法归结为以下三类：传感器、日志文件、网络爬虫。

（1）传感器

传感器通常用于测量物理变量，一般包括声音、温湿度、距离、电流等，将测量值转化为数字信号，传送到数据采集点，让物体有了触觉、味觉和嗅觉等感官，让物体慢慢变得活了起来。

（2）系统日志采集方法

日志文件数据一般由数据源系统产生，用于记录数据源的执行的各种操作活动，比如网络监控的流量管理、金融应用的股票记账和 web 服务器记录的用户访问行为。

很多互联网企业都有自己的海量数据采集工具，多用于系统日志采集，如Hadoop的Chukwa，Cloudera的Flume，Facebook的Scribe等，这些工具均采用分布式架构，能满足每秒数百MB的日志数据采集和传输需求。

（3）Web 爬虫

网络爬虫是指为搜索引擎下载并存储网页的程序，它是搜索引擎和 web 缓存的主要的数据采集方式。通过网络爬虫或网站公开API等方式从网站上获取数据信息。该方法可以将非结构化数据从网页中抽取出来，将其存储为统一的本地数据文件，并以结构化的方式存储。它支持图片、音频、视频等文件或附件的采集，附件与正文可以自动关联。

此外，对于企业生产经营数据上的客户数据，财务数据等保密性要求较高的数据，可以通过与数据技术服务商合作，使用特定系统接口等相关方式采集数据。比如八度云计算的数企BDSaaS，无论是数据采集技术、BI数据分析，还是数据的安全性和保密性，都做的很好。

数据的采集是挖掘数据价值的第一步，当数据量越来越大时，可提取出来的有用数据必然也就更多。只要善用数据化处理平台，便能够保证数据分析结果的有效性，助力企业实现数据驱动。

ForeSpider 前嗅：手把手教你数据采集

ForeSpider是一款非常好用的数据采集软件，因为属于专业性工具，除了帮助文档外很少有使用教程。所有有很多人在使用的过程中遇到问题难以解决，今天给大家介绍ForeSpider数据采集系统的使用教程，希望能对大家的工作有所帮助。

教程的示例网站是大众点评，要得到50页内所有医院名称，该医院评论总数，医院总体星级，各项评分，医院评论的用户名，评论内容，评论时间，用户点评星级，获赞数量和回应数量。

首先我们先新建一个频道，我给它命名为大众点评，然后在频道配置里输入我们想要爬取数据的网址，需要在频道配置处输入想要得到数据的网址，大众点评需要开启cookie，从右面可以开启，网站不同有的不需要，视情况而定。 现在默认模板（1）就是我们要的网站页面，鼠标放在医院标题处如图，从左下角能看到医院的网址链接。

现在点一下右上角的采集预览，我们能得到整个页面的所有网页链接，下拉滚动条到这个位置就会发现跟上图相同格式的链接，这就是我们需要的所有医院的链接。

我们用不到的需要过滤一下，可以通过地址过滤和标题过滤方法筛选。点击软件右上角模板抽取配置里面的链接抽取，里面有地址过滤和标题过滤两个选项，点击地址过滤，软件右下角如图：

过滤规则选择包含，过滤串内输入想要得到的医院链接，后面这串数字我们用“\d”表示，用“\e”表示结束，例如https://dianping/shop/\d\e，这样就能采集网页内所有这种格式的网页链接。

当我们想要采集的网页下面有翻页的链接，就必须配置翻页。除了在右上角默认模板处抽取我们想要的得到的医院链接外，还要再新建一个链接抽取，抽取页面翻页的地址。

我们继续从采集预览处得到翻页的链接，过滤规则选择包含，通过观察发现几个链接的相同点，输入到过滤串里就能得到想要的翻页链接了。

第一层级的模板建好了，下面我们随便点进一个医院主页内，复制链接建立下一层级模板。在默认模板（2）的示例地址内输入医院主页的链接。

因为我们需要采集该医院所有用户评论，所以我们找到下面的“更多点评”，通过刚刚地址过滤的方法，过滤出更多点评的链接，并建立模板（3），示例地址输入刚刚过滤的得到的“更多点评”的网址。

注：点击链接抽取，看左下角关联模板处，一定要关联到下一层级的模板，如果是翻页的链接抽取，要关联自身模板，否则会数据采集失败。这点一定要注意。

这样模板的基本配置就完成了，下一步是建立表单，下图是我们的需求，红色字体我们能从模板二采集到，蓝色字体我们能从模板三采集到，所以我们需要建立两个表单。

点击表单配置，新建一个表单，添加一个网页主键如图，一定要勾选索引字段，键值唯一，主键字段三个选项，取值类型选择网页主键点击确定。

然后添加下一个字段如标题“title”

取值类型选择“选区内全部文本”，变量类型选择“string”，选择合适的字符长度点击确定。依次建立所有字段。

这是我建立的两个表单的所有字段，表单名称分别为“大众点评1”、“大众点评2”，建立好以后点击保存即可。点开模板配置，每一个模板对应相应的表单，右键模板二“添加数据抽取”，表单名称选择“大众点评1”。

同样在模板三处再添加另外一个数据抽取表单，添加好后如下图所示：

单击“title”，然后按住ctrl键同时鼠标左键点击对应标题，内容过多的话按住shift可以调整内容大小，选好后点击保存。

全部选取完后点击左上角的文件，然后全部保存。

下一步点击数据，连接数据库，然后再次点击数据，选择数据表，选择刚刚新建两个数据表的字段后创建表，创建好后勾选并确定，就可以进行数据采集了（如果表单有问题需要更改，改好后需要重新创建表单），速度慢可以点击设置里面的线程设置，设置多线程。

这只是一个简单的教程，软件还有很多强大的功能，祝大家使用愉快！

最近半年，我们八爪鱼陆续接到好几个APP数据采集的项目需求，我在群里面，偶尔也看到有些用户在问，有没有APP数据采集的工具。鉴于我们做过的几个APP数据采集项目的经验，我可以告诉大家，现在APP数据采集，市面上还没有通用的工具。我们八爪鱼内部是有一套工具，但由于使用的难度较高，需要编写脚本，所以不对普通用户公开，我们仅接受项目定制。

虽然不对外公开，但并不妨碍我们将技术分享出来，APP数据采集，一般走以下两种方式：

1.两种思路

1. 抓包

2. HOOK

2.抓包

有代码经验或APP开发的同学都很容易理解，其实很多APP，走的都是webservice通讯协议的方式，并且由于是公开数据，而且大部分是无加密的。所以只要对网络端口进行监测，对APP进行模拟操作，即可知道APP里面的数据是如何获取的。

我们只需要写代码模拟请求，无论POST还是GET，即可得到该请求所返回的信息。再通过对返回的信息结构化解析，即可得到我们想要的数据。

public static void main(String[] args) {

Spider.create(new GithubRepoPageProcessor())

//从https://github/****开始抓

.addUrl("https://github/****")

//设置Scheduler，使用Redis来管理URL队列

.setScheduler(new RedisScheduler("localhost"))

//设置Pipeline，将结果以json方式保存到文件

.addPipeline(new JsonFilePipeline("D:\\data\\webmagic"))

//开启5个线程同时执行

.thread(5)

//启动爬虫

.run();

}

以模拟采集“meizu”应用市场为例

3.HOOK技术

HOOK技术是一种走操作系统内核的技术，由于安卓系统是开源的，所以可以借助一些框架修改内核，从而实现你要的功能。HOOK的形式，我们走的是Xposed框架。Xposed是一款可以在不修改任何其他开发者开发的应用（包括系统服务）的情况下，改变程序运行的一个开源框架服务。基于它可以制作出许多功能强大的模块，以此来达到应用程序按照你的意愿运行的目的。

如果把安卓手机看做一座城堡，那Xposed可以让你拥有一个上帝视角，城里的运作细节尽收你眼底，还能让你插一手改变城堡的运作规律。

什么意思呢？简单的说就是你可以通过他，自动化的控制你的APP。如果将我们的APP开在模拟器上，我们可以通过编码，通过他告诉APP这一步干什么，下一步干什么。你把它理解成类似游戏打怪外挂就可以了。

而他每走一步，APP与服务端交互的数据，均可获取下来。这种方式广泛用于一些成熟的APP。比如某信采集。

public class HookActivity implements IXposedHookLoadPackage {

@Override

public void handleLoadPackage(LoadPackageParam lpparam) throws Throwable {

final String packageName = lpparam.packageName;

XposedBridge.log("--------------------: " + packageName);

try {

XposedBridge.hookAllMethods

(Activity.class, "onCreate", new XC_MethodHook() {

@Override

protected void afterHookedMethod(MethodHookParam param)

throws Throwable {

XposedBridge.log("=== Activity onCreate: " + param.thisObject);

}

});

} catch (Throwable error) {

XposedBridge.log("xxxxxxxxxxxx: " + error);

}

}

}

其实我们八爪鱼曾经也想开发一款通用的APP数据采集工具，并且两年前在这块投入研究了小半年，我们做出了一款APP采集脚本编辑工具，可以让一款APP的数据采集项目缩减到3-5天即可开发完成。但我们认为，这个工具需要编写脚本一般用户是比较难上手的，所以仅作为内部项目使用。

以HOOK某APP为例:

4.这些年走过的坑

聊完APP采集的思路，我们跟大家分享一些遇过的坑吧，让大家乐一乐

坑一：签名算法

以某信的文章列表页及某信息页为例，对其http访问进行抓包，会发现其url的一个核心参数是我们无法知道如何生成的，这就导致，我们不可能直接用该url进行信息爬取；签名算法如果无法破解，HTTP这条路就是死路了。

坑二：http爬取回来的信息和页面显示不一致

以某信的某信息页为例，对比直接访问某信页面及http爬取的信息，可明显发现http爬取到的信息较少。造成得两种方式都用，才能既照顾速度又照顾完整性。

坑三：模拟器中的坑

APP自动识别你的运行环境进行屏蔽，最厉害的还是某信，连你是用模拟器打开还是真机打开，是什么内核的，全部进行限制。曾经见过牛人，找某手机厂商专门定做真机来配合。

坑四：帐号的坑

这个坑就有点大了，要找号、养号，都不是件容易的事情，更惨的是封号，真真让你一夜回到解放前。