对于大数据的理解

大多人还停留在很大的数据这一概念上

其实不然

大数据指的是存在于网络上的海量的信息碎片

通过类似云速数据挖掘这种先进的技术将其采集、整合、

从而发现隐藏于其中的关联信息

下面通过三个核心来解读什么是大数据信息采集

一、大数据营销是将所有营销行为和销售行为数据化

将这些可挖掘、整理的数据作为营销活动的核心部分

贴合需求打造符合市场及消费需求的商业模式、

二、大数据信息采集实现线上线下结合的网络营销时代

线上的营销活动不受时间空间限制

将线上数据与传统模式结合起来

打通数据库实现技术共享

将是未来营销工作的首要重点

三、大数据信息采集实现企业高效转化

大数据营销的核心意在大规模的个性化互动

指的是有针对性的传播内容

更加人性化的服务

而实现这以核心的基础就是大数据信息采集

获取线下大数据只是刚刚开始，大数据行业的竞争壁垒在于大数据的应用，而数据应用的关键在于连接。很多企业的数据意识很强、收集了堆积如山的数据，为什么用不起来？比如，你收集了自己的用户数据，知道这个用户买了你的东西，可是他离开你的店后，又去过其他什么地方，有没有更多的需求？你不知道，因为你只有自己的数据，在时间和空间上，用户都在流动，你了解到的只是单一的用户数据、对用户的洞察是片面的，因此数据的应用也很盲目。只有当消费者数据形成系统，我们看到的“人”才是多维立体的，才能够将数据价值发挥到最大。

我们的优势在于，能够以庞大的数据体系为基础实现对脏、假、伪、废数据的清洗，留存高纯度的数据，并利用专利技术，打通线下线上，让线下线上的数据流动起来、智能起来。这样我们不仅能实现用户数据的结构化、可视化，而且会让用户画像的维度更多、更立体，然后再用这些智能化的数据去指导现实中商业活动的开展。

更多关于线下大数据使用方法，请关注我们 m.syjw。线下大数据将成为资产重要一部分

在这个用数据说话的时代，能够打动人的往往是用数据说话的理性分析，无论是对于混迹职场的小年轻，还是需要数据进行分析和研究的同学，能够找到合适的数据源都是非常重要的。特别是想要对一个新的领域进行研究和探索，拥有这个领域的数据那都是有十分重要的意义的。

在这里给大家推荐一些能够用上数据获取方式，有了这些资源，不仅可以在数据收集的效率上能够得到很大的提升，同时也可以学习更多思维方式。

1、公开的数据库

－ 国家数据 －

http://data.stats.gov/index.htm

数据来源于中国国家统计局，包含了我国经济民生等多个方面的数据，并且在月度、季度、年度都有覆盖，较为全面和权威，对于社会科学的研究不要太有帮助。最关键的是，网站简洁美观，还有专门的可视化读物。

－ CEIC －

http://ceicdata/zh-hans

最完整的一套超过128个国家的经济数据，能够精确查找GDP、CPI、进口、出口、外资直接投资、零售、销售以及国际利率等深度数据。其中的“中国经济数据库”收编了300,000多条时间序列数据，数据内容涵盖宏观经济数据、行业经济数据和地区经济数据。

－ wind（万得）－

http://wind/

万得被誉为中国的Bloomberg，在金融业有着全面的数据覆盖，金融数据的类目更新非常快，据说很受国内的商业分析者和投资人的亲睐。

－ 搜数网 －

http://soshoo/

已加载到搜数网站的统计资料达到7,874本,涵盖1,761,009张统计表格和364,580,479个统计数据，汇集了中国资讯行自92年以来收集的所有统计和调查数据，并提供多样化的搜索功能。

－ 中国统计信息网 －

http://tjcn.org/

国家统计局的官方网站，汇集了海量的全国各级政府各年度的国民经济和社会发展统计信息，建立了以统计公报为主，统计年鉴、阶段发展数据、统计分析、经济新闻、主要统计指标排行等。

－ 亚马逊aws －

http://aws.amazon/cn/datasets/?nc1=h_ls

来自亚马逊的跨科学云数据平台，包含化学、生物、经济等多个领域的数据集。

－ figshare －

https://figshare/

研究成果共享平台，在这里你会发现来自世界的大牛们的研究成果分享，同时get其中的研究数据，内容很有启发性，网站颇具设计感。

－ github －

https://github/caesar0301/awesome-public-datasets

如果觉得前面的数据源还不够，github上的大神已经为大家整理好了一个非常全面的数据获取渠道，包含各个细分领域的数据库资源，自然科学和社会科学的覆盖都很全面，简直是做研究和数据分析的利器。

随便上几个图，满满的都是资源啊

2、数据交易平台

－ 优易数据 －

http://youedata/

由国家信息中心发起，拥有国家级信息资源的数据平台，国内领先的数据交易平台。平台有B2B、B2C两种交易模式，包含政务、社会、社交、教育、消费、交通、能源、金融、健康等多个领域的数据资源。

－ 数据堂 －

http://datatang/

专注于互联网综合数据交易，提供数据交易、处理和数据API服务，包含语音识别、医疗健康、交通地理、电子商务、社交网络、图像识别等方面的数据。

3、网络指数

－ 百度指数 －

http://index.baidu/

大家都很熟悉的指数查询平台，可以根据指数的变化查看某个主题在各个时间段受关注的情况，进行趋势分析、舆情预测有很好的指导作用。除了关注趋势之外，还有需求分析、人群画像等精准分析的工具，对于市场调研来说具有很好的参考意义。同样的另外两个搜索引擎搜狗、360也有类似的产品，都可以作为参考。

－ 阿里指数 －

https://alizs.taobao/

国内权威的商品交易分析工具，可以按地域、按行业查看商品搜索和交易数据，基于淘宝、天猫和1688平台的交易数据基本能够看出国内商品交易的概况，对于趋势分析、行业观察意义不小。

－ 艾瑞咨询 －

http://iresearch/

艾瑞作为老牌的互联网研究机构，在数据的沉淀和数据分析上都有得天独厚的优势，在互联网的趋势和行业发展数据分析上面比较权威，艾瑞的互联网分析报告可以说是互联网研究的必读刊物。

－ 友盟指数 －

http://umeng/

友盟在移动互联网应用数据统计和分析具有较为全面的统计和分析，对于研究移动端产品、做市场调研、用户行为分析很有帮助。除了友盟指数，友盟的互联网报告同样是了解互联网趋势的优秀读物。

－ 爱奇艺指数 －

http://index.iqiyi/

爱奇艺指数是专门针对视频的播放行为、趋势的分析平台，对于互联网视频的播放有着全面的统计和分析，涉及到播放趋势、播放设备、用户画像、地域分布、等多个方面。由于爱奇艺庞大的用户基数，该指数基本可以说明实际情况。

－ 猫眼专业版－

http://piaofang.maoyan/

电影票房统计分析平台，猫眼专业版有实时的票房统计，影片的排盘情况、上座率和影院数据，对于当前电影的分析是必不可少的。

4、网络采集器

网络采集器是通过软件的形式实现简单快捷地采集网络上分散的内容，具有很好的内容收集作用，而且不需要技术成本，被很多用户作为初级的采集工具。

－ 火车采集器 －

http://locoy/

一款专业的互联网数据抓取、处理、分析，挖掘软件，可以灵活迅速地抓取网页上散乱分布的数据信息，并通过一系列的分析处理，准确挖掘出所需数据，最常用的就是采集某些网站的文字、图片、数据等在线资源。接口比较齐全，支持的扩展比较好用，懂代码的话，可以使用PHP或C#开发任意功能的扩展。

－ 八爪鱼 －

http://bazhuayu/

简单实用的采集器，功能齐全，操作简单，不用写规则。特有的云采集，关机也可以在云服务器上运行采集任务。

－ 集搜客 －

http://gooseeker/

一款简单易用的网页信息抓取软件,能够抓取网页文字、图表、超链接等多种网页元素，提供好用的网页抓取软件、数据挖掘攻略、行业资讯和前沿科技等。

5、网络爬虫

作为极客们最喜欢的数据收集方式，爬虫高度的自由性、自主性都使其成为数据挖掘的必备技能，当然精通python等语言是必要前提。

利用爬虫可以做很多有意思的事情，当然也可以获取一些从其它渠道获取不到的数据资源，更重要的是帮你打开寻找和搜集数据的思路。

－ 利用爬虫爬取网络图片 －

爬取的图像素材

你看到某个网站上的图片恰好是你需要的，但是量大单个下载太麻烦，那么利用爬虫你可以快速地进行抓取，并可以根据标签、特征、颜色等信息进行分类储存。从此不缺设计素材，不缺美女图片，连斗图都多了几分自信。

－ 利用爬虫爬取高质量资源 －

爬取的音乐资源

我们总是想快速地去搜集高质量的网络资源，但是人工查找比对实在太麻烦，利用爬虫你就可以轻松解决。比如爬取知乎点赞最多的文章列表，爬取网易云音乐评论最多的音乐，爬取豆瓣网高评分的电影或图书……总之，你可以从此拒绝平庸。

－ 利用爬虫获取舆情数据 －

爬取的某招聘网站职位信息

比如你可以批量爬取社交平台的数据资源，可以爬取网站的交易数据，爬取招聘网站的职位信息等，可以用于个性化的分析研究。

总之，爬虫是非常强大的，甚至有人说天下没有不能爬的网站，因而爬取数据也成为了很多极客的乐趣。开发出高效的爬虫工具可以帮助我们节省很多时间，可以完全按照自己的需求来订制，想想这个世界就太美好。

6、小工具

－ Web Plot Digitizer －

http://arohatgi.info/WebPlotDigitizer/app/

比如我们在查看期刊文献的时候看到一张成型的图表，但其本身数据是缺失的，你想获得这个图表的相关数据怎么办？有了这个小工具就非常easy了。直接上传我们需要获得数据的图表，如下：

然后我们就会获得如下的数据反馈，感觉运筹帷幄有木有，对于一些不需要十分精确的分析研究足够使用。

当然并不推荐用这个作为量化分析的依赖，对于定性的分析，做ppt级的数据统计分析就足够了。

－ you-get －

https://you-get.org/

这是一个程序员基于python 3开发的项目，已经在github上面开源，支持64个网站，包括优酷、土豆、爱奇艺、b站、酷狗音乐、虾米……总之你能想到的网站都有! 还有一个黑科技的地方，即使是名单上没有的网站，当你输入链接，程序也会猜测你想要下载什么，然后帮你下载。

下载优酷视频

批量下载图片

当然you-get要在python3环境下进行安装，用pip安装好后，在终端输入“you get＋你想下载资源的链接”就可以等着收藏资源了。

7、数据导航

收集数据是一种能力，学习收集数据也是一种能力，数据的来源是没有穷尽的，转换一种思维，你就可以获得不一样的数据，下面推荐几个可以用到的大数据导航，从这里面你可能会发现一些你自己想要的东西。每个人喜欢的收集数据的渠道不尽相同，只有尽量多地去见识和实践才会发现更多的适合自己的数据获取方式。

－ 199IT大数据导航 －

http://hao.199it/

－ 数据分析网导航 －

http://afenxi/hao

－ 大数据人导航 －

http://hao.bigdata.ren/

在互联网高度发达的今天，数据资源异常的丰富和庞大，如何高效地获取数据成为一种重要的能力，毕竟获取数据是一切用数据说话的前提。当然往往只需要熟练掌握一两种方法，便足够大多数人应付大多数场景和需求，所以选择合适的数据获取渠道还需要亲自探究。

做网络营销

不论是个人还是公司都想要实现产品的渠道拓展和推广宣传

但绝大多数的企业都不能达成想要的效果

其实原因有很多

一、想要做好网络营销

客户是王道

没有强大的客户群做后盾

网络营销的销量不过是空想罢了

当下客户渠道大多以网络大数据信息采集的方式来获取

如云速数据挖掘

通过输入行业关键字

就能一键采集指定区域的客户信息和联系方式

省时高效

二、通过客户信息

从分考虑分析目标群体的生活轨迹和习惯

来预测客户下一步的消费行为

以正确的时间正确的方式传达产品信息

从而完成营销活动

三、产品文案的策划一定要以客户需求为重点

并且简单易懂、快速吸引客户眼球

才能使转化率达到最佳

一个月前，一个有关非法数据采集的案子告终，想必大家都已经知晓了：号称形成了超过400亿好友关系和两亿个人名片数据库的脉脉（被称中国版LinkedIn），因非法抓取新浪微博的用户数据而被判赔200万。

历时一年半的维权案终于告一段落，这也是国内首起大数据不正当竞争纠纷案。小采提醒大神们，数据有价值，采集要合法。大数据时代尤其需要注意保护隐私信息哦~所以不要再问小采能不能抓取别人的后台，能不能采个人隐私，一切非法的数据采集我们都是拒~绝~的~

说到这里，小采也非常好奇大家借助采集都做了哪些事？通过交流，我们了解了大神们的应用，不得不说你们的脑洞真的太开，请接受小采的膜拜。

1

年后准备换工作，过年那几天在家闲来无事，就把一些热门公司招聘中我感兴趣的职位、职位数及月薪分布采了下来，以了解行情，哪个档位薪酬合理又比较容易应聘成功一眼就能看出来了吧~

小采：可是，真的不从月薪最高的开始试吗？

2

夫人是网络公司的销售，需要收集一些匹配的企业信息然后打电话联系他们是否需要合作。于是乎利用采集脚本抓了大把的资料给她用，而她的同事据说每天上网搜资料到半夜，大概就是这样。

小采：哈哈，男人总要会一门手艺才能体现重要性呀~

3

我就是传说中的采集小王子。基本上做到了想采哪里采哪里。

之前给公司做了一个监控十几个网站的内容更新，我们自己没有就直接扒过来推给编辑优化一下然后发布了，流量稳压他们一头。但技术方面比较杂，N多IP是必须的，各种伪装技能也是必须的。自动判断采集时间间隔阈值、自动换IP等都是必须的。内容全靠火车头虽然很low，但是很好用，迅速形成生产力。

（来自知乎一位大神）

小采：不low不low，好用才是硬道理不是嘛~~

4

我抓取了男朋友关注的微博中，留下的所有评论。

但后来男朋友不再关注别人微博了，改为python爬取想关注的人的微博。

求问我该怎么办？

小采：这……难道就是传说中程序猿与程序媛的相爱相杀？

5

去年计划在北京买房，谁想房价开始疯长，链家的房价等数据分析只给了一小部分，远远不能满足自己的需求。于是爬下了北京所有的小区信息及北京所有小区的所有历史成交记录。

小采：额，所以采到房价数据之后就没有然后……了吗？

6

抓取猫眼，大众点评，淘宝，糯米四个平台的电影院排片以及电影票票价数据，现已集成到微信公众号中，进入微信公众号中获取当前位置，选中某一部电影根据当前位置获取附近影院以及每个影院各个票价的对比，然后根据数据去最便宜的平台买票！

小采：坐标同为合肥的这位小哥，为何不亮出你的公众号。

7

后端使用火车采集器抓取商业情报（事件、内容、时间、标签、分类）到数据库；前端使用Wordpress+Timeline主题呈现。我是营销人，IT只是玩玩……最终效果如图：只为打造属于自己的商业情报网~

小采：哎哟大神，不错哦~

8

女神准备卖套房，刚挂上网就有无数中介电话打来。每接一个电话都加黑名单，但还是有新的骚扰者。于是我决定献殷勤，把本市各大房产网站的经纪人号码全部采了下来存为CSV，再导入女神的Android 手机，拦截根本不是问题，机智如我。

小采：都像你这般努力哪会有追不到的女神！(～o￣▽￣)～o

除了这些，有的大神们还分享了一些小采表示从来没听过也没访问过的网站……这里就不一一列举了……

在百度云Noah智能监控产品中，我们提供了多维度数据聚合计算、智能异常检测、数据可视化、智能报警合并、逐级通告等丰富功能。今天，我们追根溯源，讲讲所有这些能力的基础：数据的来源和监控数据采集（入门篇）。

不同业务场景下都有着不同的监控需求，比如服务器的运行时信息、服务进程信息、日志信息、网络状态信息以及服务状态信息等。与之对应的，数据采集也需要提供丰富的采集方式来满足这些需求，一般，针对应用场景的不同，可分别通过本地客户端采集和远程服务采集的方式来实现。

图1 监控平台架构简化图

本地客户端采集主要负责服务器自身的信息采集以及服务器上运行程序的信息采集，远程服务采集则通过远程发起探测的方式进行域名监控、网络监控、死机探测等，本文也将从这几个方面来阐述。当然，除此之外，还有更高级的数据采集方式，暂不在本文（入门篇）讨论范畴内。

本地客户端采集

本地客户端采集提供基础的机器信息采集和用户服务信息采集。机器信息采集主要关注机器硬件信息、机器资源使用、机器负载情况等。服务信息采集则通过插件的形式提供服务，包括进程采集、日志采集、自定义脚本采集、自定义HTTP采集等。

图2 本地客户端架构图

机器数据采集

服务器信息采集我们可提供数百个监控指标，其中大家常用的如CPU、内存、磁盘、网络等指标，一般要提供高频度的采集，比如Noah监控提供了最细粒度5秒采集频率，采集延时小于1秒的采集能力；对于系统内核等信息，由于不常变化，一般会使用小时级或天级的采集频率。主要指标如下表：

服务数据采集

1.进程采集

服务进程信息采集，最简单粗暴的指标莫过于采集进程是否存活，另外，就要通过进程的资源消耗来一窥服务运行状态。关于进程采集，我们提供了CPU使用、内存使用、FD使用信息、磁盘IO读写信息近30个监控指标，大多数信息都可以从/proc/${pid}/下的各个文件获取并计算得到。

在采集客户端设计研发的过程中，我们发现，很多场景下FD资源会成为一个紧缺资源，因此，部署到所有机器的采集客户端，对于机器资源占用都有着比较严格的要求，通常FD数量占用也不宜过高，避免影响机器其他服务的运行。所以，对于进程的FD使用监控显得尤为重要，为了进一步了解服务使用的FD信息，我们还提供了块设备FD数、字符设备FD数、管道FD数、网络FD数、文件FD数、FD总数、FD上限的监控。

图3 进程采集的数据

图4 进程FD监控

2.日志采集

服务的运行状况通常可以通过打印日志方式来记录，业务的指标也可以通过分析这些日志得到。比如服务流量指标、异常请求指标、响应时间指标等都是服务的重要业务指标，通过客户端提供的日志采集插件可以统统满足。

对于基本的流量指标，我们可以用正则匹配等较简单的方式来进行采集，当然还有很多复杂的需求。需要进行多维度数据分析或故障诊断的时候，就需要提供高级版的功能。通过提取日志中的具体字段构成数据的维度信息，从多维度的角度来计算、查看、分析这份数据。

简单的多维度日志数据采集举例：一个最典型的多维度日志数据采集的例子，就是通过提取日志中请求来源IP，来生成各地域、运营商等的流量信息。

通过提取日志中的IP字段，并进一步反解该IP所属的省份、运营商信息，便于直观的统计来源请求。当然，要支持海外流量的统计需求，还需要监控系统支持海外的IP国家归属信息查询。

如下图所示，我们可以将日志中各个字段的值进行提取，如关注的URI字段、IDC字段、IP字段等，进一步，还以可将某些字段进行二次解析，例如，将IP字段所属的省份运营商进行解析。

图5 日志维度提取

再进一步，我们将数据按照提取的维度进行聚合，可以查看机房维度的流量信息。

3.自定义采集

为了应对某些定制化的场景，比如服务的指标并不在日志中体现，那么我们还提供了一些常见自定义采集插件来满足业务需求。包括通过自定义脚本进行数据的采集，以及服务提供的HTTP接口进行数据采集。

比如服务的某些信息不适合通过日志的方式采集，那么此时便可以通过自定义脚本或者HTTP接口的形式将该数据吐出来，通过配置自定义监控来采集这些数据，之后可以方便查看数据、后续的聚合计算以及报警配置等。

一种简单的自定义脚本输出形式：

图6 自定义脚本输出

对应的监控输出如下：

图7 自定义脚本监控

远程服务采集

服务监控

远程探测的形式是从监控机向用户机器发起探测请求，并校验返回的结果，根据结果来判断服务是否正常。根据请求内容的类型我们主要提供以下三种功能：

1.端口监控：探测目标端口是否存活。

2.语义监控：发送请求到目标机器，校验返回的数据是否符合预期，支持各种文本类型的协议，如HTTP/HTTPS。

3.结构体监控：对于二进制等文本形式难以描述的服务接口，则通过结构体监控来解决二进制内容的监控。

死机检测

机器故障或者死机是线上的一个常见问题 ，死机检测功能则可以帮助用户及时发现故障机器，进行服务的迁移或者降级来保障服务可用性。死机检测往往很难通过单一手段来判断，这里，我们通过分别检测本地客户端的存活状况、SSH等常用端口来判断机器是否故障以及故障的类型。

总结

本文主要介绍了百度云Noah智能监控中的数据采集（入门篇），数据采集需要针对不同的应用场景，通过不同的方式进行采集。基础的数据采集，可以通过部署本地客户端和远程服务采集两种方式来完成。通用化的服务器信息、进程信息等，可以通过预置方式进行采集，无需用户操心或干预。而针对不同业务的个性化情况，则提供灵活的插件形式进行采集，由用户来灵活配置采集的形式，满足定制化的需求。

网上有很多公布招投标信息的网站，招标公告中的信息是有很大的价值的。比如你想了解一个公司的资质，你想了解一个项目的投资资金，你想知道招投标公司之间的关系，这些都能从招投标信息中分析出来，数据是分析的基础，只有获得大量数据，分析才更准确更有说服力。今天教大家如何采集招投标类网站的数据。

示例网站：http://tjconstruct/zbxx.aspx?type=sjzb

一.首先打开ForeSpider数据采集软件，点击“采集频道列表”的“+”符号，创建新的频道。然后在采集地址处把准备采集网站的网址粘贴进去。

频道配置

二.频道入口地址配置好以后，点击“模板配置”，在右侧模板一处新建一个链接抽取，两个链接抽取，分别起名为“翻页”和“工程抽取”。这两个链接抽取分别抽取页面内的工程项目和翻页链接。

添加链接抽取

三.点击采集预览，发现采集预览中没有我想要的项目工程的链接，但是有翻页的链接，那就需要写脚本来抽取工程链接。翻页链接抽取可以通过可视化的操作完成。以前说过链接抽取的脚本如何写，这里就不多介绍了。

链接抽取教程：http://toutiao/i6454813216395493902/

链接抽取脚本

四.通过预览发现每一个翻页链接地址中都包含“page=”这个词，那我将这个词放在“翻页”的地址过滤中，将过滤规则选择为“包含”。

翻页地址过滤

链接抽取配置好，可以点击采集预览看一下效果，如果配置的有问题可以及时改正。

预览效果

五．可以看到预览效果没有问题，那继续配置下一层模板。下一层为招标公告页，也就是数据页。先建好表单字段，在表单名称处选择建好的表单。

选择表单

六.数据页中有一部分字段使用可视化的操作就能完成，有一部分需要脚本，所以我就把需要写脚本的部分分别写在了字段下。字段处理选择“脚本处理”。

字段下脚本处理

八.全部字段配置好以后，可以先点击采集预览，看一下效果，如果效果不好可以改正。

招投标类网站都是实时更新的，ForeSpider数据采集软件有增量采集的功能，可以采集新增数据，长时间时时监控网站新增数据。

虽然教程看起来简单，最重要的还是多亲自上手实践。多多实践才能更熟练的使用软件采集自己想要的数据。

经过两周的整理总结，沉淀出来好多数据采集的经验与大家分享。

前嗅免费模板共享链接：http://forenose/help/collection/template/cases.html

1.如何进行数据采集？

①下载安装软件后，登录到软件上。

②准备好模板：在前嗅的官网上下载免费的模板或自己配置好的模板

③将下载的官网导入到软件中。

点击文件---点击导入采集文件（将采集文件导入，自己配置的模板请忽略这一步）

④在数据建表中建关联数据表

选中需要采集模板下的表单---点击创建关联数据表，所创表名不能为汉字，点击确定---在所创数据表前的方框打勾即可关联数据表。详情见下图。

此时在数据浏览中就存在了刚刚建的关联数据表。

⑤进行数据采集。

在需要进行数据采集的模板前打勾--点击允许采集--点击开始按钮即可进行数据采集。详情见下图。

⑥数据预览及导出

选中关联表---点击刷新按钮即可查看数据---点击导出按钮即可导出数据。详情见下图。

多种导出方式：

a.可以将采集到的数据全部导出。

b.可以将数据分割导出，设置特定数目后数据会分别储存放在文件夹中。

c.可以将每个字段所采集到的内容分别导出到不同文件夹，方便查看。

数据导出教程：

http://forenose/help/guildbook/crawler_new/5-2.html

2.所采集的网站弹验证码是怎么回事？

弹验证码分为四种情况：

①登录需要验证码：登录时只需要一个验证码，所以直接手动填写配置即可。

②多账号登录：每次账号登录都需要验证码，此时应该接第三方打码平台。

前嗅（forenose）是首个深度大数据专家。

提供数据采集-分析-处理-管理-营销-应用，自主知识产权的全套大数据产品 。

尽管“大数据”一词近年来屡遭热捧

但很多人都还不知道什么是大数据

更不知道大数据有甚卵用

这两年，发现“大数据”这个词出现的越来越频繁了

不仅企业，连国家都在部署大数据战略

一番百度了之后

Oh~ emmmmmmmmm~ +_+

还是没搞懂大数据到底是个什么玩意儿

直到有一天

我发现一个秘密

不管我在网上搜索什么

页面都会跳出我要搜索的相关产品或关联事物

然后，我恍然大悟！

所谓大数据，就是算法！

它能够“算”出我们“心中所想”

那么问题来了

大数据技术是如何采集到我们的信息的呢？

数据采集，又称数据获取，是利用一种装置，从系统外部采集数据并输入到系统内部的一个接口。在互联网行业快速发展的今天，数据采集已经被广泛应用于互联网及分布式领域，比如摄像头，麦克风，都是数据采集工具。

数据采集系统整合了信号、传感器、激励器、信号调理、数据采集设备和应用软件。在数据大爆炸的互联网时代，数据的类型也是复杂多样的，包括结构化数据、半结构化数据、非结构化数据。结构化最常见，就是具有模式的数据。非结构化数据是数据结构不规则或不完整，没有预定义的数据模型，包括所有格式的办公文档、文本、图片、XML, HTML、各类报表、图像和音频/视频信息等等。大数据采集，是大数据分析的入口，所以是相当重要的一个环节。

我们首先来了解一下数据采集的三大要点：

一、数据采集的三大要点

（1）全面性

数据量足够具有分析价值、数据面足够支撑分析需求。

比如对于“查看商品详情”这一行为，需要采集用户触发时的环境信息、会话、以及背后的用户id，最后需要统计这一行为在某一时段触发的人数、次数、人均次数、活跃比等。

（2）多维性

数据更重要的是能满足分析需求。灵活、快速自定义数据的多种属性和不同类型，从而满足不同的分析目标。

比如“查看商品详情”这一行为，通过埋点，我们才能知道用户查看的商品是什么、价格、类型、商品id等多个属性。从而知道用户看过哪些商品、什么类型的商品被查看的多、某一个商品被查看了多少次。而不仅仅是知道用户进入了商品详情页。

（3）高效性

高效性包含技术执行的高效性、团队内部成员协同的高效性以及数据分析需求和目标实现的高效性。也就是说采集数据一定要明确采集目的，带着问题搜集信息，使信息采集更高效、更有针对性。此外，还要考虑数据的及时性。

不同应用领域的大数据其特点、数据量、用户群体均不相同。不同领域根据数据源的物理性质及数据分析的目标采取不同的数据采集方法。

那么，接下来我们再来了解一下常用的数据采集的方法。

常用的数据采集方法归结为以下三类：传感器、日志文件、网络爬虫。

（1）传感器

传感器通常用于测量物理变量，一般包括声音、温湿度、距离、电流等，将测量值转化为数字信号，传送到数据采集点，让物体有了触觉、味觉和嗅觉等感官，让物体慢慢变得活了起来。

（2）系统日志采集方法

日志文件数据一般由数据源系统产生，用于记录数据源的执行的各种操作活动，比如网络监控的流量管理、金融应用的股票记账和 web 服务器记录的用户访问行为。

很多互联网企业都有自己的海量数据采集工具，多用于系统日志采集，如Hadoop的Chukwa，Cloudera的Flume，Facebook的Scribe等，这些工具均采用分布式架构，能满足每秒数百MB的日志数据采集和传输需求。

（3）Web 爬虫

网络爬虫是指为搜索引擎下载并存储网页的程序，它是搜索引擎和 web 缓存的主要的数据采集方式。通过网络爬虫或网站公开API等方式从网站上获取数据信息。该方法可以将非结构化数据从网页中抽取出来，将其存储为统一的本地数据文件，并以结构化的方式存储。它支持图片、音频、视频等文件或附件的采集，附件与正文可以自动关联。

此外，对于企业生产经营数据上的客户数据，财务数据等保密性要求较高的数据，可以通过与数据技术服务商合作，使用特定系统接口等相关方式采集数据。比如八度云计算的数企BDSaaS，无论是数据采集技术、BI数据分析，还是数据的安全性和保密性，都做的很好。

数据的采集是挖掘数据价值的第一步，当数据量越来越大时，可提取出来的有用数据必然也就更多。只要善用数据化处理平台，便能够保证数据分析结果的有效性，助力企业实现数据驱动。

最近半年，我们八爪鱼陆续接到好几个APP数据采集的项目需求，我在群里面，偶尔也看到有些用户在问，有没有APP数据采集的工具。鉴于我们做过的几个APP数据采集项目的经验，我可以告诉大家，现在APP数据采集，市面上还没有通用的工具。我们八爪鱼内部是有一套工具，但由于使用的难度较高，需要编写脚本，所以不对普通用户公开，我们仅接受项目定制。

虽然不对外公开，但并不妨碍我们将技术分享出来，APP数据采集，一般走以下两种方式：

1.两种思路

1. 抓包

2. HOOK

2.抓包

有代码经验或APP开发的同学都很容易理解，其实很多APP，走的都是webservice通讯协议的方式，并且由于是公开数据，而且大部分是无加密的。所以只要对网络端口进行监测，对APP进行模拟操作，即可知道APP里面的数据是如何获取的。

我们只需要写代码模拟请求，无论POST还是GET，即可得到该请求所返回的信息。再通过对返回的信息结构化解析，即可得到我们想要的数据。

public static void main(String[] args) {

Spider.create(new GithubRepoPageProcessor())

//从https://github/****开始抓

.addUrl("https://github/****")

//设置Scheduler，使用Redis来管理URL队列

.setScheduler(new RedisScheduler("localhost"))

//设置Pipeline，将结果以json方式保存到文件

.addPipeline(new JsonFilePipeline("D:\\data\\webmagic"))

//开启5个线程同时执行

.thread(5)

//启动爬虫

.run();

}

以模拟采集“meizu”应用市场为例

3.HOOK技术

HOOK技术是一种走操作系统内核的技术，由于安卓系统是开源的，所以可以借助一些框架修改内核，从而实现你要的功能。HOOK的形式，我们走的是Xposed框架。Xposed是一款可以在不修改任何其他开发者开发的应用（包括系统服务）的情况下，改变程序运行的一个开源框架服务。基于它可以制作出许多功能强大的模块，以此来达到应用程序按照你的意愿运行的目的。

如果把安卓手机看做一座城堡，那Xposed可以让你拥有一个上帝视角，城里的运作细节尽收你眼底，还能让你插一手改变城堡的运作规律。

什么意思呢？简单的说就是你可以通过他，自动化的控制你的APP。如果将我们的APP开在模拟器上，我们可以通过编码，通过他告诉APP这一步干什么，下一步干什么。你把它理解成类似游戏打怪外挂就可以了。

而他每走一步，APP与服务端交互的数据，均可获取下来。这种方式广泛用于一些成熟的APP。比如某信采集。

public class HookActivity implements IXposedHookLoadPackage {

@Override

public void handleLoadPackage(LoadPackageParam lpparam) throws Throwable {

final String packageName = lpparam.packageName;

XposedBridge.log("--------------------: " + packageName);

try {

XposedBridge.hookAllMethods

(Activity.class, "onCreate", new XC_MethodHook() {

@Override

protected void afterHookedMethod(MethodHookParam param)

throws Throwable {

XposedBridge.log("=== Activity onCreate: " + param.thisObject);

}

});

} catch (Throwable error) {

XposedBridge.log("xxxxxxxxxxxx: " + error);

}

}

}

其实我们八爪鱼曾经也想开发一款通用的APP数据采集工具，并且两年前在这块投入研究了小半年，我们做出了一款APP采集脚本编辑工具，可以让一款APP的数据采集项目缩减到3-5天即可开发完成。但我们认为，这个工具需要编写脚本一般用户是比较难上手的，所以仅作为内部项目使用。

以HOOK某APP为例:

4.这些年走过的坑

聊完APP采集的思路，我们跟大家分享一些遇过的坑吧，让大家乐一乐

坑一：签名算法

以某信的文章列表页及某信息页为例，对其http访问进行抓包，会发现其url的一个核心参数是我们无法知道如何生成的，这就导致，我们不可能直接用该url进行信息爬取；签名算法如果无法破解，HTTP这条路就是死路了。

坑二：http爬取回来的信息和页面显示不一致

以某信的某信息页为例，对比直接访问某信页面及http爬取的信息，可明显发现http爬取到的信息较少。造成得两种方式都用，才能既照顾速度又照顾完整性。

坑三：模拟器中的坑

APP自动识别你的运行环境进行屏蔽，最厉害的还是某信，连你是用模拟器打开还是真机打开，是什么内核的，全部进行限制。曾经见过牛人，找某手机厂商专门定做真机来配合。

坑四：帐号的坑

这个坑就有点大了，要找号、养号，都不是件容易的事情，更惨的是封号，真真让你一夜回到解放前。