经过两周的整理总结，沉淀出来好多数据采集的经验与大家分享。

前嗅免费模板共享链接：http://forenose/help/collection/template/cases.html

1.如何进行数据采集？

①下载安装软件后，登录到软件上。

②准备好模板：在前嗅的官网上下载免费的模板或自己配置好的模板

③将下载的官网导入到软件中。

点击文件---点击导入采集文件（将采集文件导入，自己配置的模板请忽略这一步）

④在数据建表中建关联数据表

选中需要采集模板下的表单---点击创建关联数据表，所创表名不能为汉字，点击确定---在所创数据表前的方框打勾即可关联数据表。详情见下图。

此时在数据浏览中就存在了刚刚建的关联数据表。

⑤进行数据采集。

在需要进行数据采集的模板前打勾--点击允许采集--点击开始按钮即可进行数据采集。详情见下图。

⑥数据预览及导出

选中关联表---点击刷新按钮即可查看数据---点击导出按钮即可导出数据。详情见下图。

多种导出方式：

a.可以将采集到的数据全部导出。

b.可以将数据分割导出，设置特定数目后数据会分别储存放在文件夹中。

c.可以将每个字段所采集到的内容分别导出到不同文件夹，方便查看。

数据导出教程：

http://forenose/help/guildbook/crawler_new/5-2.html

2.所采集的网站弹验证码是怎么回事？

弹验证码分为四种情况：

①登录需要验证码：登录时只需要一个验证码，所以直接手动填写配置即可。

②多账号登录：每次账号登录都需要验证码，此时应该接第三方打码平台。

前嗅（forenose）是首个深度大数据专家。

提供数据采集-分析-处理-管理-营销-应用，自主知识产权的全套大数据产品 。

在写论文时候，有时候需要试验数数据或者某一点的具体数值，但是由于手头条件有限，不能去做实验。不过手里面有别人做的相关实验的数据图，现在介绍一个技巧，从图中提取有用的数据。

利用origin的 digitizer插件，可以方便的从有图片中提取数据，方便科学绘图（这些图片可以来自科学论文手册，也可以来自专业权威杂志）。

图1 Engauge Digitizer软件界面

以下面曲线图为例，输入软件中，进行数据提取。

图2 关系曲线图

图3 软件界面图

先选择图1中的6按钮，选择好原始坐标

图4 选择坐标

选择图1中的8按钮进行数据点选择

图5 数据点选择

接着选择数据显示如下图命令（图6），显示如图7所示。

图6 数据显示选择

图7 数据显示

当然也可以用输出为命令

图8 输出为命令

选择输出成csv格式，然后用excel打开

图9 数据结果

有了数据，你就可以引用了，当然也可选择输入Origin来进行新的曲线图制作，如下所示。

图10 origin

图11 origin中显示

这样权威的数据就属于你自己了，对写论文的人来说真是太有益处了!

什么是大数据，大数据有什么用，为什么凯文凯利说数据是必然，马云说数据是未来的一切的来源？

世界每天都在变，新的概念和名词不断涌现。

对有些人来说，大数据早被说烂，已经是过时的风口；

对有些人来说，大数据似懂非懂，听起来很“高大上”；

这篇文章为后一种人所写，如果你对大数据也似懂非懂，读完这篇你就可以搞懂它。

/ 01 /

什么是大数据

关于大数据的概念，有诸多版本，如同文化、精神这类词，没有统一定义。这里不是写论文，只引用两个版本：

1个来自维基百科：大数据是指一些使用目前现有数据库管理工具或传统数据处理应用很难处理的大型而复杂的数据集。

1个来自百度百科：大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

维基百科说了大数据大、难处理，复杂、数据集，百度百科在此基础上强调它是一种信息资产。

两个概念共同昭示了大数据的主要特点：数量大、种类多、复杂、难处理、价值大。

那大数据是谁创造呢？

笼统说：是所有人的所有行为。

它不是今天，或者电脑诞生、互联网诞生后才有，历史上也有，只是那个时候没这个概念，古人行军打仗，商品贸易流通，城市兴起衰落无不是在生产大数据，利用大数据。

你今天早上吃什么，出门选择什么交通工具，一个行为构成一个数据。

无数个你集结一起就是大数据，我们所有人的交易行为集结一起，就是消费大数据，我们所有人出行，就是出行大数据，我们娱乐消遣，就是娱乐大数据……

所以大数据不只是excel表格里的一串字符，从构成元素上看，它包含：文字、图片、视频、音频、交易记录、生产信息、物联网信息……

于我而言，大数据是历史，是信息，是记录，记录我们所做过的一切。

/ 02 /

大数据有何用

大数据有什么用，为什么马云说，数据不仅是能源，是血液，是未来所有的一切的创新和来源？

其实大数据本身是没有任何价值。

比如大数据告诉你每天有10000个人，固定从A移动到B点。这条讯息对你可能没有任何价值。

但如果摩拜知道了，它可以选择在A点和B点分别投放不同数量的车，获得用户增长。

如果广告商知道了，它可以在A点和B点搭建N个广告展示窗口，获得广告费，而广告商背后的广告主也能因此得利。

……

（当然你也可以选择在A点或B点开一个奶茶店。）

因为大数据记录所有，它会告诉别人，人们的喜好，消费习惯，选择偏好、工作习惯……

企业可以从中觅出商机，更好解决人们需要，从而获得利润。

而最终获益的是每一个人，因为我们的需要得到了更好满足。

就目前来看，企业会更直接从大数据中获利。

大数据的价值，可以笼统归为两点：

1. 大数据为人服务，为企业和个人提供决策参考，让人少犯错，更聪明。这方面主要体现在精准营销、用户需求、市场拓展、趋势预测、资源配置、产品升级……

2. 大数据为机器服务。大数据可以训练机器设备、人工智能，让机器更聪明。这方面主要体现在物联设备、人工智能训练、搜索引擎、信息分发平台的推送机制等，都是基于大数据之上的。

关于第2点，举1个例子：谷歌智能机器人阿尔法狗之所以能横扫当代围棋高手，在于它未出战之前，已经和历史上的所有名家学习对战过，并反复与自己对战，不断超越自己，所以才战无不胜。

/ 03 /

大数据的分类

大数据大体可以分两类。

开放数据。开放数据即所有人可见的公开数据。包含但不局限以下：

网站数据；

APP数据；

大众媒介数据，如电视、报纸、电台、书等；

……

内部数据。内部数据即某些特定机构、企业拥有数据。包含但不局限以下：

政府数据，如征信、户籍、犯罪记录等；

企业数据，如阿里巴巴的消费数据，腾讯的社交数据，滴滴的出行数据等；

机构数据，如第三方咨询机构的调查数据。

终端数据，如小米智能手环搜集你的健康数据。

……

两者的区别在于，开放数据体量大，比较杂乱，目前使用率低，会使用的企业和机构较少，需要挖掘，但在未来它必定是主流数据来源，随着数据积累，数据价值和应用率会更高。

内部数据则反过来，体量相对会少，数据相对集中，目前应用更广，但对普通企业/人来说，获取难度比较高。

/ 04 /

大数据如何获取

如果企业、机构或者个人想要获取大数据，该怎么获取呢？

1.购买。

购买分两种，一种是直接向数据拥有者购买。一些公司或个人拥有一些数据，他们会出售数据变现（相对少）；

另一种方式是上数据交易平台购买数据，比如上发源地大数据交易平台，用户可以直接购买数据，也可以发布数据需求，定制数据，从开发者或数据供应商获取数据。

2.采集。

采集数据要看采集什么数据。如果要采集开放数据，方式也是两种，如果懂技术，可以自己写代码采；如果不懂技术，技术小白，可以用数据采集工具采，比如Finndy+云采集引擎。

而如果要采集内部数据的话，一般说来企业内部都有自己的数据采集软件和方式，比如工业设备会通过传感器记录数据，一些企业会人工记录采集数据。

3.自造。

比如阿里巴巴、腾讯、百度这些互联网巨头公司，从某种维度上来说，他们也是数据公司，并且拥有自造大数据的能力，如果你的企业能切中某个社会大需求，拥有海量用户和高使用频次，成为巨头，你也可以自造大数据。

/ 05 /

大数据如何应用

大数据怎么用？

这里只讲流程和逻辑，不切具体行业和场景。

不管你是用大数据去服务人，帮助你做决策，还是用大数据去训练你的机器，算法，一般都要四步骤。

数据采集。

数据采集的方法上面已经说了，这里要说的是，数据采集是数据应用的基础，数据源非常重要，如果数据源错了，后面的所有结果都是错，采集来的数据是否全，是否清洗，是否合法，是否及时，都是数据可靠性和可用性的判断维度。

数据建模。

数据采集上来了，需要对数据进行整理，按照一些规则和维度进行组织，让人和机器都能看懂。

数据分析。

数据该如何分析，分析哪些维度，怎么从过去预测未来，这是个大学问，也是各家各说，无法一一展开，在此不赘述。

数据应用。

分析完就是应用，验证分析结果。这是一个循环过程，通常需要A/B测试，反复验证优化。

如果你对大数据感兴趣，你的企业想了解大数据如何应用，你想听内行专家分享，以他山之石攻已之玉，2017.11.19.上海。欢迎来全创周现场取经。

“大数据应用的现状与未来 ”

09:20~09:45 观众入场 & 来宾签到

09:45~09:50 主办 方致辞 马建军 发源地大数据创始人兼 CEO

09:50~10:25 主题分享 : 大数据最具潜力的应用领域 (拟)

武 星 上海大学计算机科与技术系副主任

10:25~10:50 案例 / 应用内部数据，做好承诺管控 (拟)

汤 灏 零点有数集团上海对外合作总经理

10:50~10:55 Lucky Draw

10:55~11:25 对谈 / 从大数据的源头开始，让安全合规地应用 (拟)

马慧民 上海大数据联盟常务副秘书长 /云计算和大数据部长

罗晓梅 奥孚教育副总裁

11:25~11:50 干货 / 开放数据的应用现状和未来 (拟)

柳 超 天眼查创始人兼 CEO

2017. 11. 19 (日)09:30-12:00 上海 -长阳创谷 (杨浦 区长阳路 1687号)

发源地大数据（Finndy）是国内首家基于自研SaaS2.0云采集引擎的大数据交易平台，支持海量数据的分布式采集、计算及处理，以技术驱动数据交易。

科学分析、行业研究、内容扩充、运营启动，Finndy平台集合了全行业脱敏数据，满足企业对数据分析、数据运营及精准营销等方面的需求。

做网络营销

不论是个人还是公司都想要实现产品的渠道拓展和推广宣传

但绝大多数的企业都不能达成想要的效果

其实原因有很多

一、想要做好网络营销

客户是王道

没有强大的客户群做后盾

网络营销的销量不过是空想罢了

当下客户渠道大多以网络大数据信息采集的方式来获取

如云速数据挖掘

通过输入行业关键字

就能一键采集指定区域的客户信息和联系方式

省时高效

二、通过客户信息

从分考虑分析目标群体的生活轨迹和习惯

来预测客户下一步的消费行为

以正确的时间正确的方式传达产品信息

从而完成营销活动

三、产品文案的策划一定要以客户需求为重点

并且简单易懂、快速吸引客户眼球

才能使转化率达到最佳

我觉得今天应该出来吹下牛逼，因为我们觉得都快被自已感动哭了。近期我们整个运营团队天天加班一口气做了这218个采集模板，放到我们神奇的八爪鱼简易采集里面去，覆盖140个以上的网站，采集模板字段全配齐，适应不同用户不同场景下的需求，从此用户只需要输入几个参数，点一下启动采集即可获取数据。

一张图是无法将logo全摆上的！

本地生活

大众点评 携程 美团 房天下

百姓网 赶集网 黄页88 58同城

51JOB 安居客 瓜子 驴妈妈

蚂蜂窝 穷游网 微医 搜房网

途牛网 房多多 春雨医生 下厨房

育儿网 寻医问 饿了么 爱彼迎

链家 馒友帮

电子商务

京东 天猫 淘宝 amazon

阿里巴巴 唯品会 当当网 1号店

ebay 速卖通 蘑茹街 苏宁易购

媒体阅读

腾讯网 微博网页 东方财经 新浪新闻

新浪财经 悟空问答 猎云网 铅笔道

人民网 时光网 文玩迷 VR186

一点资讯 雅虎 雪球 凤凰网

新浪汽车 新华社 部落 线报屋

太平洋 果壳网 中新网 虎嗅网

I黑马 IT桔子 东方财富 百度百家

好奇心 华尔街 环球网 简书

界面 今日头条 梨视频 36Kr

她生活 搜狐新闻 搜狐新车 B站

搜索与社交

百度 搜狗 豆瓣 糗百

博客园 网易 多玩 家长帮

天涯网

其他

好大夫 39健康网 智联 英雄联盟

站长之家 87870 音频应用 中国政府采集网

虾米音乐 AcFun 爱奇艺 雪球

应用宝 优酷 字幕组 360

QQ音乐 爱游网 拉勾

*以上网站的采集规则都配置好模板，大家可以直接使用即可采集。

未完待续，敬请期待

除了以上100多个网站的218个模板外，我们后续还会再制作上百个网站数百个模板，让用户从此采集更多网站无需配置采集规则。

这些模板对应的网站，都是用户大多数想要采集的网站，以大众点评为例，大多数都在采集商家列表，商家详情，团购详情等等，我们运营的同学先帮大家把这些采集规则配置好，大家只需要填入一些参数（如城市入口地址，翻多少页等等）即可进行采集，页面上所有字段几乎都会包含，如遇到不需要的删除即可。

并且有些模板还帮用户做了特殊处理，进行了云优化与云突破，可以在云端无限采集，无需担心封IP等防采集策略。

简易采集界面也对采集字段，参数配置，样例数据做了详细的说明，保证每个点都说到位，并且运营同学还会对规则做定期的维护与更新，最后达到一个效果，你只需点击一个“立即使用”，即可获取数据。

我们运营的同学戏称，从前我们是图片处理界的PS，功能强大，从此，我们是图片处理界的美图秀秀，不仅功能强大还简易，大家可以直接开挂采集数据了。

目前有很多数据采集云平台，如百度统计，腾讯统计、乐驰云采集等等，还有一些平台也非常不错：

一. 友盟+

支持移动端和web端数据采集，个性化场景数据定制采集方案。官网给的一些demo可以参考来设计大数据的分析展现，例如：

友盟的：

百度的：

值得借鉴～

二. 乐驰云采集

以高性能分布式采集、存储为核心，建立分工明确的功能模块进行高度协作，融合打码、分词、代理、排重等实用性服务，帮助用户以最低成本、最少人力、最高效率完成大数据应用开发，从而满足当下广大中小企业对“实时、高难、海量”级大数据业务场景的根本需求。

http://lewell/service.html#tabcon_4

值得一看

三. 火车采集器

火车采集器，一款专业的互联网数据抓取、处理、分析，挖掘软件，可以灵活迅速地抓取网页上散乱分布的数据信息，并通过一系列的分析处理，准确挖掘出所需数据。火车采集器历经十二年的升级更新，积累了大量用户和良好口碑，是目前最受欢迎的网页数据采集软件。

对于网站采集数据的主流实现方式是通过javascript脚本引入，记录页面动作与变化，搜集数据后作为参数，通过gif图片(gif图片格式请求可以解决跨域问题)请求上报。

比如一些大型网站，可以看到他们的数据采集方式：如淘宝，百度，京东，聚划算等

个人设计的web采集数据方案：

lg.js脚本引入页面中通过gif图片请求到后端服务器服务器记录请求参数到日志文件日志文件实时抓取到消息队列实时计算系统消费队列消息，完成分析整理分析结果入ES，kibana二次开发展示ES历史数据入Hadoop

上一期我们讲了如何利用火车采集器采集手机app中的数据信息，小伙伴们不知道看完之后有没有自己手操一遍呢？

小采在后台整理留言发现，很多采友都对网站UI瀑布流数据采集的思路不甚了解，所以今天我们就向大家介绍一下关于网站瀑布流数据的采集思路吧!

瀑布流，又称瀑布流式布局。是比较流行的一种网站页面布局。

视觉表现为参差不齐的多栏布局，随着页面滚动条向下滚动，这种布局还会不断加载数据块并附加至当前尾部。

用户一眼扫过的快速阅读模式可以在短时间内获得更多的信息量,而瀑布流里懒加载模式又避免了用户鼠标点击的翻页操作。

错落有致，定宽而不定高的设计让页面区别于传统的矩阵式图片布局模式，巧妙的利用视觉层级，视线的任意流动又缓解了视觉疲劳，同时给人以不拘一格的感觉。

切中年轻一族的个性化心理。所以这种页面布局在现今饱受欢迎。

那么如何采集瀑布流数据呢？

今天我们以花瓣网为例，向大家解说一下：

花瓣网—瀑布流数据采集思路

1.拿到网页后，分析网页的形式，得出网页为瀑布流形式，需要通过fiddler抓包获取真实地址

http://huaban/explore/uishuju/?jf22v0av&max=1356497171&limit=200&wfl=1

修改下limit参数为200，这样采集器可以获取200个列表页。

2. 编写网址采集规则

3. 获取列表页后，设置内容采集规则

图片采集用到了商业版的功能，内容添加前后缀。

注意事项：这个网页使用瀑布流形式，需要抓包获取真实地址

Fiddler抓包教程http://faq.locoy/q-755.html

抓包工具小伙伴们可以自行百度下载安装，操作很简单。

好了，不知道小伙伴们有没有看懂呢？不管会不会，回去点开火车采集器先跟着教程做一遍吧。

实际操作之后，你就会发现原来瀑布数据采集并没有想象中的那么难。

ForeSpider 前嗅：手把手教你数据采集

ForeSpider是一款非常好用的数据采集软件，因为属于专业性工具，除了帮助文档外很少有使用教程。所有有很多人在使用的过程中遇到问题难以解决，今天给大家介绍ForeSpider数据采集系统的使用教程，希望能对大家的工作有所帮助。

教程的示例网站是大众点评，要得到50页内所有医院名称，该医院评论总数，医院总体星级，各项评分，医院评论的用户名，评论内容，评论时间，用户点评星级，获赞数量和回应数量。

首先我们先新建一个频道，我给它命名为大众点评，然后在频道配置里输入我们想要爬取数据的网址，需要在频道配置处输入想要得到数据的网址，大众点评需要开启cookie，从右面可以开启，网站不同有的不需要，视情况而定。 现在默认模板（1）就是我们要的网站页面，鼠标放在医院标题处如图，从左下角能看到医院的网址链接。

现在点一下右上角的采集预览，我们能得到整个页面的所有网页链接，下拉滚动条到这个位置就会发现跟上图相同格式的链接，这就是我们需要的所有医院的链接。

我们用不到的需要过滤一下，可以通过地址过滤和标题过滤方法筛选。点击软件右上角模板抽取配置里面的链接抽取，里面有地址过滤和标题过滤两个选项，点击地址过滤，软件右下角如图：

过滤规则选择包含，过滤串内输入想要得到的医院链接，后面这串数字我们用“\d”表示，用“\e”表示结束，例如https://dianping/shop/\d\e，这样就能采集网页内所有这种格式的网页链接。

当我们想要采集的网页下面有翻页的链接，就必须配置翻页。除了在右上角默认模板处抽取我们想要的得到的医院链接外，还要再新建一个链接抽取，抽取页面翻页的地址。

我们继续从采集预览处得到翻页的链接，过滤规则选择包含，通过观察发现几个链接的相同点，输入到过滤串里就能得到想要的翻页链接了。

第一层级的模板建好了，下面我们随便点进一个医院主页内，复制链接建立下一层级模板。在默认模板（2）的示例地址内输入医院主页的链接。

因为我们需要采集该医院所有用户评论，所以我们找到下面的“更多点评”，通过刚刚地址过滤的方法，过滤出更多点评的链接，并建立模板（3），示例地址输入刚刚过滤的得到的“更多点评”的网址。

注：点击链接抽取，看左下角关联模板处，一定要关联到下一层级的模板，如果是翻页的链接抽取，要关联自身模板，否则会数据采集失败。这点一定要注意。

这样模板的基本配置就完成了，下一步是建立表单，下图是我们的需求，红色字体我们能从模板二采集到，蓝色字体我们能从模板三采集到，所以我们需要建立两个表单。

点击表单配置，新建一个表单，添加一个网页主键如图，一定要勾选索引字段，键值唯一，主键字段三个选项，取值类型选择网页主键点击确定。

然后添加下一个字段如标题“title”

取值类型选择“选区内全部文本”，变量类型选择“string”，选择合适的字符长度点击确定。依次建立所有字段。

这是我建立的两个表单的所有字段，表单名称分别为“大众点评1”、“大众点评2”，建立好以后点击保存即可。点开模板配置，每一个模板对应相应的表单，右键模板二“添加数据抽取”，表单名称选择“大众点评1”。

同样在模板三处再添加另外一个数据抽取表单，添加好后如下图所示：

单击“title”，然后按住ctrl键同时鼠标左键点击对应标题，内容过多的话按住shift可以调整内容大小，选好后点击保存。

全部选取完后点击左上角的文件，然后全部保存。

下一步点击数据，连接数据库，然后再次点击数据，选择数据表，选择刚刚新建两个数据表的字段后创建表，创建好后勾选并确定，就可以进行数据采集了（如果表单有问题需要更改，改好后需要重新创建表单），速度慢可以点击设置里面的线程设置，设置多线程。

这只是一个简单的教程，软件还有很多强大的功能，祝大家使用愉快！