做网络营销

不论是个人还是公司都想要实现产品的渠道拓展和推广宣传

但绝大多数的企业都不能达成想要的效果

其实原因有很多

一、想要做好网络营销

客户是王道

没有强大的客户群做后盾

网络营销的销量不过是空想罢了

当下客户渠道大多以网络大数据信息采集的方式来获取

如云速数据挖掘

通过输入行业关键字

就能一键采集指定区域的客户信息和联系方式

省时高效

二、通过客户信息

从分考虑分析目标群体的生活轨迹和习惯

来预测客户下一步的消费行为

以正确的时间正确的方式传达产品信息

从而完成营销活动

三、产品文案的策划一定要以客户需求为重点

并且简单易懂、快速吸引客户眼球

才能使转化率达到最佳

在写论文时候，有时候需要试验数数据或者某一点的具体数值，但是由于手头条件有限，不能去做实验。不过手里面有别人做的相关实验的数据图，现在介绍一个技巧，从图中提取有用的数据。

利用origin的 digitizer插件，可以方便的从有图片中提取数据，方便科学绘图（这些图片可以来自科学论文手册，也可以来自专业权威杂志）。

图1 Engauge Digitizer软件界面

以下面曲线图为例，输入软件中，进行数据提取。

图2 关系曲线图

图3 软件界面图

先选择图1中的6按钮，选择好原始坐标

图4 选择坐标

选择图1中的8按钮进行数据点选择

图5 数据点选择

接着选择数据显示如下图命令（图6），显示如图7所示。

图6 数据显示选择

图7 数据显示

当然也可以用输出为命令

图8 输出为命令

选择输出成csv格式，然后用excel打开

图9 数据结果

有了数据，你就可以引用了，当然也可选择输入Origin来进行新的曲线图制作，如下所示。

图10 origin

图11 origin中显示

这样权威的数据就属于你自己了，对写论文的人来说真是太有益处了!

Exif是一种图像文件格式，它的数据存储与JPEG格式是完全相同的。实际上Exif格式就是在JPEG格式头部插入了数码照片的信息，包括拍摄时的光圈、快门、白平衡、ISO、焦距、日期时间等各种和拍摄条件以及相机品牌、型号、色彩编码、拍摄时录制的声音以及GPS全球定位系统数据、缩略图等。你可以利用任何可以查看JPEG文件的看图软件浏览Exif格式的照片，但并不是所有的图形程序都能处理Exif信息。

Exif 标准

EXIF（Exchangeable Image File）是“可交换图像文件”的缩写，当中包含了专门为数码相机的照片而定制的元数据，可以记录数码照片的拍摄参数、缩略图及其他属性信息。Exif标准最初由日本电子工业发展协会（JEIDA - Japan Electronic Industry Development Association）制订，目前的最新版本是发布于2010年04月的 Exif 2.3 版，该版本曾在2012年12月以及2013年5月有所修正[1] ，并已经应用到各个厂商的新影像设备中。

Exif 文件实际是JPEG文件的一种，遵从JPEG标准，只是在文件头信息中增加了有关拍摄信息的内容和索引图。所以你可以使用任何支持JPEG格式的图像工具软件观看 Exif 文件，但图像一旦被修改，Exif 信息可能会永久丢失，故编辑 Exif 必须使用专门的软件。

简单来说，Exif 信息就是由数码相机在拍摄过程中采集一系列的信息，然后把信息放置在我们熟知的 JPEG/TIFF 文件的头部，也就是说 Exif信息是镶嵌在 JPEG/TIFF 图像文件格式内的一组拍摄参数，它就好像是傻瓜相机的日期打印功能一样，只不过 Exif信息所记录的资讯更为详尽和完备。Exif 所记录的元数据信息非常丰富，主要包含了以下几类信息：

拍摄日期拍摄器材（机身、镜头、闪光灯等）拍摄参数（快门速度、光圈F值、ISO速度、焦距、测光模式等）图像处理参数（锐化、对比度、饱和度、白平衡等）图像描述及版权信息GPS定位数据缩略图

厂商注释

厂商注释（MakerNote）是储存在 Exif 中的厂商专有的注释数据，采用二进制格式，由不同的厂商自行制订，因此没有统一的标准，往往只能由生产商读取。厂商注释往往记录了许多 Exif 标准中未被正式定义的标签，比如快门次数、白平衡微调、人脸侦测信息、连拍序列、对焦数据等等，大大扩展了 Exif 标准的局限性。

由于缺乏统一的行业标准，加之设备生产商往往不对外公布其厂商注释采用的格式，使得解码和识别厂商注释变得十分困难。一般的 Exif 查看软件并不能解码厂商注释数据，目前能够正确读取并识别的厂商注释项目的Exif 查看/编辑软件比较少，主要有：ExifTool、MagicEXIF（中文支持）、bkviewer、JPEGsnoop（仅限佳能和尼康）等。

历史版本

修正版本发布日期备注Exif 1.0　　1995年10月　　第一个Exif标准版本，定义了Exif使用的基础数据结构和标签格式Exif 1.11997年5月添加更多Exif标签Exif 2.0　　1997年11月添加GPS标签和缩略图Exif 2.1　　1998年12月　　添加DCF可交换性标签Exif 2.2　　2002年4月添加与定位有关的标签Exif 2.212003年9月添加并修正一些标签，加入操作准则Exif 2.21（统一版本）2009年9月　　合并 Exif 2.2 和 Exif 2.21 的内容，并添加多个附表Exif 2.32010年4月　　重新编整文章结构，添加镜头和感光度相关标签历史发展

Exif 标准是在1996年制定出来的，当时日本电子和信息技术协会（JEITA）决定为数码相机厂商制定一套标准，最后的结果就是产生了Exif 1.0。 到了1998，数码相机的发展取得了新的成就，数码相机的普及趋势越来越明显，于是JEITA 决定升级Exif标准，于是推出了 Exif 2.1,新标准中增加了一些新的规定，包括对音频文件的支持，能够对更复杂的照片进行, 改变了色调采样方式，并且规定缩略图也必须包含图像头。Exif 2.1 现在已经得到广泛的认可，对用户来说可以获得非常多的完备的照片信息。

到了2002年3月份，JEITA再次发表了Exif标准的最新版本，增加了一些有利于照片打印的参数支持。

就目前的数字照片打印来看，一般的数字照片打印处理可能会带来一些质量不好的打印结果，如果打印机从数码相机中获得更多的照片拍摄时候的信息，那么对于效果更好的打印质量是有帮助的。其实这个问题已经被有些厂商所意识到，例如 Epson就已经开发出Print Image Matching (PrintIM) 技术，而Exif 2.2的出现使得 PrintIM技术标准化，这对于协调数码相机厂商和打印机厂商都是非常有效的做法。

Exif 2.2中最有特色的地方就在于新推出的Exif Print。它里面包含着有助于数码照片打印的有效信息，这些增加的信息包含在照片文件头中，所有这些信息都有助于照片打印，有了这些信息的帮助，打印机就不会再把夜景拍摄照片当作普通风景照片来打印，对于每张照片的处理都可以达到这样精确的地步。Exif 2.2标准可以准确再现当时拍摄时候的画面。

Exif 2.21标准在2003年9月正式对外发布，并在2009年9月完成最终的统一修订，将 Exif 2.2 与 2003 版的Exif 2.21 进行了合并。新Exif 2.21标准与之前的标准对大的区别在于添加了多个附录，用以记录旧版本标准以及更新信息，并提供操作 Exif 的一系列准则。由于其发布时间正值数码相机普及的年代，这个版本一度成为大部分数码相机沿用的标准。

直到2010年4月，由于沿用了七年之久的 Exif 2.21 已经不能满足数码相机的发展需要，JEITA 发布了 Exif 2.3，这一版本中主要添加和修正了镜头、感光度、GPS等相关的标签，并重新整理了说明文档的结构 。目前各大生产商已经陆续将其下属的新型号产品迁移到新标准上。

常见标签

所有的JPEG文件以字符串“0xFFD8”开头，并以字符串“0xFFD9”结束。文件头中有一系列“0xFF??”格式的字符串，称为“JPEG标识”或“JPEG段”，用来标记JPEG文件的信息段。“0xFFD8”表示图像信息开始，“0xFFD9”表示图像信息结束，这两个标识后面没有信息，而其它标识紧跟一些信息字符。

0xFFE0 -- 0xFFD9之间的标识符称为“应用标记”，一般称为APPn，JPEG的编码和解码并不会使用这些段，Exif 正是利用这些信息串记录拍摄信息如快门速度、光圈值等，甚至可以包括全球定位信息。按照 Exif 标准对这些标识符的定义，数码相机可以把各种拍摄信息记入数码图像中，应用软件可以读取这些数据，再按照 Exif 标准，检索出它们的具体含义，一般而言包括以下一些信息：

标签号Exif 定义名中文定义名备注0x010E　　ImageDescription图像描述-0x013BArtist作者使用者的名字0x010FMake生产商相机生产厂家0x0110Model型号相机型号0x0112Orientation方向有的相机支持，有的不支持0x011AXResolution水平方向分辨率-0x011BYResolution垂直方向分辨率-0x0128ResolutionUnit分辨率单位-0x0131Software软件固件Firmware版本或编辑软件0x0132DateTime日期和时间照片最后的修改时间0x0213YCbCrPositioningYCbCr定位色度抽样方法0x8769ExifOffsetExif子IFD偏移量-0x829AExposureTime曝光时间即快门速度0x829DFNumber光圈系数光圈的F值0x8822ExposureProgram曝光程序自动曝光、光圈优先、快门优先、M档等0x8827ISOSpeedRatingsISO感光度Exif 2.3 中更新为 “PhotographicSensitivity”0x9000ExifVersionExif 版本参见“历史版本”一节0x9003DateTimeOriginal拍摄时间照片拍摄的时间0x9004DateTimeDigitized数字化时间照片被写入内存卡的时间0x9204ExposureBiasValue曝光补偿-0x9205MaxApertureValue最大光圈APEX为单位0x9207MeteringMode测光模式平均测光、中央重点测光、点测光等0x9208Lightsource光源一般记录白平衡设定0x9209Flash闪光灯记录闪光灯状态0x920AFocalLength镜头焦距镜头物理焦距0x927CMakerNote厂商注释参见“厂商注释”一节0x9286UserComment用户注释用户自定义数据0xA000FlashPixVersionFlashPix版本-0xA001ColorSpace色彩空间一般为sRGB0xA002ExifImageWidth图像宽度图像横向像素数0xA003ExifImageLength图像高度图像纵向像素数0xA433　　LensMake镜头生产商-0xA434LensModel镜头型号-

作用

提高摄影水平

通过查看优秀作品的 Exif参数，你能够知道作者使用的器材，并且了解到作者所处的环境以及拍摄时使用的相机设置。通过比对Exif数据与图像内容，你可以直观地了解到曝光组合的不同会对图像产生什么影响、以及不同焦距的镜头会产生什么样的视觉效果等，从而在以后的拍摄中进行改进，这也是数码照片相对于传统胶片的一个重要优势。

提供编辑依据

很多图像编辑器会自动读取Exif数据来对图像进行优化，最常见的便是从 Exif中读取出相机姿态信息，从而自动识别出竖拍甚至是颠倒拍摄的照片并对其进行旋转校正。也有一些软件可以根据 Exif中的机内处理信息对图像进行针对性优化，从而保证图像不会因为过度处理而失真。

方便管理

Exif 除了记录技术性参数之外，还允许用户加入自定义的信息。比如通过 GPS 信息可以知道照片具体的拍摄地点，Windows 允许用户加入图像关键词便于用户日后的搜索和归类，加入图像描述或者注释还可以记录照片拍摄时的有趣故事。

验证原图

由于照片经过图像处理软件的编辑后会丢失部分或全部的 Exif元数据，因此 Exif信息的完整与否还是判断照片是否为相机直出的原始图像的重要依据。比如 Adobe Photoshop 在编辑图像后会删除大部分非技术参数，并将一些项目修改为其特有的值，因此很容易能够得知图像的编辑历史 。

如何查看图片Exif信息

只要右击图片属性，详细就能看到EXIF信息，另外，除了专门的图片Exif信息查看器之外，绝大部分图片查看处理软件都有查看Exif信息的功能。

（图片个人原创，文字根据网上资料整理，版权所有，仅供学习交流，如有侵权，请联系删除。）

上一期我们讲了如何利用火车采集器采集手机app中的数据信息，小伙伴们不知道看完之后有没有自己手操一遍呢？

小采在后台整理留言发现，很多采友都对网站UI瀑布流数据采集的思路不甚了解，所以今天我们就向大家介绍一下关于网站瀑布流数据的采集思路吧!

瀑布流，又称瀑布流式布局。是比较流行的一种网站页面布局。

视觉表现为参差不齐的多栏布局，随着页面滚动条向下滚动，这种布局还会不断加载数据块并附加至当前尾部。

用户一眼扫过的快速阅读模式可以在短时间内获得更多的信息量,而瀑布流里懒加载模式又避免了用户鼠标点击的翻页操作。

错落有致，定宽而不定高的设计让页面区别于传统的矩阵式图片布局模式，巧妙的利用视觉层级，视线的任意流动又缓解了视觉疲劳，同时给人以不拘一格的感觉。

切中年轻一族的个性化心理。所以这种页面布局在现今饱受欢迎。

那么如何采集瀑布流数据呢？

今天我们以花瓣网为例，向大家解说一下：

花瓣网—瀑布流数据采集思路

1.拿到网页后，分析网页的形式，得出网页为瀑布流形式，需要通过fiddler抓包获取真实地址

http://huaban/explore/uishuju/?jf22v0av&max=1356497171&limit=200&wfl=1

修改下limit参数为200，这样采集器可以获取200个列表页。

2. 编写网址采集规则

3. 获取列表页后，设置内容采集规则

图片采集用到了商业版的功能，内容添加前后缀。

注意事项：这个网页使用瀑布流形式，需要抓包获取真实地址

Fiddler抓包教程http://faq.locoy/q-755.html

抓包工具小伙伴们可以自行百度下载安装，操作很简单。

好了，不知道小伙伴们有没有看懂呢？不管会不会，回去点开火车采集器先跟着教程做一遍吧。

实际操作之后，你就会发现原来瀑布数据采集并没有想象中的那么难。

目前有很多数据采集云平台，如百度统计，腾讯统计、乐驰云采集等等，还有一些平台也非常不错：

一. 友盟+

支持移动端和web端数据采集，个性化场景数据定制采集方案。官网给的一些demo可以参考来设计大数据的分析展现，例如：

友盟的：

百度的：

值得借鉴～

二. 乐驰云采集

以高性能分布式采集、存储为核心，建立分工明确的功能模块进行高度协作，融合打码、分词、代理、排重等实用性服务，帮助用户以最低成本、最少人力、最高效率完成大数据应用开发，从而满足当下广大中小企业对“实时、高难、海量”级大数据业务场景的根本需求。

http://lewell/service.html#tabcon_4

值得一看

三. 火车采集器

火车采集器，一款专业的互联网数据抓取、处理、分析，挖掘软件，可以灵活迅速地抓取网页上散乱分布的数据信息，并通过一系列的分析处理，准确挖掘出所需数据。火车采集器历经十二年的升级更新，积累了大量用户和良好口碑，是目前最受欢迎的网页数据采集软件。

对于网站采集数据的主流实现方式是通过javascript脚本引入，记录页面动作与变化，搜集数据后作为参数，通过gif图片(gif图片格式请求可以解决跨域问题)请求上报。

比如一些大型网站，可以看到他们的数据采集方式：如淘宝，百度，京东，聚划算等

个人设计的web采集数据方案：

lg.js脚本引入页面中通过gif图片请求到后端服务器服务器记录请求参数到日志文件日志文件实时抓取到消息队列实时计算系统消费队列消息，完成分析整理分析结果入ES，kibana二次开发展示ES历史数据入Hadoop

什么是大数据，大数据有什么用，为什么凯文凯利说数据是必然，马云说数据是未来的一切的来源？

世界每天都在变，新的概念和名词不断涌现。

对有些人来说，大数据早被说烂，已经是过时的风口；

对有些人来说，大数据似懂非懂，听起来很“高大上”；

这篇文章为后一种人所写，如果你对大数据也似懂非懂，读完这篇你就可以搞懂它。

/ 01 /

什么是大数据

关于大数据的概念，有诸多版本，如同文化、精神这类词，没有统一定义。这里不是写论文，只引用两个版本：

1个来自维基百科：大数据是指一些使用目前现有数据库管理工具或传统数据处理应用很难处理的大型而复杂的数据集。

1个来自百度百科：大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

维基百科说了大数据大、难处理，复杂、数据集，百度百科在此基础上强调它是一种信息资产。

两个概念共同昭示了大数据的主要特点：数量大、种类多、复杂、难处理、价值大。

那大数据是谁创造呢？

笼统说：是所有人的所有行为。

它不是今天，或者电脑诞生、互联网诞生后才有，历史上也有，只是那个时候没这个概念，古人行军打仗，商品贸易流通，城市兴起衰落无不是在生产大数据，利用大数据。

你今天早上吃什么，出门选择什么交通工具，一个行为构成一个数据。

无数个你集结一起就是大数据，我们所有人的交易行为集结一起，就是消费大数据，我们所有人出行，就是出行大数据，我们娱乐消遣，就是娱乐大数据……

所以大数据不只是excel表格里的一串字符，从构成元素上看，它包含：文字、图片、视频、音频、交易记录、生产信息、物联网信息……

于我而言，大数据是历史，是信息，是记录，记录我们所做过的一切。

/ 02 /

大数据有何用

大数据有什么用，为什么马云说，数据不仅是能源，是血液，是未来所有的一切的创新和来源？

其实大数据本身是没有任何价值。

比如大数据告诉你每天有10000个人，固定从A移动到B点。这条讯息对你可能没有任何价值。

但如果摩拜知道了，它可以选择在A点和B点分别投放不同数量的车，获得用户增长。

如果广告商知道了，它可以在A点和B点搭建N个广告展示窗口，获得广告费，而广告商背后的广告主也能因此得利。

……

（当然你也可以选择在A点或B点开一个奶茶店。）

因为大数据记录所有，它会告诉别人，人们的喜好，消费习惯，选择偏好、工作习惯……

企业可以从中觅出商机，更好解决人们需要，从而获得利润。

而最终获益的是每一个人，因为我们的需要得到了更好满足。

就目前来看，企业会更直接从大数据中获利。

大数据的价值，可以笼统归为两点：

1. 大数据为人服务，为企业和个人提供决策参考，让人少犯错，更聪明。这方面主要体现在精准营销、用户需求、市场拓展、趋势预测、资源配置、产品升级……

2. 大数据为机器服务。大数据可以训练机器设备、人工智能，让机器更聪明。这方面主要体现在物联设备、人工智能训练、搜索引擎、信息分发平台的推送机制等，都是基于大数据之上的。

关于第2点，举1个例子：谷歌智能机器人阿尔法狗之所以能横扫当代围棋高手，在于它未出战之前，已经和历史上的所有名家学习对战过，并反复与自己对战，不断超越自己，所以才战无不胜。

/ 03 /

大数据的分类

大数据大体可以分两类。

开放数据。开放数据即所有人可见的公开数据。包含但不局限以下：

网站数据；

APP数据；

大众媒介数据，如电视、报纸、电台、书等；

……

内部数据。内部数据即某些特定机构、企业拥有数据。包含但不局限以下：

政府数据，如征信、户籍、犯罪记录等；

企业数据，如阿里巴巴的消费数据，腾讯的社交数据，滴滴的出行数据等；

机构数据，如第三方咨询机构的调查数据。

终端数据，如小米智能手环搜集你的健康数据。

……

两者的区别在于，开放数据体量大，比较杂乱，目前使用率低，会使用的企业和机构较少，需要挖掘，但在未来它必定是主流数据来源，随着数据积累，数据价值和应用率会更高。

内部数据则反过来，体量相对会少，数据相对集中，目前应用更广，但对普通企业/人来说，获取难度比较高。

/ 04 /

大数据如何获取

如果企业、机构或者个人想要获取大数据，该怎么获取呢？

1.购买。

购买分两种，一种是直接向数据拥有者购买。一些公司或个人拥有一些数据，他们会出售数据变现（相对少）；

另一种方式是上数据交易平台购买数据，比如上发源地大数据交易平台，用户可以直接购买数据，也可以发布数据需求，定制数据，从开发者或数据供应商获取数据。

2.采集。

采集数据要看采集什么数据。如果要采集开放数据，方式也是两种，如果懂技术，可以自己写代码采；如果不懂技术，技术小白，可以用数据采集工具采，比如Finndy+云采集引擎。

而如果要采集内部数据的话，一般说来企业内部都有自己的数据采集软件和方式，比如工业设备会通过传感器记录数据，一些企业会人工记录采集数据。

3.自造。

比如阿里巴巴、腾讯、百度这些互联网巨头公司，从某种维度上来说，他们也是数据公司，并且拥有自造大数据的能力，如果你的企业能切中某个社会大需求，拥有海量用户和高使用频次，成为巨头，你也可以自造大数据。

/ 05 /

大数据如何应用

大数据怎么用？

这里只讲流程和逻辑，不切具体行业和场景。

不管你是用大数据去服务人，帮助你做决策，还是用大数据去训练你的机器，算法，一般都要四步骤。

数据采集。

数据采集的方法上面已经说了，这里要说的是，数据采集是数据应用的基础，数据源非常重要，如果数据源错了，后面的所有结果都是错，采集来的数据是否全，是否清洗，是否合法，是否及时，都是数据可靠性和可用性的判断维度。

数据建模。

数据采集上来了，需要对数据进行整理，按照一些规则和维度进行组织，让人和机器都能看懂。

数据分析。

数据该如何分析，分析哪些维度，怎么从过去预测未来，这是个大学问，也是各家各说，无法一一展开，在此不赘述。

数据应用。

分析完就是应用，验证分析结果。这是一个循环过程，通常需要A/B测试，反复验证优化。

如果你对大数据感兴趣，你的企业想了解大数据如何应用，你想听内行专家分享，以他山之石攻已之玉，2017.11.19.上海。欢迎来全创周现场取经。

“大数据应用的现状与未来 ”

09:20~09:45 观众入场 & 来宾签到

09:45~09:50 主办 方致辞 马建军 发源地大数据创始人兼 CEO

09:50~10:25 主题分享 : 大数据最具潜力的应用领域 (拟)

武 星 上海大学计算机科与技术系副主任

10:25~10:50 案例 / 应用内部数据，做好承诺管控 (拟)

汤 灏 零点有数集团上海对外合作总经理

10:50~10:55 Lucky Draw

10:55~11:25 对谈 / 从大数据的源头开始，让安全合规地应用 (拟)

马慧民 上海大数据联盟常务副秘书长 /云计算和大数据部长

罗晓梅 奥孚教育副总裁

11:25~11:50 干货 / 开放数据的应用现状和未来 (拟)

柳 超 天眼查创始人兼 CEO

2017. 11. 19 (日)09:30-12:00 上海 -长阳创谷 (杨浦 区长阳路 1687号)

发源地大数据（Finndy）是国内首家基于自研SaaS2.0云采集引擎的大数据交易平台，支持海量数据的分布式采集、计算及处理，以技术驱动数据交易。

科学分析、行业研究、内容扩充、运营启动，Finndy平台集合了全行业脱敏数据，满足企业对数据分析、数据运营及精准营销等方面的需求。

我觉得今天应该出来吹下牛逼，因为我们觉得都快被自已感动哭了。近期我们整个运营团队天天加班一口气做了这218个采集模板，放到我们神奇的八爪鱼简易采集里面去，覆盖140个以上的网站，采集模板字段全配齐，适应不同用户不同场景下的需求，从此用户只需要输入几个参数，点一下启动采集即可获取数据。

一张图是无法将logo全摆上的！

本地生活

大众点评 携程 美团 房天下

百姓网 赶集网 黄页88 58同城

51JOB 安居客 瓜子 驴妈妈

蚂蜂窝 穷游网 微医 搜房网

途牛网 房多多 春雨医生 下厨房

育儿网 寻医问 饿了么 爱彼迎

链家 馒友帮

电子商务

京东 天猫 淘宝 amazon

阿里巴巴 唯品会 当当网 1号店

ebay 速卖通 蘑茹街 苏宁易购

媒体阅读

腾讯网 微博网页 东方财经 新浪新闻

新浪财经 悟空问答 猎云网 铅笔道

人民网 时光网 文玩迷 VR186

一点资讯 雅虎 雪球 凤凰网

新浪汽车 新华社 部落 线报屋

太平洋 果壳网 中新网 虎嗅网

I黑马 IT桔子 东方财富 百度百家

好奇心 华尔街 环球网 简书

界面 今日头条 梨视频 36Kr

她生活 搜狐新闻 搜狐新车 B站

搜索与社交

百度 搜狗 豆瓣 糗百

博客园 网易 多玩 家长帮

天涯网

其他

好大夫 39健康网 智联 英雄联盟

站长之家 87870 音频应用 中国政府采集网

虾米音乐 AcFun 爱奇艺 雪球

应用宝 优酷 字幕组 360

QQ音乐 爱游网 拉勾

*以上网站的采集规则都配置好模板，大家可以直接使用即可采集。

未完待续，敬请期待

除了以上100多个网站的218个模板外，我们后续还会再制作上百个网站数百个模板，让用户从此采集更多网站无需配置采集规则。

这些模板对应的网站，都是用户大多数想要采集的网站，以大众点评为例，大多数都在采集商家列表，商家详情，团购详情等等，我们运营的同学先帮大家把这些采集规则配置好，大家只需要填入一些参数（如城市入口地址，翻多少页等等）即可进行采集，页面上所有字段几乎都会包含，如遇到不需要的删除即可。

并且有些模板还帮用户做了特殊处理，进行了云优化与云突破，可以在云端无限采集，无需担心封IP等防采集策略。

简易采集界面也对采集字段，参数配置，样例数据做了详细的说明，保证每个点都说到位，并且运营同学还会对规则做定期的维护与更新，最后达到一个效果，你只需点击一个“立即使用”，即可获取数据。

我们运营的同学戏称，从前我们是图片处理界的PS，功能强大，从此，我们是图片处理界的美图秀秀，不仅功能强大还简易，大家可以直接开挂采集数据了。

ForeSpider 前嗅：手把手教你数据采集

ForeSpider是一款非常好用的数据采集软件，因为属于专业性工具，除了帮助文档外很少有使用教程。所有有很多人在使用的过程中遇到问题难以解决，今天给大家介绍ForeSpider数据采集系统的使用教程，希望能对大家的工作有所帮助。

教程的示例网站是大众点评，要得到50页内所有医院名称，该医院评论总数，医院总体星级，各项评分，医院评论的用户名，评论内容，评论时间，用户点评星级，获赞数量和回应数量。

首先我们先新建一个频道，我给它命名为大众点评，然后在频道配置里输入我们想要爬取数据的网址，需要在频道配置处输入想要得到数据的网址，大众点评需要开启cookie，从右面可以开启，网站不同有的不需要，视情况而定。 现在默认模板（1）就是我们要的网站页面，鼠标放在医院标题处如图，从左下角能看到医院的网址链接。

现在点一下右上角的采集预览，我们能得到整个页面的所有网页链接，下拉滚动条到这个位置就会发现跟上图相同格式的链接，这就是我们需要的所有医院的链接。

我们用不到的需要过滤一下，可以通过地址过滤和标题过滤方法筛选。点击软件右上角模板抽取配置里面的链接抽取，里面有地址过滤和标题过滤两个选项，点击地址过滤，软件右下角如图：

过滤规则选择包含，过滤串内输入想要得到的医院链接，后面这串数字我们用“\d”表示，用“\e”表示结束，例如https://dianping/shop/\d\e，这样就能采集网页内所有这种格式的网页链接。

当我们想要采集的网页下面有翻页的链接，就必须配置翻页。除了在右上角默认模板处抽取我们想要的得到的医院链接外，还要再新建一个链接抽取，抽取页面翻页的地址。

我们继续从采集预览处得到翻页的链接，过滤规则选择包含，通过观察发现几个链接的相同点，输入到过滤串里就能得到想要的翻页链接了。

第一层级的模板建好了，下面我们随便点进一个医院主页内，复制链接建立下一层级模板。在默认模板（2）的示例地址内输入医院主页的链接。

因为我们需要采集该医院所有用户评论，所以我们找到下面的“更多点评”，通过刚刚地址过滤的方法，过滤出更多点评的链接，并建立模板（3），示例地址输入刚刚过滤的得到的“更多点评”的网址。

注：点击链接抽取，看左下角关联模板处，一定要关联到下一层级的模板，如果是翻页的链接抽取，要关联自身模板，否则会数据采集失败。这点一定要注意。

这样模板的基本配置就完成了，下一步是建立表单，下图是我们的需求，红色字体我们能从模板二采集到，蓝色字体我们能从模板三采集到，所以我们需要建立两个表单。

点击表单配置，新建一个表单，添加一个网页主键如图，一定要勾选索引字段，键值唯一，主键字段三个选项，取值类型选择网页主键点击确定。

然后添加下一个字段如标题“title”

取值类型选择“选区内全部文本”，变量类型选择“string”，选择合适的字符长度点击确定。依次建立所有字段。

这是我建立的两个表单的所有字段，表单名称分别为“大众点评1”、“大众点评2”，建立好以后点击保存即可。点开模板配置，每一个模板对应相应的表单，右键模板二“添加数据抽取”，表单名称选择“大众点评1”。

同样在模板三处再添加另外一个数据抽取表单，添加好后如下图所示：

单击“title”，然后按住ctrl键同时鼠标左键点击对应标题，内容过多的话按住shift可以调整内容大小，选好后点击保存。

全部选取完后点击左上角的文件，然后全部保存。

下一步点击数据，连接数据库，然后再次点击数据，选择数据表，选择刚刚新建两个数据表的字段后创建表，创建好后勾选并确定，就可以进行数据采集了（如果表单有问题需要更改，改好后需要重新创建表单），速度慢可以点击设置里面的线程设置，设置多线程。

这只是一个简单的教程，软件还有很多强大的功能，祝大家使用愉快！