造数——最好用的数据采集工具http://zaoshu.io/

在当今这个大数据年代，任何决策都脱离不了数据。

数据科学家的数据分析步骤包括以下几个方面，

1、目标确定2、数据获取3、数据处理4、数据分析5、洞察结论6、报告撰写

1、目标确定

这一步在工作中通常是由你的客户/上级/其他部门同事/合作方提出来的，但第一次的数据报告中，需要你自己来提出并确定目标。

选择目标时需注意几点：

确定自己的方向研究什么问题该问题研究现状

2、数据获取

获取的方法多，除了公司已有的数据外，网络上存在海量的数据，这些数据是重要的数据源。

获取网络上的数据总的来看分为代码和工具。代码就是自己去写一个爬虫，成本较高，需要花大量时间去学习爬虫的相关知识，适合代码大神去做。对于不会代码的人来说，使用工具就是一个明智的选择，工具简单、好用，而且速度快。

造数就是一个优秀的数据采集工具，采集规则非常简单，使用鼠标点击数据，不需要下载额外的软件，所有的采集工作都是在云端进行。

造数，就是这么简单、优雅

造数，新一代智能云爬虫

3、数据处理

数据处理包括数据清洗和数据整理。

无论是通过代码还是工具获取的数据，都存在异常值、空白值、无效值、重复值等等，需要清除无效信息。在我们获取了精确的数据后，下一步就是描述分析。

通常我们使用表格展示数据，还可以利用图表来可视化。Excel和BDP都是不错的选择，看看BDP的图。

4、数据分析

描述分析分为两大部分：数据描述和指标统计。

数据描述：用来对数据进行基本情况的刻画，包括：数据总数、时间跨度、时间粒度、空间范围、空间粒度、数据来源等。如果是建模，那么还要看数据的极值、分布、离散度等内容。这次我们是零基础做数据报告，那么就不用考虑后一类数据了。

指标统计：用来作报告，分析实际情况的数据指标，可粗略分为四大类：变化、分布、对比、预测;

5、洞察结论

这一步是数据报告的核心，也是最能看出数据分析师水平的部分。一个年轻的分析师和一个年迈的分析师拿到同样的图表，完全有可能解读出不同的内容。

举个例子：

年轻的分析师：2013年1月销售额同比上升60%，迎来开门红。2月销售额有所下降，3月大幅回升，4月持续增长。

年迈的分析师：2013年1月、2月销售额去除春节因素后，1月实际同比上升20%，2月实际同比上升14%，3月、4月销售额持续增长。

看到两者的区别了吗?2013年春节在2月，2012年则在1月，因此需要各去除一周的销售额，再进行比较。如果不考虑这一因素，那么后续得出的所有结论都是错的。挖掘数字变化背后的真正影响因素，才是洞察的目标。

总结一下，所谓洞察，就是要越过数据，去推测和理解真实情况。单纯描述数据，谁都会做，根据数据得出有价值的结论，报告才有意义。

6、报告撰写

数据分析的最后一步，用来向客户/上级/其他部门同事/合作方展示。每个人的风格都不一样，写出来的报告也各有特色。一般来说，报告撰写需要注意以下几点：

有鲜明观点有数据支持有解决办法

好了，到这里一份数据分析报告就出炉了。在现实中，数据分析师具体做法可能有偏差，但是从数据收集到数据分析这个思路是通用的。

再次推荐两个好用的工具:

造数：最好用的数据采集

BDP：和造数无缝衔接的可视化分析工具

大数据技术与商业智能BI是相辅相成的，前面的文章就提到大数据技术可以帮助BI产品突破业务和技术的双挑战。可视化大数据分析软件在快速发展的市场环境中，迎来了越来越多的技术要求。这些核心技术成为大数据获取、存储、处理分析或可视化的有效手段，可以说是我们这些专注研究可视化大数据分析软件的工作人员需要去学习和了解的！

1大数据生命周期

底层是基础设施，涵盖计算资源、内存与存储和网络互联，具体表现为计算节点、集群、机柜和数据中心。在此之上是数据存储和管理，包括文件系统、数据库和类似YARN的资源管理系统。然后是计算处理层，如hadoop、MapReduce和Spark，以及在此之上的各种不同计算范式，如批处理、流处理和图计算等，包括衍生出编程模型的计算模型，如BSP、GAS 等。数据分析和可视化基于计算处理层。分析包括简单的查询分析、流分析以及更复杂的分析(如机器学习、图计算等)。查询分析多基于表结构和关系函数，流分析基于数据、事件流以及简单的统计分析，而复杂分析则基于更复杂的数据结构与方法，如图、矩阵、迭代计算和线性代数。一般意义的可视化是对分析结果的展示。但是通过交互式可视化，还可以探索性地提问，使分析获得新的线索，形成迭代的分析和可视化。基于大规模数据的实时交互可视化分析以及在这个过程中引入自动化的因素是目前研究的热点。

2.大数据技术生态

大数据的基本处理流程与传统数据处理流程并无太大差异，主要区别在于：由于大数据要处理大量、非结构化的数据，所以在各处理环节中都可以采用并行处理。目前，Hadoop、MapReduce和Spark等分布式处理方式已经成为大数据处理各环节的通用处理方法。

3.大数据采集与预处理

根据MapReduce产生数据的应用系统分类，大数据的采集主要有4种来源：管理信息系统、Web信息系统、物理信息系统、科学实验系统。对于不同的数据集，可能存在不同的结构和模式，如文件、XML 树、关系表等，表现为数据的异构性。对多个异构的数据集，需要做进一步集成处理或整合处理，将来自不同数据集的数据收集、整理、清洗、转换后，生成到一个新的数据集，为后续查询和分析处理提供统一的数据视图。

关于玩可视化大数据分析软件要掌握的6个核心技术就先介绍3个，下篇我们再继续。开发一款可视化大数据分析软件需要掌握很多大数据技术，这要求研发人员保持持续学习和更新的态度。这样才能生产出先进的BI产品。

尽管“大数据”一词近年来屡遭热捧

但很多人都还不知道什么是大数据

更不知道大数据有甚卵用

这两年，发现“大数据”这个词出现的越来越频繁了

不仅企业，连国家都在部署大数据战略

一番百度了之后

Oh~ emmmmmmmmm~ +_+

还是没搞懂大数据到底是个什么玩意儿

直到有一天

我发现一个秘密

不管我在网上搜索什么

页面都会跳出我要搜索的相关产品或关联事物

然后，我恍然大悟！

所谓大数据，就是算法！

它能够“算”出我们“心中所想”

那么问题来了

大数据技术是如何采集到我们的信息的呢？

数据采集，又称数据获取，是利用一种装置，从系统外部采集数据并输入到系统内部的一个接口。在互联网行业快速发展的今天，数据采集已经被广泛应用于互联网及分布式领域，比如摄像头，麦克风，都是数据采集工具。

数据采集系统整合了信号、传感器、激励器、信号调理、数据采集设备和应用软件。在数据大爆炸的互联网时代，数据的类型也是复杂多样的，包括结构化数据、半结构化数据、非结构化数据。结构化最常见，就是具有模式的数据。非结构化数据是数据结构不规则或不完整，没有预定义的数据模型，包括所有格式的办公文档、文本、图片、XML, HTML、各类报表、图像和音频/视频信息等等。大数据采集，是大数据分析的入口，所以是相当重要的一个环节。

我们首先来了解一下数据采集的三大要点：

一、数据采集的三大要点

（1）全面性

数据量足够具有分析价值、数据面足够支撑分析需求。

比如对于“查看商品详情”这一行为，需要采集用户触发时的环境信息、会话、以及背后的用户id，最后需要统计这一行为在某一时段触发的人数、次数、人均次数、活跃比等。

（2）多维性

数据更重要的是能满足分析需求。灵活、快速自定义数据的多种属性和不同类型，从而满足不同的分析目标。

比如“查看商品详情”这一行为，通过埋点，我们才能知道用户查看的商品是什么、价格、类型、商品id等多个属性。从而知道用户看过哪些商品、什么类型的商品被查看的多、某一个商品被查看了多少次。而不仅仅是知道用户进入了商品详情页。

（3）高效性

高效性包含技术执行的高效性、团队内部成员协同的高效性以及数据分析需求和目标实现的高效性。也就是说采集数据一定要明确采集目的，带着问题搜集信息，使信息采集更高效、更有针对性。此外，还要考虑数据的及时性。

不同应用领域的大数据其特点、数据量、用户群体均不相同。不同领域根据数据源的物理性质及数据分析的目标采取不同的数据采集方法。

那么，接下来我们再来了解一下常用的数据采集的方法。

常用的数据采集方法归结为以下三类：传感器、日志文件、网络爬虫。

（1）传感器

传感器通常用于测量物理变量，一般包括声音、温湿度、距离、电流等，将测量值转化为数字信号，传送到数据采集点，让物体有了触觉、味觉和嗅觉等感官，让物体慢慢变得活了起来。

（2）系统日志采集方法

日志文件数据一般由数据源系统产生，用于记录数据源的执行的各种操作活动，比如网络监控的流量管理、金融应用的股票记账和 web 服务器记录的用户访问行为。

很多互联网企业都有自己的海量数据采集工具，多用于系统日志采集，如Hadoop的Chukwa，Cloudera的Flume，Facebook的Scribe等，这些工具均采用分布式架构，能满足每秒数百MB的日志数据采集和传输需求。

（3）Web 爬虫

网络爬虫是指为搜索引擎下载并存储网页的程序，它是搜索引擎和 web 缓存的主要的数据采集方式。通过网络爬虫或网站公开API等方式从网站上获取数据信息。该方法可以将非结构化数据从网页中抽取出来，将其存储为统一的本地数据文件，并以结构化的方式存储。它支持图片、音频、视频等文件或附件的采集，附件与正文可以自动关联。

此外，对于企业生产经营数据上的客户数据，财务数据等保密性要求较高的数据，可以通过与数据技术服务商合作，使用特定系统接口等相关方式采集数据。比如八度云计算的数企BDSaaS，无论是数据采集技术、BI数据分析，还是数据的安全性和保密性，都做的很好。

数据的采集是挖掘数据价值的第一步，当数据量越来越大时，可提取出来的有用数据必然也就更多。只要善用数据化处理平台，便能够保证数据分析结果的有效性，助力企业实现数据驱动。

目前有很多数据采集云平台，如百度统计，腾讯统计、乐驰云采集等等，还有一些平台也非常不错：

一. 友盟+

支持移动端和web端数据采集，个性化场景数据定制采集方案。官网给的一些demo可以参考来设计大数据的分析展现，例如：

友盟的：

百度的：

值得借鉴～

二. 乐驰云采集

以高性能分布式采集、存储为核心，建立分工明确的功能模块进行高度协作，融合打码、分词、代理、排重等实用性服务，帮助用户以最低成本、最少人力、最高效率完成大数据应用开发，从而满足当下广大中小企业对“实时、高难、海量”级大数据业务场景的根本需求。

http://lewell/service.html#tabcon_4

值得一看

三. 火车采集器

火车采集器，一款专业的互联网数据抓取、处理、分析，挖掘软件，可以灵活迅速地抓取网页上散乱分布的数据信息，并通过一系列的分析处理，准确挖掘出所需数据。火车采集器历经十二年的升级更新，积累了大量用户和良好口碑，是目前最受欢迎的网页数据采集软件。

对于网站采集数据的主流实现方式是通过javascript脚本引入，记录页面动作与变化，搜集数据后作为参数，通过gif图片(gif图片格式请求可以解决跨域问题)请求上报。

比如一些大型网站，可以看到他们的数据采集方式：如淘宝，百度，京东，聚划算等

个人设计的web采集数据方案：

lg.js脚本引入页面中通过gif图片请求到后端服务器服务器记录请求参数到日志文件日志文件实时抓取到消息队列实时计算系统消费队列消息，完成分析整理分析结果入ES，kibana二次开发展示ES历史数据入Hadoop

来源|全媒派（id:quanmeipai）

数据处理及可视化呈现已越来越成为新闻人必备的一门手艺。全球知名咨询公司麦肯锡甚至说：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。”

各大新闻媒体的数据新闻作品

本期全媒派（quanmeipai）整合4家权威可信的数据网站，推荐2种专业数据分析工具、7款各有所长的数据可视化工具，为你在数据大潮中扬帆导航。

调查奠基石

最有价值的数据收集网站

正如“术业有专攻”，现如今的数据网站也有各自专注钻研的领域。从宏观数据、微观数据到数据分析、舆情监控，有着多种形式数据服务需求的我们，在浩如烟海的数据网站中，究竟该去敲响哪一家的门？

地球上最权威的宏观数据：世界银行

世界银行是国际复兴开发银行（IBRD）及国际开发协会（IDA）两者的联合代称，是非盈利国际组织

世界银行集团（WBG）旗下的组织，隶属联合国。

为了给自身的融资决策提供依据，也为广大发展中国家提供借鉴，世行提供公开数据及数据分析的服务。WBG拥有189个成员国，其数据来源于各成员国的官方数据库。

世行旗下的公开数据网站提供世界范围内的宏观数据。所有数据可以按照国家或者种类的分类依据进行查看，共有超过两百个国家、地区及经济体，20个大类的数据。值得一提的是，网页可选择中文模式，浏览没有障碍。

世行的20种数据分类

除了宏观数据查询的功能，世行公开数据网还有9个数据小工具，包括提供微观数据的“微数据”、创建个人数据报告的“Data Bank”等。可谓功能齐全，且都是免费服务。

6.72亿人口的“数据化”：IPUMS

international.ipums.org

Integrated Public Use Microdata Series （IPUMS）是世界上最大的基于个体的人口数据库。如果说世行提供的主要是官方的宏观数据，IPUMS提供的就是专业的微观数据。

IPUMS的数据由美国的微观数据样本及国际普查数据组成，其国际板块的数据来源自多个国家的统计局，共涉及到6.72亿人的普查记录。

在网页中，用户可以变量+样本的形式进行数据搜寻，支持多个变量和多个样本的结合。虽然IPUMS提供免费的数据服务，但是要生成报告必须成为网站的注册用户。

在注册过程中需要提供准确的个人信息，并用75词全英文阐述自己的数据搜查原因和使用方式，交由网站审核。审核通过后，用户可以获得报告，但往后每一年都要再进行资格审查。

以挖掘数据价值为己任：Quandl

quandl/alternative-data

在大量数据网站井喷的年代，Quandl不仅提供数据，更在乎对数据的解读。“Our mission is to extract value from the world's data.”是该网站对自己的定位。

Quandl拥有一支多学科背景的团队，成员的专业领域包括但不限于金融、技术、天体物理学，致力于挖掘难以找到的数据和数据背后蕴含的信息。

在繁多的数据类别中，Quandl尤其侧重提供金融和经济数据。付费数据来自专业的数据供应商，免费数据则来源于各大交易所、中央银行、政府机构和私人公司。

“爆款文”数据库：NewsWhip

NewsWhip是世界上最大的内容分析数据库，BBC、《赫芬顿邮报》及《赫斯特杂志》等著名媒体都是它的客户。

技术后台以每两分钟一次的速度扫描全球主要传媒平台的文章，包括Facebook,Twitter,Instagram, LinkedIn和Pinterest，再将扫描信息与2014年以来的上百万篇文章进行对比，分析出传播速度最快的文章有哪些特性，为媒体人创造更具用户参与度和传播效率的文章提供参考。

数据“精加工”

专业数据分析工具

SAS

满足多层次数据整理需求

SAS为任何有需要的人提供数据整理的帮助，用户可以自己整合数据、发掘数据价值。创建和共享充满活力的交互式报告。

除了基础的数据处理，IDC研究显示，SAS在高级分析领域占有33%的主导型市场份额。其高级分析软件基于最为尖端和创新的算法，可以协助解决较大的难题，挖掘可能被忽略的内在信息。

SPSS

学术级别的数据研究工具

SPSS隶属于IBM，致力于提供高效、易用的统计分析软件，解决数据分析问题，从而使数据分析广泛地应用于决策制定中。

该软件不仅在商业分析领域广泛运用，也是现今学术领域数据分析的主要选择。软件可操作性强，并且提供视频教学。

数据呈现DIY

可视化工具箱

除了客观数据的搜集，如何将数据整合成可读性强的内容，是大数据背景下媒体人的另一项必备技能。

近些年来，可供选用的数据可视化工具越来越多，地图型、图表型、文字云的数据呈现方式都能在网页上快速生成。许多知名新闻编辑室也与数据可视化商业网站签订了合作协议，为自家的数据新闻提供技术保障。

GoogleFusion Tables/xDatainsight：

多样数据呈现的简易入门

对于数据可视化的入门者来说，Google Fusion Tables是一个不错的选择。该网页应用可以在线制作多种数据图表，包括折线图、柱状图，饼图，甚至把数据与地理位置、时间线结合成为数据地图、时间图表。

操作简单、功能多样，是该软件最大的优势。

如果不熟悉英文操作界面，国内的xDatainsight则是可供考虑的选择。与GoogleFusion Tables相似，该网站提供丰富的可视化选择，伴随简易的操作步骤，还有中文页面可以选择。

CartoDB：

把数据“放在地上”

如果你需要做一张炫酷的数据地图，CartoDB就是这方面的佼佼者了。多种多样的数据地图不仅在视觉上带来极大的满足，受众还可以手动放大缩小。查看特定区域的数据，与地图进行互动。

infogr.am：

知名新闻编辑室的秘密武器

除了互动性的数据地图，infogr.am还提供制作互动性的数据图表的服务，并且能适应营销、传播、教育、汇报等多方面的需求。许多知名的传媒及商业公司都是它的忠实客户。

Wordle：

文字的数据可视化

Wordle是一个在线生成词云图的工具网站。用户只需要输入文本，它就可以快速地分析其中的词频，生成词云，并且支持用户自定义颜色和字体。

网站还为图片生成链接、提供保存下载以及通过社交软件分享的服务。但是Wordle目前只支持英文和数字文本的分析。

图悦：

中国好词云

想分析中文文本怎么办？这款国产的在线词频分析工具你就千万别错过了。网站操作非常简单，容易上手，提供标准、微信、地图等多种模式的词云。既可以生成权重图，也可以生成词频图，一键切换，是词云制作入门的好选择。

以全媒派文章《纽约时报/卫报如何找钱？非营利组织资助报道，是公益还是捆绑》为例，输入URL地址后，图悦制作的权重图（左）及词频图（右）：

Tagxedo：

为你画一幅自画像

Tagxedo提供多种样式的词云制作。你甚至可以把情书输入进去，生成一张爱心形状的词云向TA表达心意。

更值得一试的是，用户可以输入自己的博客地址或者推特ID，该网站就会对你在社交平台上发布过的内容进行分析，为你的网络形象创作“速写”。

这些数据网站及数据工具你用过哪些，体验如何？除了它们，你还有哪些私藏干货？欢迎在评论区留言与大家分享。

1.百度统计

地址：

百度统计是百度推出的一款免费的专业网站流量分析工具，能够告诉用户访客是如何找到并浏览用户的网站，在网站上做了些什么，有了这些信息，可以帮助用户改善访客在用户的网站上的使用体验，不断提升网站的投资回报率。目前主要提供趋势分析、来源分析、页面分析、访客分析、定制分析等多种统计分析服功能。

2.LeanCloud统计

地址：

LeanCloud统计内置稳定实时的数据统计分析服务，从用户量，用户行为，渠道效果，自定义事件等多个维度，帮助您更清楚的了解用户习惯，提高用户黏性和活跃度。(原名AVOS Cloud，现更名为LeanCloud)。主要亮点是AVOS Cloud 提供一流的 web 管理后台，可以通过它看到各个维度的统计结果。

3.Appsee

地址：https://

Appsee是一个简单而强大的视觉应用分析平台,在我们的移动应用程序中，使我们能够测试,了解和改善用户体验。通过Appsee平台，我们将能够准确了解用户如何与移动应用程序进行交互。

4.Segment.io

地址：

Segment.io允许我们将数据一键分送给多家数据分析服务提供商，我们只需部署一次，即可随意开关各个平台的数据通道。

5.有数

地址：

有数简称data.u，是一种可以灵活内置于手机应用运行过程的简单、透明的分析手段。data.u实现了高效采集分析数据，并初步整理减少冗余数据，压缩封装数据，利用智能策略传输数据，不挤占用户的网速。开发者可基于此开发包分析应用程序的运行情况，包括页面停留时长、页面跳转率、按时间或地理位置分析用户量、用户的发展情况等信息，同时为用户提供了在线配置参数获取等实用功能。

大数据市场是一座待挖掘的金矿。随着数据使用量的增长，将有更多的人通过数据来寻求专业问题的答案。可视化数据分析工具的出现让人们可以通过将数据可视化来探讨问题、揭示洞见，用数据分享故事。甚至于不懂挖掘算法的人员，也能够为用户进行画像。

BI（Business Intelligence）即商业智能，越来越多的智能软件供应商推出可视化数据分析工具，应对企业业务人员的大数据分析需求。然而如果你觉得不是数据分析专业、没有挖掘算法基础就无法使用BI工具？NO，自助式分析工具已经让数据产品链条变得大众化。为了更好地帮助读者选择分析工具，本文将为大家介绍11款数据分析产品，排名不分先后！

1.数说立方

网址：http://cube.datastory/

数说立方是数说故事新推出的一款面向数据分析师的在线商业智能产品。最重要的特点是配备百亿级社交数据库，同时支持全网公开数据实时抓取，从数据源端解决分析师难点；另外数说立方搭载了分布式搜索、语义分析、数据可视化三大引擎系统的海量计算平台，实现数据处理“探索式分析”和“秒级响应”的两个核心功能。同时数说立方是数说故事三大主打产品之一，并与其他两大产品数说聚合和数说雷达实现从数据源、数据分析、到数据展示完整的数据解决方案。

优点：

即便是个人免费版，体验和功能仍然非常好；

与自家产品“数说聚合”的无缝接入，支持定向抓取微信、微博等数据；

功完善，集数据处理、特征工程、建模、文本挖掘为一体的机器学习平台；

可视化视图展现、友好的客户感知页面；

支持SAAS，私有化部署，有权限管理；

缺点：

产品新上市，操作指导页不太完善；

体验过程中有一些小bug；

2.数加平台

网址：https://data.aliyun

数加是阿里云发布的一站式大数据平台，可以提供数据采集、结构化、加工到展示分析整套的一站式数据服务。 可采集不同系统及物理存储的源头数据，在分布式计算平台上进行数据的深度整合、计算、挖掘，将计算的结果通过可视化的工具进行个性化的数据分析和展现，也可直观的展示分析现有云上业务系统的数据库数据。

优点：

有完整的产品规划，功能完善；

图形展示和客户感知良好；

提供SQL查询；

缺点：

需要捆绑阿里云才能使用，一般用户还不能真正使用起来；

部分体验功能一般，有一定的学习成本；

3.Tableau

网址：http://tableau/zh-cn

Tableau是目前市面上较为成功的BI工具。产品既有针对性，又有普适性。拖放式界面，操作简单。数据兼容性强，适用于多种数据文件与数据库，同时也兼容多平台，windows、mac、Online均可使用。而且重要的一点是免费为用户安排现场培训或按需求进行在线培训。

优点：

处于行业领导者地位，功能完善；

有较好的图形展现与客户感知；

新产品开始支持云端展现，但是需要客户端支持；

缺点：

相比于商业智能BI，更像一个基于数据查询的数据展示工具；

处理不规范数据、转化复杂模型比较难；

无法处理大量数据；

国内网络连接Online版速度较慢；

4.Qlik

网址：http://global.qlik/cn

QlikView只需轻轻单击几下，就可以对所有数据源进行合并、搜索、可视化和分析，可在不影响性能的前提下连接到多个数据源；其次视图种类丰富，界面简洁，互动性强，总体来说是一款简单易用的BI产品。Qlik用户可通过各类可视化效果，将Qlik扩展到任何应用程序中。另外用户也可以通过使用标准的和最新的网络API，可将可视化效果数据嵌入网站或应用程序。

优点：

产品功能完善，图形展现和客户感知良好；

支持SAAS，有权限管理功能；

缺点：

有一定的学习成本；

报表规范性要求很高；

数据抓取功能都非常弱，需要有非常好的数据仓库作为基础；

5.Spotfire

网址：http://spotfire.tibco

Spotfire服务对象是一线工作人员和日常决策人员，其交互界面形象易懂，无需写脚本语言和编写程序就可以对数据进行添加、分离操作。内置搜索引擎，可以随意查找任意信息。支持R、S+等统计、挖掘功能；有丰富、开源的R模型。标记有自身特色，提供了过滤、钻取等功能，多个标记同时还可以实现图形化的集合运算。

优点：

交互界面形象易懂，即使是普通的业务人员也能轻而易举地进行复杂的数据分析；

不一定要建数据仓库，还可以直接从多个异构数据源提取数据进行分析；

支持SAAS，有权限管理功能；

缺点：

SAAS版只支持30M，由于是国外服务器所以上传很慢；

不适合中国式的固定报表；

进军中国市场较晚，国内案例较少；

工具的适应性范围广，但是难易跨度大；

6.神策分析

网址：http://sensorsdata/

神策分析的产品有完整的使用文档，每个模块都有详细的使用说明以及示例，降低了用户的学习成本。而且支持私有部署、任意维度的交叉分析，并帮助客户搭建专属的数据仓库。目前提供事件分析、漏斗分析、留存分析、数据管理等功能，未来预计会增加用户分群、用户人群分析、推送和异常维度组合挖掘等

优点：

专注于用户行为数据分析，不追求做大而追求做全；

有详细的产品使用文档以及案例；

提供SQL查询；

缺点：

更多的是demo示例，不能开箱即用；

纯dashboard展示，并不能对单独一块数据作自定义分析；

7.BDP

网址：https://me.bdp/home.html

BDP个人版免费，只需导入数据，设定分析维度，即可实时得到图表分析结果。示例和视频教学很细致，交互页面友好。每次数据更新，对应的图表也会自动更新，可以免去一些重复制作的工作。分享环节也很贴心，报告可以一键导出为PPT、邮件发送，也可直接生成链接分享。

优点：

产品支持移动端；手机同步呈现最新数据

首次登陆的用户可以使用免费数据；

操作体验流畅，界面友好，功能全，总体来说是一款不错的产品；

即便是个人免费版，体验和功能仍然非常好；

缺点：

暂时用起来还不错，我比较喜欢用这个工具；

8.永洪BI

网址：http://yonghongtech

永洪BI是一款可在前端进行多维分析和报表展现的BI软件。支持拖拽操作，数据源格式多样，提供不同级别的查询支持，支持跨库跨源连接。另外永洪提供了一款数据存储、数据处理的软件——MPP数据集市，可与BI打通，使得数据查询，钻取和展示的速度大幅度提高。不过其产品用户体验一般，拖拽过于自由，导致仪表盘布局不好控制；主题样式虽多但是给人感觉样式还是很传统。

优点：

商业流程完善，给人专业的感觉；

产品定制化的版本效果不错；

支持的数据接入较多；

缺点：

SAAS版体验很差，有一定的学习成本；

UI的视觉效果一般，整体可视化效果不够现代化；

9.数据观

网址：http://shujuguan

数据观的功能设计理念是极简、无门槛，所以它最大的特点就是简单。数据观数据来自云端，如：百度 网盘、微盘、salesforce等。数据上传后，马上有推荐图表，引导明确。另外产品的使用没有技术门槛，无需专业IT知识，同时适用于非专业分析师出身的业务人员，可以快速将数据转化成直观的图表，适合一开始接触数据分析工具的非专业数据从业人员。

优点：

注册只需填写邮箱，且支持明道账号登陆；

使用引导明确，支持salesforce、百度云数据导入；

分析结果支持链接分享，大大降低用户的沟通成本；

缺点：

不支持超过20MB的数据上传；

数据导入后，数据分析体验方面存在bug；

产品的使用以点击为主，不支持拖拽操作；

10.FineBI

网址：http://finebi/

FineBI分为数据处理、可视分析和分享公用三大功能模块。支持多种数据源，图表风格清爽美观，可选择任意维度分析。分析页面由控件和组件组成，控件和组件的数量是可以添加至任意多个，但是布局的交互比较僵硬，且使用逻辑有点乱，引导不明确。需要安装本地客户端才能使用。

优点：

有较为详细的行业案例与技术方案；

产品演示和资源中心也较为清晰；

缺点：

需要使用客户端，增加了使用的不便利性

只有仪表盘展示，BI报表需要另一款产品；

无法处理大量的数据；

11.魔镜

网址：http://moojnn

魔镜支持自动拖拽建模，同时可视化效果库十分酷炫。用户可以邀请团队成员到自己的项目，合作进行探索分析，并且按照需求有效控制访问数据的成员权限。产品模块规划完整，有基础企业版到hadoop等5种选择为，而且可以支持定制化服务。但是可能是云平台版的缘故，使用过程中出现不少BUG，企业版的体验可能会相对好一点。

优点：

产品模块的规划比较健全，其中包括数据源导入、数据分析、仪表盘、数据挖掘和数据工厂；

官网的设计不错，模板选择性大，颜值控可能会喜欢；

工具使用指导清晰，使用篇和方法篇等比较详细；

缺点：

产品存在较多的BUG，UI和功能相对其他产品来说较简陋；

部分产品模块并不能切实用于数据分析；

选择一款适用的BI产品，能够大大简化数据分析的繁杂工作，提高分析效率与质量。当然，以上每个工具各有优点，工具地址都给大家了，接下来就是轮到你动手的时候了，找一个自己喜欢的工具，开始吧！

一、携程实时用户数据采集系统设计实践

随着移动互联网的兴起，特别是近年来，智能手机、pad等移动设备凭借便捷、高效的特点风靡全球，同时各类APP的快速发展进一步降低了移动互联网的接入门槛，越来越多的网民开始从传统PC转移至移动终端上。但传统的基于PC网站和访问日志的用户数据采集系统已经无法满足实时分析用户行为、实时统计流量属性和基于位置服务（LBS）等方面的需求。

我们针对传统用户数据采集系统在实时性、吞吐量、终端覆盖率等方面的不足，分析了在移动互联网流量剧增的背景下，用户数据采集系统的需求，研究在多种访问终端和多种网络类型的场景下，用户数据实时、高效采集的方法，并在此基础上设计和实现实时、有序和健壮的用户数据采集系统。此系统基于Java NIO网络通信框架（Netty）和分布式消息队列（Kafka）存储框架实现，其具有实时性、高吞吐、通用性好等优点。

1、技术选型和设计方案：

一个典型的数据采集分析统计平台，对数据的处理，主要由如下五个步骤组成：

图1、数据平台处理流程

其中，数据采集步骤是最核心的问题，数据采集是否丰富、准确和实时，都直接影响整个数据分析平台的应用的效果。本论文关注的步骤主要在数据采集、数据传输和数据建模存储这三部分。

为满足数据采集服务实时、高效性、高吞吐量和安全性等方面的要求，同时能借鉴互联网大数据行业一些优秀开源的解决方案，所以整个系统都将基于Java技术栈进行设计和实现。整个数据采集分析平台系统架构如下图所示：

图2（数据采集分析平台系统架构）

其中整个平台系统主要包括以上五部分：客户端数据采集SDK以Http(s)/Tcp/Udp协议根据不同的网络环境按一定策略将数据发送到Mechanic(UBT-Collector)服务器。服务器对采集的数据进行一系列处理之后将数据异步写入Hermes(Kafka)分布式消息队列系统。为了关联业务服务端用户业务操作埋点、日志，业务服务器需要获取由客户端SDK统一生成的用户标识（C-GUID），然后业务服务器将用户业务操作埋点、日志信息以异步方式写入Hermes(Kafka)队列。最后数据消费分析平台，都从Hermes(Kafka)中消费采集数据，进行数据实时或者离线分析。其中Mechanic(UBT-Collector)系统还包括对采集数据和自身系统的监控，这些监控信息先写入Hbase集群，然后通过Dashboard界面进行实时监控。

（1）基于NIO的Netty网络框架方案

要满足前面提到的高吞吐、高并发和多协议支持等方面的要求。我们调研了几种开源异步IO网络服务组件（如Netty、MINI、xSocket），用它们和NginxWeb服务器进行了性能对比，决定采用Netty作为采集服务网络组件。下面对它进行一些概要介绍：Netty是一个高性能、异步事件驱动的NIO框架，它提供了对TCP、UDP和文件传输的支持，Netty的所有IO操作都是异步非阻塞的，通过Future-Listener机制，用户可以方便的主动获取或者通过通知机制获得IO操作结果。

图3（Netty框架内部组件逻辑结构）

Netty的优点有：

a、功能丰富，内置了多种数据编解码功能、支持多种网络协议。

b、高性能，通过与其它主流NIO网络框架对比，它的综合性能最佳。

c、可扩展性好，可通过它提供的ChannelHandler组件对网络通信方面进行灵活扩展。

d、易用性，API使用简单。

e、经过了许多商业应用的考验，在互联网、网络游戏、大数据、电信软件等众多行业得到成功商用。

Netty采用了典型的三层网络架构进行设计，逻辑架构图如下：

图4（Netty三层网络逻辑架构）

第一层：Reactor通信调度层。该层的主要职责就是监听网络的连接和读写操作，负责将网络层的数据读取到内存缓冲区中，然后触发各种网络事件，例如连接创建、连接激活、读事件、写事件等，将这些事件触发到Pipeline中，再由Pipeline充当的职责链来进行后续的处理。

第二层：职责链Pipeline层。负责事件在职责链中有序的向前（后）传播，同时负责动态的编排职责链。Pipeline可以选择监听和处理自己关心的事件。

第三层：业务逻辑处理层，一般可分为两类：a. 纯粹的业务逻辑处理，例如日志、订单处理。b. 应用层协议管理，例如HTTP(S)协议、FTP协议等。

我们都知道影响网络服务通信性能的主要因素有：网络I/O模型、线程（进程）调度模型和数据序列化方式。

在网络I/O模型方面，Netty采用基于非阻塞I/O的实现，底层依赖的是JDKNIO框架的Selector。

在线程调度模型方面，Netty采用Reactor线程模型。常用的Reactor线程模型有三种，分别是：

a、Reactor单线程模型：Reactor单线程模型，指的是所有的I/O操作都在同一个NIO线程上面完成。对于一些小容量应用场景，可以使用单线程模型。

b、Reactor多线程模型：Rector多线程模型与单线程模型最大的区别就是有一组NIO线程处理I/O操作。主要用于高并发、大业务量场景。

c、主从Reactor多线程模型：主从Reactor线程模型的特点是服务端用于接收客户端连接的不再是一个单独的NIO线程，而是一个独立的NIO线程池。利用主从NIO线程模型，可以解决一个服务端监听线程无法有效处理所有客户端连接的性能不足问题。Netty线程模型并非固定不变的，它可以支持三种Reactor线程模型。

在数据序列化方面，影响序列化性能的主要因素有：

a、序列化后的码流大小（网络带宽占用）。

b、序列化和反序列化操作的性能（CPU资源占用）。

c、并发调用时的性能表现：稳定性、线性增长等。

Netty默认提供了对GoogleProtobuf二进制序列化框架的支持，但通过扩展Netty的编解码接口，可以实现其它的高性能序列化框架，例如Avro、Thrift的压缩二进制编解码框架。

通过对Netty网络框架的分析研究以及对比测试（见后面的可行性分析测试报告）可判断，基于Netty的数据采集方案能解决高数据吞吐量和数据实时收集的难点。

》》点击阅读全文

PipeSight管道检测视频判读报告软件

对检测视频文件进行播放预览、添加检测信息、截取缺陷图像、判读描述等；可将判读结果数据自动生成为图文并茂的检测报告；可导出GIS平台通用的ShapeFile接口数据；提供电子地图查阅功能，在电子地图中标注出作业点的位置，查看作业点对应的检测数据、判读信息、缺陷图片和检测视频；

PipeLineTracer管道检测定位示踪软件

可进行管道坡度测量，曲线绘制，并分析生成报告；

PipeSonar管道声纳成像分析报告软件

可自动检索管壁轮廓并计算沉积深度、沉积宽度、沉积体积、水位高度。支持测量尺、测量环、测量网格等多种鼠标测量工具，以进行距离、宽度、高度、半径、直径等测量操作。提供高自由度的三维管道模型漫游功能，对实体、网格、点列三种管道模型均提供管内漫游和自由漫游方式。采用回波幅度和回波时间成像技术提供三种视图：管壁横断面图、管壁全景展开图和三维管道模型。具有视图联动功能，可将不同视图中选择的位置对行关联定位和标记。

PipeFell管道电法测漏定位软件

用于进行管道电法测漏检测数据的采集存储；可对电法测漏仪的结果数据进行存储、显示、编辑、导出、分析；可将电法测漏仪的结果数据自动生成为图文并茂的检测报告（包括项目信息、工程概况、缺陷分布示意图、检测设备简介、缺陷统计图表、详细缺陷图表等内容）；

数据肯定是无价的。但分析数据并非易事，因为结果越准确，成本就越高。鉴于数据急剧增长，需要一个过程来提供有意义的信息，最终变成实用的洞察力。

数据挖掘是指这个过程：在庞大数据集当中发现模式，将它转换成有效的信息。该技术利用特定的算法、统计分析、人工智能和数据库系统，从庞大数据集中提取信息，并转换成易于理解的形式。本文介绍了广泛用于大数据行业的6种综合数据挖掘工具。

1. Rapid Miner

Rapid Miner是一个数据科学软件平台，为数据准备、机器学习、深度学习、文本挖掘和预测分析提供一种集成环境。它是领先的数据挖掘开源系统之一。

该程序完全用Java编程语言编写。该程序提供了一个选项，以便用户试用大量可任意嵌套的操作符，这些操作符在XML文件中有详细说明，可由Rapid Miner的图形用户界面来构建。

2. Oracle Data Mining

它是Oracle高级分析数据库的代表。市场领先的公司用它最大限度地发掘数据的潜力，做出准确的预测。该系统配合强大的数据算法，锁定最佳客户。

此外，它可识别异常情况和交叉销售机会，让用户能够根据需要运用不同的预测模型。此外，它以所需的方式定制客户画像。

3. IBM SPSS Modeler

说到大规模项目，IBM SPSS Modeler最适合。在这个建模器中，文本分析及其最先进的可视化界面极具价值。它有助于生成数据挖掘算法，基本上不需要编程。

它可广泛用于异常检测、贝叶斯网络、CARMA、Cox回归以及使用多层感知器和反向传播学习的基本神经网络。

4. KNIME

Konstanz Information Miner是一个开源数据分析平台。你可以迅速在其中部署、扩展和熟悉数据。在商业智能界，KNIME号称是有助于为毫无经验的用户提供预测智能的平台。

此外，数据驱动的创新系统有助于发掘数据潜力。此外，它包括数千个模块和随时可用的示例以及一大批集成的工具和算法。

5. Python

Python是一种免费的开源语言，因易用性常常与R相提并论。与R不同，Python学起来往往很容易上手，易于使用。许多用户发现可以在几分钟内开始构建数据，并进行极其复杂的亲和度分析。

只要你熟悉变量、数据类型、函数、条件语句和循环等基本编程概念，最常见的业务用例数据可视化就很简单。

6.火车采集器

火车采集器由合肥乐维信息技术有限公司开发，是一款专业的网络数据采集/信息挖掘处理软件，通过灵活的配置，可以很轻松迅速地从网页上抓取结构化的文本、图片、文件等资源信息，可编辑筛选处理后选择发布到网站后台，各类文件或其他数据库系统中。