PipeSight管道检测视频判读报告软件

对检测视频文件进行播放预览、添加检测信息、截取缺陷图像、判读描述等；可将判读结果数据自动生成为图文并茂的检测报告；可导出GIS平台通用的ShapeFile接口数据；提供电子地图查阅功能，在电子地图中标注出作业点的位置，查看作业点对应的检测数据、判读信息、缺陷图片和检测视频；

PipeLineTracer管道检测定位示踪软件

可进行管道坡度测量，曲线绘制，并分析生成报告；

PipeSonar管道声纳成像分析报告软件

可自动检索管壁轮廓并计算沉积深度、沉积宽度、沉积体积、水位高度。支持测量尺、测量环、测量网格等多种鼠标测量工具，以进行距离、宽度、高度、半径、直径等测量操作。提供高自由度的三维管道模型漫游功能，对实体、网格、点列三种管道模型均提供管内漫游和自由漫游方式。采用回波幅度和回波时间成像技术提供三种视图：管壁横断面图、管壁全景展开图和三维管道模型。具有视图联动功能，可将不同视图中选择的位置对行关联定位和标记。

PipeFell管道电法测漏定位软件

用于进行管道电法测漏检测数据的采集存储；可对电法测漏仪的结果数据进行存储、显示、编辑、导出、分析；可将电法测漏仪的结果数据自动生成为图文并茂的检测报告（包括项目信息、工程概况、缺陷分布示意图、检测设备简介、缺陷统计图表、详细缺陷图表等内容）；

非常高兴你能点开这篇文章，这意味着我又能多认识一位渴望知识、追求上进的朋友。

上篇文章我们讲解了通过各种途径获取假定竞争对手数据的方法，本篇文章，我想要讲点更高级的。

用中国互联网平台-网站分析，可以查看各个行业巨头的数据

这样当然是不够的，看完各个巨头之后，选取出目标。

我们再用 Alexa，查询目标网站的月 IP、月 PV，并与之前，与行业其他巨头对比。

用百度关键词规划师+淘宝关键词搜索分类行业需求，看品牌 Logo、Slogan，以及做的事，是否吻合行业需求。

（也就是品牌形象、品牌理念、品牌行为）

百度规划师与阿里指数相结合便可得到行业顾客数据与受众需求。

这样，当你想进入一个领域时，经过这样一轮分析，可以更稳一点。

当顾客真有需求时，通常会去淘宝，然后我们在终点等着他们：淘宝生意参谋-关键词查询

这篇文章用起来可能有些烧脑，但用好了百度关键词规划师、阿里指数与淘宝生意参谋搜索词查询

这一套工具。不敢说天下无敌吧，起码能看穿一切行业的本质了（因为是目标消费者亲口告诉你的）。

本篇文章结束。

我是王不留，一个营销人，致力于推动营销科学化与理性化。

需要上篇文章与本篇文章的数据挖掘工具集和使用方法的朋友，我已经为你们打包好，谢谢您的阅读

流量天花板是移动互联网下半场最显著的特征，当横向扩张无以为继时，强调纵深，巩固既有数字化用户的精细化运营正在成为行业共识。问题是由什么人来扮演敲门人角色?

答案是：小程序。场景实验室创始人吴声老师最近指出，很多人没有意识到小程序所代表的真实流量、真实用户行为以及生活方式的关系，才导致他们错失小程序的早期流量红利。自2017年初上线的微信小程序历经一年多的裂变生长，通过对公众号的替代、甚至对App的冲击，开始作为新起的现象级平台站上风口。

微信小程序这个拥有巨大流量的应用，小程序给开发者带来了可以预见的红利和机会。势必引发众多创业者的争相而入。但流量都有红利期，当大家都蜂拥而上时，红利期更短。如何在红利期赢得一席之地?对于企业来讲，赢得用户就赢得了市场。

所有小程序所有者迫切希望深入了解用户需求、总结用户行为规律，针对性的开展运营活动，多通道个性化触达用户，实现小程序所有者和用户的共赢。在这个过程中，数据驱动的用户精细化运营必不可少。

▌精细运营时代已经来临

事实上，无论何种规模和用途的小程序，都应从发布之日起做好数据的监测和分析，并围绕完整的用户生命周期，用更少的资金、更短的时间获得更多的用户，保障自己的先发优势。最重要的是要用数据验证小程序和用户的匹配度，不能让用户数字的增长变成一种虚假繁荣，至少要让用户在小程序里切实得到自己想要的，从而黏住他们，令“回头客”越来越多。

显然，所有小程序的发起者并不想提供永远免费的午餐，他们通过数据找到有付费意愿的用户，以获取更多收入。重点在于真正找到那些愿意分享的用户且引发自传播，让数据驱动的精细化运营最终形成闭环。

目前，微信团队已为小程序的所有者提供了『小程序数据分析』工具，通过它我们可以了解到一些简单的运营指标，基于总体活跃用户规模及变化趋势的数据分析，具体包括趋势、来源、留存、时长、页面等访问分析，时间粒度为1分钟、5分钟、1小时的实时统计，此外就是从年龄性别、省份城市、终端机型等三个维度的用户画像分析。

但对于有经验的运营同学来说，这些平铺式的数据展示远远无法满足实际的运营需求。在我们运营实际工作中，常常需要由点及面找准运营失效的具体路径和位置，更多维度和拓展功能的精细化运营分析就成了迫在眉睫的难题。

在数据维度方面，官方提供的分析维度十分有限，具体来说，没有实现用户分群，无法做到精准用户属性及行为描述;缺少事件和转化漏斗分析，难以把控每个关键节点的流失和转化;此外还缺乏深度的分享传播分析，基于微信好友的裂变传播难以统计等。官方分析工具在这些方向上都是点到即止，并未进入深层的精细化多维度数据分析。

在扩展支持方面，官方工具也不提供数据明细，我们运营的小伙伴也就无法进行深度分析，企业业无法导入自有数据进行综合对比分析，平台跳转的工作也带来工作效率的迟缓。由于微信的数据生态是封闭的，对于同步还有App和网站的产品来讲，这部分数据无法穿透，就此相当失去价值。创造需求，微信做了，满足需求，需要他者，所以基于数据分析又专注于运营的工具，有了登场的必要。

▌全端运营需要专业数据分析工具

如何赢得用户芳心呢?移动互联网时代，信息碎片化愈加严重，大数据产品作为最懂用户的工具不可忽略。易观作为国内领先的大数据分析公司也在第一时间跟进，旗下面向开发者的数据分析云——易观方舟推出小程序SDK与数据分析工具，第一时间解决企业用户跟踪分析自己小程序的需求。

易观自主研发的小程序SDK，集用户运营分析、转化分析、用户画像、应用评价等数据分析功能于一身，通过实时分析技术将企业小程序的数据实时采集到云端，经过大数据加工计算实时展现小程序相关数据。主要体现在4个方面：

运营分析方面，易观方舟可有效跟踪新增用户、活跃用户、使用时长等基础指标，通过页面事件、留存分析，寻找优化突破点;通过多维度交叉分析，提高拉新、促活、留存效率。

转化分析方面，易观方舟可围绕关键业务路径建立漏斗，从最终效果评估渠道质量，深入分析各个路径，提升核心转化。

用户画像方面，易观方舟可实时监测人口特征、使用设备及用户行为偏好，通过不同人群特征到单用户行为路径分析，洞察用户行为偏好，指导精细化运营。

应用评价方面，易观方舟可通过用户规模、用户留存、应用价值等维度对应用评级，帮助企业把握行业发展趋势，找准自身位置。

作为“精细化运营时代的数据引擎”，通过易观方舟，用户除了可以查看到所有『小程序数据分析』中正包含的基础数据外，还可以将所有网页、App以及小程序获取到的数据通过用户账号完全整合，从而构建一个完整的用户路径。除此以外，作为专业的数据分析产品——易观方舟能为具体的场景提供了诸多开箱即用的分析工具，如：渠道分析和转化漏斗分析：分渠道查看自定义业务关键路径，探查流失用户特征、辅助决策、提升转化。

引擎升级更迭适应需求变化，易观方舟也将不断前行，未来我们还会为您提供更多的分析工具，如：页面使用路径和APP使用路径等。若您有类似的业务需求，我们数据分析顾问会第一时间与您取得联系，帮您找到最优的数据运营解决方案。

　考虑到现有技术解决方案的复杂性与多样化，企业往往很难找到适合自己的大数据收集与分析工具。然而，混乱的时局之下已经有多种方案脱颖而出，证明其能够帮助大家切实完成大数据分析类工作。下面我们将整理出一份包含十款工具的清单，从而有效压缩选择范畴。

　　数据已经成为现代化企业中最为重要的宝贵资源。一切决策、策略或者方法都需要依托于对数据的分析方可实现。随着“大数据分析”逐步替代其上代版本，即“商务智能”，企业正面临着一个更加复杂、且商业情报规模更为庞大的新时代。

　　考虑到现有技术解决方案的复杂性与多样化，企业往往很难找到适合自己的大数据收集与分析工具。然而，混乱的时局之下已经有多种方案脱颖而出，证明其能够帮助大家切实完成大数据分析类工作。下面我们将整理出一份包含十款工具的清单，从而有效压缩选择范畴。

　　1. OpenRefine

　　这是一款高人气数据分析工具，适用于各类与分析相关的任务。这意味着即使大家拥有多川不同数据类型及名称，这款工具亦能够利用其强大的聚类算法完成条目分组。在聚类完成后，分析即可开始。

　　2.hadoop

　　大数据与Hadoop可谓密不可分。这套软件库兼框架能够利用简单的编程模型将大规模数据集分发于计算机集群当中。其尤为擅长处理大规模数据并使其可用于本地设备当中。作为Hadoop的开发方，Apache亦在不断强化这款工具以提升其实际效果。

　　3. Storm

　　同样来自Apache的Storm是另一款伟大的实时计算系统，能够极大强化无限数据流的处理效果。其亦可用于执行多种其它与大数据相关的任务，具体包括分布式RPC、持续处理、在线机器学习以及实时分析等等。使用Storm的另一大优势在于，其整合了大量其它技术，从而进一步降低大数据处理的复杂性。

　　4. Plotly

　　这是一款数据可视化工具，可兼容JavaScript、MATLAB、Python以及R等语言。Plotly甚至能够帮助不具备代码编写技能或者时间的用户完成动态可视化处理。这款工具常由新一代数据科学家使用，因为其属于一款业务开发平台且能够快速完成大规模数据的理解与分析。

　　5. Rapidminer

　　作为另一款大数据处理必要工具，Rapidminer属于一套开源数据科学平台，且通过可视化编程机制发挥作用。其功能包括对模型进行修改、分析与创建，且能够快速将结果整合至业务流程当中。Rapidminer目前备受瞩目，且已经成为众多知名数据科学家心目中的可靠工具。

　　6. Cassandra

　　Apache Cassandra 是另一款值得关注的工具，因为其能够有效且高效地对大规模数据加以管理。它属于一套可扩展NoSQL数据库，能够监控多座数据中心内的数据并已经在Netflix及eBay等知名企业当中效力。

　　7. Hadoop MapReduce

　　这是一套软件框架，允许用户利用其编写出以可靠方式并发处理大规模数据的应用。MapReduce应用主要负责完成两项任务，即映射与规约，并由此提供多种数据处理结果。这款工具最初由谷歌公司开发完成。

　　8. Bokeh

　　这套可视化框架的主要目标在于提供精致且简洁的图形处理结果，用以强化大规模数据流的交互能力。其专门供Python语言使用。

　　9. Wolfram Alpha

　　这是一套搜索引擎，旨在帮助用户搜索其需要的计算素材或者其它内容。举例来说，如果大家输入“Facebook”，即可获得与Facebook相关的HTML元素结构、输入解释、Web托管信息、网络统计、子域、Alexa预估以及网页信息等大量内容。

　　10. Neo4j

　　其官方网站将这款工具称为图形数据库技术的下一场革命。这种说法在一定程度上并不夸张，因为此套数据库使用数据间的关系以操作并强化性能表现。Neo4j目前已经由众多企业用于利用数据关系实现智能应用，从而帮助自身保持市场竞争优势。

End.

如果对软件测试感兴趣，想了解更多的软件测试知识，请大家关注“51Testing软件测试网”百家号。

大数据市场是一座待挖掘的金矿。随着数据使用量的增长，将有更多的人通过数据来寻求专业问题的答案。可视化数据分析工具的出现让人们可以通过将数据可视化来探讨问题、揭示洞见，用数据分享故事。甚至于不懂挖掘算法的人员，也能够为用户进行画像。

BI（Business Intelligence）即商业智能，越来越多的智能软件供应商推出可视化数据分析工具，应对企业业务人员的大数据分析需求。然而如果你觉得不是数据分析专业、没有挖掘算法基础就无法使用BI工具？NO，自助式分析工具已经让数据产品链条变得大众化。为了更好地帮助读者选择分析工具，本文将为大家介绍11款数据分析产品，排名不分先后！

1.数说立方

网址：http://cube.datastory/

数说立方是数说故事新推出的一款面向数据分析师的在线商业智能产品。最重要的特点是配备百亿级社交数据库，同时支持全网公开数据实时抓取，从数据源端解决分析师难点；另外数说立方搭载了分布式搜索、语义分析、数据可视化三大引擎系统的海量计算平台，实现数据处理“探索式分析”和“秒级响应”的两个核心功能。同时数说立方是数说故事三大主打产品之一，并与其他两大产品数说聚合和数说雷达实现从数据源、数据分析、到数据展示完整的数据解决方案。

优点：

即便是个人免费版，体验和功能仍然非常好；

与自家产品“数说聚合”的无缝接入，支持定向抓取微信、微博等数据；

功完善，集数据处理、特征工程、建模、文本挖掘为一体的机器学习平台；

可视化视图展现、友好的客户感知页面；

支持SAAS，私有化部署，有权限管理；

缺点：

产品新上市，操作指导页不太完善；

体验过程中有一些小bug；

2.数加平台

网址：https://data.aliyun

数加是阿里云发布的一站式大数据平台，可以提供数据采集、结构化、加工到展示分析整套的一站式数据服务。 可采集不同系统及物理存储的源头数据，在分布式计算平台上进行数据的深度整合、计算、挖掘，将计算的结果通过可视化的工具进行个性化的数据分析和展现，也可直观的展示分析现有云上业务系统的数据库数据。

优点：

有完整的产品规划，功能完善；

图形展示和客户感知良好；

提供SQL查询；

缺点：

需要捆绑阿里云才能使用，一般用户还不能真正使用起来；

部分体验功能一般，有一定的学习成本；

3.Tableau

网址：http://tableau/zh-cn

Tableau是目前市面上较为成功的BI工具。产品既有针对性，又有普适性。拖放式界面，操作简单。数据兼容性强，适用于多种数据文件与数据库，同时也兼容多平台，windows、mac、Online均可使用。而且重要的一点是免费为用户安排现场培训或按需求进行在线培训。

优点：

处于行业领导者地位，功能完善；

有较好的图形展现与客户感知；

新产品开始支持云端展现，但是需要客户端支持；

缺点：

相比于商业智能BI，更像一个基于数据查询的数据展示工具；

处理不规范数据、转化复杂模型比较难；

无法处理大量数据；

国内网络连接Online版速度较慢；

4.Qlik

网址：http://global.qlik/cn

QlikView只需轻轻单击几下，就可以对所有数据源进行合并、搜索、可视化和分析，可在不影响性能的前提下连接到多个数据源；其次视图种类丰富，界面简洁，互动性强，总体来说是一款简单易用的BI产品。Qlik用户可通过各类可视化效果，将Qlik扩展到任何应用程序中。另外用户也可以通过使用标准的和最新的网络API，可将可视化效果数据嵌入网站或应用程序。

优点：

产品功能完善，图形展现和客户感知良好；

支持SAAS，有权限管理功能；

缺点：

有一定的学习成本；

报表规范性要求很高；

数据抓取功能都非常弱，需要有非常好的数据仓库作为基础；

5.Spotfire

网址：http://spotfire.tibco

Spotfire服务对象是一线工作人员和日常决策人员，其交互界面形象易懂，无需写脚本语言和编写程序就可以对数据进行添加、分离操作。内置搜索引擎，可以随意查找任意信息。支持R、S+等统计、挖掘功能；有丰富、开源的R模型。标记有自身特色，提供了过滤、钻取等功能，多个标记同时还可以实现图形化的集合运算。

优点：

交互界面形象易懂，即使是普通的业务人员也能轻而易举地进行复杂的数据分析；

不一定要建数据仓库，还可以直接从多个异构数据源提取数据进行分析；

支持SAAS，有权限管理功能；

缺点：

SAAS版只支持30M，由于是国外服务器所以上传很慢；

不适合中国式的固定报表；

进军中国市场较晚，国内案例较少；

工具的适应性范围广，但是难易跨度大；

6.神策分析

网址：http://sensorsdata/

神策分析的产品有完整的使用文档，每个模块都有详细的使用说明以及示例，降低了用户的学习成本。而且支持私有部署、任意维度的交叉分析，并帮助客户搭建专属的数据仓库。目前提供事件分析、漏斗分析、留存分析、数据管理等功能，未来预计会增加用户分群、用户人群分析、推送和异常维度组合挖掘等

优点：

专注于用户行为数据分析，不追求做大而追求做全；

有详细的产品使用文档以及案例；

提供SQL查询；

缺点：

更多的是demo示例，不能开箱即用；

纯dashboard展示，并不能对单独一块数据作自定义分析；

7.BDP

网址：https://me.bdp/home.html

BDP个人版免费，只需导入数据，设定分析维度，即可实时得到图表分析结果。示例和视频教学很细致，交互页面友好。每次数据更新，对应的图表也会自动更新，可以免去一些重复制作的工作。分享环节也很贴心，报告可以一键导出为PPT、邮件发送，也可直接生成链接分享。

优点：

产品支持移动端；手机同步呈现最新数据

首次登陆的用户可以使用免费数据；

操作体验流畅，界面友好，功能全，总体来说是一款不错的产品；

即便是个人免费版，体验和功能仍然非常好；

缺点：

暂时用起来还不错，我比较喜欢用这个工具；

8.永洪BI

网址：http://yonghongtech

永洪BI是一款可在前端进行多维分析和报表展现的BI软件。支持拖拽操作，数据源格式多样，提供不同级别的查询支持，支持跨库跨源连接。另外永洪提供了一款数据存储、数据处理的软件——MPP数据集市，可与BI打通，使得数据查询，钻取和展示的速度大幅度提高。不过其产品用户体验一般，拖拽过于自由，导致仪表盘布局不好控制；主题样式虽多但是给人感觉样式还是很传统。

优点：

商业流程完善，给人专业的感觉；

产品定制化的版本效果不错；

支持的数据接入较多；

缺点：

SAAS版体验很差，有一定的学习成本；

UI的视觉效果一般，整体可视化效果不够现代化；

9.数据观

网址：http://shujuguan

数据观的功能设计理念是极简、无门槛，所以它最大的特点就是简单。数据观数据来自云端，如：百度 网盘、微盘、salesforce等。数据上传后，马上有推荐图表，引导明确。另外产品的使用没有技术门槛，无需专业IT知识，同时适用于非专业分析师出身的业务人员，可以快速将数据转化成直观的图表，适合一开始接触数据分析工具的非专业数据从业人员。

优点：

注册只需填写邮箱，且支持明道账号登陆；

使用引导明确，支持salesforce、百度云数据导入；

分析结果支持链接分享，大大降低用户的沟通成本；

缺点：

不支持超过20MB的数据上传；

数据导入后，数据分析体验方面存在bug；

产品的使用以点击为主，不支持拖拽操作；

10.FineBI

网址：http://finebi/

FineBI分为数据处理、可视分析和分享公用三大功能模块。支持多种数据源，图表风格清爽美观，可选择任意维度分析。分析页面由控件和组件组成，控件和组件的数量是可以添加至任意多个，但是布局的交互比较僵硬，且使用逻辑有点乱，引导不明确。需要安装本地客户端才能使用。

优点：

有较为详细的行业案例与技术方案；

产品演示和资源中心也较为清晰；

缺点：

需要使用客户端，增加了使用的不便利性

只有仪表盘展示，BI报表需要另一款产品；

无法处理大量的数据；

11.魔镜

网址：http://moojnn

魔镜支持自动拖拽建模，同时可视化效果库十分酷炫。用户可以邀请团队成员到自己的项目，合作进行探索分析，并且按照需求有效控制访问数据的成员权限。产品模块规划完整，有基础企业版到hadoop等5种选择为，而且可以支持定制化服务。但是可能是云平台版的缘故，使用过程中出现不少BUG，企业版的体验可能会相对好一点。

优点：

产品模块的规划比较健全，其中包括数据源导入、数据分析、仪表盘、数据挖掘和数据工厂；

官网的设计不错，模板选择性大，颜值控可能会喜欢；

工具使用指导清晰，使用篇和方法篇等比较详细；

缺点：

产品存在较多的BUG，UI和功能相对其他产品来说较简陋；

部分产品模块并不能切实用于数据分析；

选择一款适用的BI产品，能够大大简化数据分析的繁杂工作，提高分析效率与质量。当然，以上每个工具各有优点，工具地址都给大家了，接下来就是轮到你动手的时候了，找一个自己喜欢的工具，开始吧！

1、 Talend Open Studio

是第一家针对的数据集成工具市场的ETL(数据的提取Extract、传输Transform、载入Load)开源软件供应商。Talend的下载量已超过200万人次，其开源软件提供了数据整合功能。其用户包括美国国际集团（AIG）、康卡斯特、电子港湾、通用电气、三星、Ticketmaster和韦里逊等企业组织。

2、DYSON

探码科技自主研发的DYSON智能分析系统，可以完整的实现大数据的采集、分析、处理。DYSON智能分析系统专业针对互联网数据抓取、处理、分析，挖掘。可以灵活迅速地抓取网页上散乱分布的信息，并通过强大的处理功能，准确挖掘出所需数据，是目前使用人数最多的网页采集工具.

3、YARN

一种新的Hadoop资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，解决了旧MapReduce框架的性能瓶颈。它的基本思想是把资源管理和作业调度/监控的功能分割到单独的守护进程。

4、Mesos

由加州大学伯克利分校的AMPLab首先开发的一款开源群集管理软件，支持Hadoop、ElasticSearch、Spark、Storm 和Kafka等架构。对数据中心而言它就像一个单一的资源池，从物理或虚拟机器中抽离了CPU，内存，存储以及其它计算资源， 很容易建立和有效运行具备容错性和弹性的分布式系统。

5、Datale

由探码科技研发的一款基于Hadoop的大数据平台开发套件，RAI大数据应用平台架构。

6、 Ambari

作为Hadoop生态系统的一部分，提供了基于Web的直观界面，可用于配置、管理和监控Hadoop集群。目前已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。

7、ZooKeeper

一个分布式的应用程序协调服务，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的工具，让Hadoop集群里面的节点可以彼此协调。ZooKeeper现在已经成为了 Apache的顶级项目，为分布式系统提供了高效可靠且易于使用的协同服务。

8、Thrift

在2007年facebook提交Apache基金会将Thrift作为一个开源项目，对于当时的facebook来说创造thrift是为了解决facebook系统中各系统间大数据量的传输通信以及系统之间语言环境不同需要跨平台的特性。

9、Chukwa

监测大型分布式系统的一个开源数据采集系统。建立在HDFS/MapReduce框架之上并继承了Hadoop的可伸缩性和可靠性，可以收集来自大型分布式系统的数据，用于监控。它还包括灵活而强大的显示工具用于监控、分析结果。

10、Lustre

一个大规模的、安全可靠的、具备高可用性的集群文件系统，它是由SUN公司开发和维护的。该项目主要的目的就是开发下一代的集群文件系统，目前可以支持超过10000个节点，数以PB的数据存储量。

11、HDFS

Hadoop Distributed File System，简称HDFS，是一个分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。

12、GlusterFS

一个集群的文件系统，支持PB级的数据量。GlusterFS 通过RDMA和TCP/IP方式将分布到不同服务器上的存储空间汇集成一个大的网络化并行文件系统。

13、Alluxio

前身是Tachyon，是以内存为中心的分布式文件系统，拥有高性能和容错能力，能够为集群框架（如Spark、MapReduce）提供可靠的内存级速度的文件共享服务。

14、Ceph

新一代开源分布式文件系统，主要目标是设计成基于POSIX的没有单点故障的分布式文件系统，提高数据的容错性并实现无缝的复制。

15、PVFS

一个高性能、开源的并行文件系统，主要用于并行计算环境中的应用。PVFS特别为超大数量的客户端和服务器端所设计，它的模块化设计结构可轻松的添加新的硬件和算法支持。

16、QFS

Quantcast File System (QFS) 是一个高性能、容错好、分布式的文件系统，用于开发支持 MapReduce处理或者需要顺序读写大文件的应用。

17、 Logstash

一个应用程序日志、事件的传输、处理、管理和搜索的平台。可以用它来统一对应用程序日志进行收集管理，提供了Web接口用于查询和统计。

18、Scribe

Scribe是Facebook开源的日志收集系统，它能够从各种日志源上收集日志，存储到一个中央存储系统（可以是NFS，分布式文件系统等）上，以便于进行集中统计分析处理。

19、Flume

Cloudera提供的一个高可用的、高可靠的、分布式的海量日志采集、聚合和传输的系统。Flume支持在日志系统中定制各类数据发送方，用于收集数据。同时，Flume支持对数据进行简单处理，并写入各种数据接受方（可定制）。

20、RabbitMQ

一个受欢迎的消息代理系统，通常用于应用程序之间或者程序的不同组件之间通过消息来进行集成。RabbitMQ提供可靠的应用消息发送、易于使用、支持所有主流操作系统、支持大量开发者平台。

21、ActiveMQ

Apache出品，号称“最流行的，最强大”的开源消息集成模式服务器。ActiveMQ特点是速度快，支持多种跨语言的客户端和协议，其企业集成模式和许多先进的功能易于使用，是一个完全支持JMS1.1和J2EE 1.4规范的JMS Provider实现。

22、Kafka

一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模网站中的所有动作流数据，目前已成为大数据系统在异步和分布式消息之间的最佳选择。

23、Spark

一个高速、通用大数据计算处理引擎。拥有Hadoop MapReduce所具有的优点，但不同的是Job的中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。它可以与Hadoop和Apache Mesos一起使用，也可以独立使用。

24、Kinesis

可以构建用于处理或分析流数据的自定义应用程序，来满足特定需求。Amazon Kinesis Streams 每小时可从数十万种来源中连续捕获和存储数TB数据，如网站点击流、财务交易、社交媒体源、IT日志和定位追踪事件。

25、 Hadoop

一个开源框架，适合运行在通用硬件，支持用简单程序模型分布式处理跨集群大数据集，支持从单一服务器到上千服务器的水平scale up。Apache的Hadoop项目已几乎与大数据划上了等号，它不断壮大起来，已成为一个完整的生态系统，拥有众多开源工具面向高度扩展的分布式计算。高效、可靠、可伸缩，能够为你的数据存储项目提供所需的YARN、HDFS和基础架构，并且运行主要的大数据服务和应用程序。

26、Spark Streaming

实现微批处理，目标是很方便的建立可扩展、容错的流应用，支持Java、Scala和Python，和Spark无缝集成。Spark Streaming可以读取数据HDFS，Flume，Kafka，Twitter和ZeroMQ，也可以读取自定义数据。

27、Trident

是对Storm的更高一层的抽象，除了提供一套简单易用的流数据处理API之外，它以batch(一组tuples)为单位进行处理，这样一来，可以使得一些处理更简单和高效。

28、Flink

于今年跻身Apache顶级开源项目，与HDFS完全兼容。Flink提供了基于Java和Scala的API，是一个高效、分布式的通用大数据分析引擎。更主要的是，Flink支持增量迭代计算，使得系统可以快速地处理数据密集型、迭代的任务。

29、Samza

出自于LinkedIn，构建在Kafka之上的分布式流计算框架，是Apache顶级开源项目。可直接利用Kafka和Hadoop YARN提供容错、进程隔离以及安全、资源管理。

30、Storm

Storm是Twitter开源的一个类似于Hadoop的实时数据处理框架。编程模型简单，显著地降低了实时处理的难度，也是当下最人气的流计算框架之一。与其他计算框架相比，Storm最大的优点是毫秒级低延时。

31、Yahoo S4 （Simple Scalable Streaming System）

是一个分布式流计算平台，具备通用、分布式、可扩展的、容错、可插拔等特点。程序员可以很容易地开发处理连续无边界数据流（continuous unbounded streams of data）的应用。它的目标是填补复杂专有系统和面向批处理开源产品之间的空白，并提供高性能计算平台来解决并发处理系统的复杂度。

32、HaLoop

是一个Hadoop MapReduce框架的修改版本，其目标是为了高效支持 迭代，递归数据 分析任务，如PageRank，HITs，K-means，sssp等。

33、Presto

是一个开源的分布式SQL查询引擎，适用于交互式分析查询，可对250PB以上的数据进行快速地交互式分析。Presto的设计和编写是为了解决像Facebook这样规模的商业数据仓库的交互式分析和处理速度的问题。Facebook称Presto的性能比诸如Hive和MapReduce要好上10倍有多。

34、 Drill

于2012年8月份由Apache推出，让用户可以使用基于SQL的查询，查询Hadoop、NoSQL数据库和云存储服务。它能够运行在上千个节点的服务器集群上，且能在几秒内处理PB级或者万亿条的数据记录。它可用于数据挖掘和即席查询，支持一系列广泛的数据库，包括HBase、MongoDB、MapR-DB、HDFS、MapR-FS、亚马逊S3、Azure Blob Storage、谷歌云存储和Swift。

35、Phoenix

是一个Java中间层，可以让开发者在Apache HBase上执行SQL查询。Phoenix完全使用Java编写，并且提供了一个客户端可嵌入的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多个HBase scan，并编排执行以生成标准的JDBC结果集。

36、Pig

是一种编程语言，它简化了Hadoop常见的工作任务。Pig可加载数据、转换数据以及存储最终结果。Pig最大的作用就是为MapReduce框架实现了一套shell脚本 ，类似我们通常熟悉的SQL语句。

37、Hive

是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。

38、SparkSQL

前身是Shark，SparkSQL抛弃原有Shark的代码并汲取了一些优点，如内存列存储（In-Memory Columnar Storage）、Hive兼容性等。由于摆脱了对Hive的依赖性，SparkSQL无论在数据兼容、性能优化、组件扩展方面都得到了极大的方便。

39、Stinger

原来叫Tez，是下一代Hive，由Hortonworks主导开发，运行在YARN上的DAG计算框架。某些测试下，Stinger能提升10倍左右的性能，同时会让Hive支持更多的SQL。

40、Tajo

目的是在HDFS之上构建一个可靠的、支持关系型数据的分布式数据仓库系统，它的重点是提供低延迟、可扩展的ad-hoc查询和在线数据聚集，以及为更传统的ETL提供工具。

41、Impala

Cloudera 声称，基于SQL的Impala数据库是“面向Apache Hadoop的领先的开源分析数据库”。它可以作为一款独立产品来下载，又是Cloudera的商业大数据产品的一部分。Cloudera Impala 可以直接为存储在HDFS或HBase中的Hadoop数据提供快速、交互式的SQL查询。

42、 Elasticsearch

是一个基于Lucene的搜索服务器。它提供了一个分布式、支持多用户的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索、稳定、可靠、快速、安装使用方便。

43、Solr

基于Apache Lucene，是一种高度可靠、高度扩展的企业搜索平台。知名用户包括eHarmony、西尔斯、StubHub、Zappos、百思买、AT&T、Instagram、Netflix、彭博社和Travelocity。

44、Shark

即Hive on Spark，本质上是通过Hive的HQL解析，把HQL翻译成Spark上的RDD操作，然后通过Hive的metadata获取数据库里的表信息，实际HDFS上的数据和文件，会由Shark获取并放到Spark上运算。Shark的特点就是快，完全兼容Hive，且可以在shell模式下使用rdd2sql()这样的API，把HQL得到的结果集，继续在scala环境下运算，支持自己编写简单的机器学习或简单分析处理函数，对HQL结果进一步分析计算。

45、Lucene

基于Java的Lucene可以非常迅速地执行全文搜索。据官方网站声称，它在现代硬件上每小时能够检索超过150GB的数据，它拥有强大而高效的搜索算法。

46、Terracotta

声称其BigMemory技术是“世界上首屈一指的内存中数据管理平台”，支持简单、可扩展、实时消息，声称在190个国家拥有210万开发人员，全球1000家企业部署了其软件。

47、 Ignite

是一种高性能、整合式、分布式的内存中平台，可用于对大规模数据集执行实时计算和处理，速度比传统的基于磁盘的技术或闪存技术高出好几个数量级。该平台包括数据网格、计算网格、服务网格、流媒体、Hadoop加速、高级集群、文件系统、消息传递、事件和数据结构等功能。

48、GemFire

Pivotal宣布它将开放其大数据套件关键组件的源代码，其中包括GemFire内存中NoSQL数据库。它已向Apache软件基金会递交了一项提案，以便在“Geode”的名下管理GemFire数据库的核心引擎。

49、 GridGain

由Apache Ignite驱动的GridGrain提供内存中数据结构，用于迅速处理大数据，还提供基于同一技术的Hadoop加速器。

50、MongoDB

是一个基于分布式文件存储的数据库。由C++...

网络分析工具可以帮助你收集、预估和分析网站的访问记录，对于网站优化、市场研究来说，是个非常实用的工具。

每一个网站开发者和所有者，想知道他的网站的完整的状态和访问信息，目前互联网中有很多分析工具，本文选取了10款最好的分析工具，可以为你提供实时访问数据。

1.GoogleAnalytics

这是一个使用最广泛的访问统计分析工具，几周前，GoogleAnalytics推出了一项新功能，可以提供实时报告。你可以看到你的网站中目前在线的访客数量，了解他们观看了哪些网页、他们通过哪个网站链接到你的网站、来自哪个国家等等。

2.Clicky

与GoogleAnalytics这种庞大的分析系统相比，Clicky相对比较简易，它在控制面板上描供了一系列统计数据，包括最近三天的访问量、最高的20个链接来源及最高20个关键字，虽说数据种类不多，但可直观的反映出当前站点的访问情况，而且UI也比较简洁清新。

3.Woopra

Woopra将实时统计带到了另一个层次，它能实时直播网站的访问数据，你甚至可以使用WoopraChat部件与用户聊天。它还拥有先进的通知功能，可让你建立各类通知，如电子邮件、声音、弹出框等。

4.Chartbeat

这是针对新闻出版和其他类型网站的实时分析工具。针对电子商务网站的专业分析功能即将推出。它可以让你查看访问者如何与你的网站进行互动，这可以帮助你改善你的网站。

5.GoSquared

它提供了所有常用的分析功能，并且还可以让你查看特定访客的数据。它集成了Olark，可以让你与访客进行聊天。

6.Mixpanel

该工具可以让你查看访客数据，并分析趋势，以及比较几天内的变化情况。

7.Reinvigorate

它提供了所有常用的实时分析功能，可以让你直观地了解访客点击了哪些地方。你甚至可以查看注册用户的名称标签，这样你就可以跟踪他们对网站的使用情况了。

8.Piwik

这是一个开源的实时分析工具，你可以轻松下载并安装在自己的服务器上。

9.ShinyStat

该网站提供了四种产品，其中包括一个有限制的免费分析产品，可用于个人和非营利网站。企业版拥有搜索引擎排名检测，可以帮助你跟踪和改善网站的排名。

10.FoxMetrics

该工具提供了实时分析功能，基于事件和特征的概念，你还可以设置自定义事件。它可以收集与事件和特征匹配的数据，然后为你提供报告，这将有助于改善你的网站。

End.

中国统计网，是国内最早的大数据学习网站。

目前有很多数据采集云平台，如百度统计，腾讯统计、乐驰云采集等等，还有一些平台也非常不错：

一. 友盟+

支持移动端和web端数据采集，个性化场景数据定制采集方案。官网给的一些demo可以参考来设计大数据的分析展现，例如：

友盟的：

百度的：

值得借鉴～

二. 乐驰云采集

以高性能分布式采集、存储为核心，建立分工明确的功能模块进行高度协作，融合打码、分词、代理、排重等实用性服务，帮助用户以最低成本、最少人力、最高效率完成大数据应用开发，从而满足当下广大中小企业对“实时、高难、海量”级大数据业务场景的根本需求。

http://lewell/service.html#tabcon_4

值得一看

三. 火车采集器

火车采集器，一款专业的互联网数据抓取、处理、分析，挖掘软件，可以灵活迅速地抓取网页上散乱分布的数据信息，并通过一系列的分析处理，准确挖掘出所需数据。火车采集器历经十二年的升级更新，积累了大量用户和良好口碑，是目前最受欢迎的网页数据采集软件。

对于网站采集数据的主流实现方式是通过javascript脚本引入，记录页面动作与变化，搜集数据后作为参数，通过gif图片(gif图片格式请求可以解决跨域问题)请求上报。

比如一些大型网站，可以看到他们的数据采集方式：如淘宝，百度，京东，聚划算等

个人设计的web采集数据方案：

lg.js脚本引入页面中通过gif图片请求到后端服务器服务器记录请求参数到日志文件日志文件实时抓取到消息队列实时计算系统消费队列消息，完成分析整理分析结果入ES，kibana二次开发展示ES历史数据入Hadoop

1.百度统计

地址：

百度统计是百度推出的一款免费的专业网站流量分析工具，能够告诉用户访客是如何找到并浏览用户的网站，在网站上做了些什么，有了这些信息，可以帮助用户改善访客在用户的网站上的使用体验，不断提升网站的投资回报率。目前主要提供趋势分析、来源分析、页面分析、访客分析、定制分析等多种统计分析服功能。

2.LeanCloud统计

地址：

LeanCloud统计内置稳定实时的数据统计分析服务，从用户量，用户行为，渠道效果，自定义事件等多个维度，帮助您更清楚的了解用户习惯，提高用户黏性和活跃度。(原名AVOS Cloud，现更名为LeanCloud)。主要亮点是AVOS Cloud 提供一流的 web 管理后台，可以通过它看到各个维度的统计结果。

3.Appsee

地址：https://

Appsee是一个简单而强大的视觉应用分析平台,在我们的移动应用程序中，使我们能够测试,了解和改善用户体验。通过Appsee平台，我们将能够准确了解用户如何与移动应用程序进行交互。

4.Segment.io

地址：

Segment.io允许我们将数据一键分送给多家数据分析服务提供商，我们只需部署一次，即可随意开关各个平台的数据通道。

5.有数

地址：

有数简称data.u，是一种可以灵活内置于手机应用运行过程的简单、透明的分析手段。data.u实现了高效采集分析数据，并初步整理减少冗余数据，压缩封装数据，利用智能策略传输数据，不挤占用户的网速。开发者可基于此开发包分析应用程序的运行情况，包括页面停留时长、页面跳转率、按时间或地理位置分析用户量、用户的发展情况等信息，同时为用户提供了在线配置参数获取等实用功能。