Numpy

Python没有提供数组功能，虽然列表可以完成基本的数组功能，但他不是真正的数组。Numpy内置函数处理速度是c语言级别，因此尽量使用内置函数，避免出现效率瓶颈的现象。

Numpy的安装：

Windows中，pip install numpy

也可以自行下载源代码：

python setup.py install

安装完后，可以使用以下命令进行测试。

Scipy

Scipy提供了多维数据功能，但它只是一般的数组，并不是矩阵。例如，当两个数组相乘时，只是对应元素相乘，而不是矩阵乘法。

Scipy包含功能有最优化，线性代数，积分，插值，拟合，特殊函数，快速傅里叶变换，信号处理，图像处理，常微分方程求解等。显然这些功能是挖掘和建模必须的。

安装方法与numpy一样。

以下命令简单试用：

Matplotlib

数据可视化，著名的绘图库。可以进行简单的三维绘图。

安装与上相同。

Matplotlib作图的基本代码：

如果读者试用的中文标签，就会出现中文标签无法正常显示，由于matplotlib默认字体是英文所致，解决他的办法是在作图之前手动添加黑体。

Plt.rcparams[‘font.sans-serif’]=[‘SimHei’] #这句话用来正常显示中文标签

另外作图可能出现负号不能正常显示，可以用过如下代码解决：

Plt.rcparams[‘axes.unicode-minus’]=False #解决保存图像是负号

Pandas

Pandas 是python中最强大的数据分析和探索工具。它包含高级的数据结构和精巧的工具，使得在python中处理数据非常快速和简单。Pandas来自于版面数据（panel data）和python数据分析（data analysis）。

Pandas功能非常强大，支持SQL的数据增，删，查，改，并且带有丰富的数据处理函数，支持时间序列分析功能；支持灵活处理确实数据等。

安装：

pip install pandas 或下载源码 python setup.py install

需要安装xlrd（读）和xlwt（写）库才能支持excel的读写。

Pip install xlrd #为python添加读取excel功能

Pip install xlwt #为python添加写入excel功能

使用：

pandas基本的数据结构为Series和Dataframe.

Series是序列，类似一维数组

Dataframe相当于一张二维的表格，它的每一个列是一个series。

Index，用来标记不同的元素，Index的内容不一定是数字，也可以是字母，中文等，它类似SQL中的主键。

Pandas的简单使用：

其他常见的工具

StatsModels

统计建模和计量经济学，包括描述统计，统计模型评估和推断

Scikit-Learn

支持回归，分类，聚类等强大的机器学习库

Keras

深度学习库，用于建立神经网络以及深度学习模型

Gensim

用来做文本主题模型的库，文本挖掘可能用到

　考虑到现有技术解决方案的复杂性与多样化，企业往往很难找到适合自己的大数据收集与分析工具。然而，混乱的时局之下已经有多种方案脱颖而出，证明其能够帮助大家切实完成大数据分析类工作。下面我们将整理出一份包含十款工具的清单，从而有效压缩选择范畴。

　　数据已经成为现代化企业中最为重要的宝贵资源。一切决策、策略或者方法都需要依托于对数据的分析方可实现。随着“大数据分析”逐步替代其上代版本，即“商务智能”，企业正面临着一个更加复杂、且商业情报规模更为庞大的新时代。

　　考虑到现有技术解决方案的复杂性与多样化，企业往往很难找到适合自己的大数据收集与分析工具。然而，混乱的时局之下已经有多种方案脱颖而出，证明其能够帮助大家切实完成大数据分析类工作。下面我们将整理出一份包含十款工具的清单，从而有效压缩选择范畴。

　　1. OpenRefine

　　这是一款高人气数据分析工具，适用于各类与分析相关的任务。这意味着即使大家拥有多川不同数据类型及名称，这款工具亦能够利用其强大的聚类算法完成条目分组。在聚类完成后，分析即可开始。

　　2.hadoop

　　大数据与Hadoop可谓密不可分。这套软件库兼框架能够利用简单的编程模型将大规模数据集分发于计算机集群当中。其尤为擅长处理大规模数据并使其可用于本地设备当中。作为Hadoop的开发方，Apache亦在不断强化这款工具以提升其实际效果。

　　3. Storm

　　同样来自Apache的Storm是另一款伟大的实时计算系统，能够极大强化无限数据流的处理效果。其亦可用于执行多种其它与大数据相关的任务，具体包括分布式RPC、持续处理、在线机器学习以及实时分析等等。使用Storm的另一大优势在于，其整合了大量其它技术，从而进一步降低大数据处理的复杂性。

　　4. Plotly

　　这是一款数据可视化工具，可兼容JavaScript、MATLAB、Python以及R等语言。Plotly甚至能够帮助不具备代码编写技能或者时间的用户完成动态可视化处理。这款工具常由新一代数据科学家使用，因为其属于一款业务开发平台且能够快速完成大规模数据的理解与分析。

　　5. Rapidminer

　　作为另一款大数据处理必要工具，Rapidminer属于一套开源数据科学平台，且通过可视化编程机制发挥作用。其功能包括对模型进行修改、分析与创建，且能够快速将结果整合至业务流程当中。Rapidminer目前备受瞩目，且已经成为众多知名数据科学家心目中的可靠工具。

　　6. Cassandra

　　Apache Cassandra 是另一款值得关注的工具，因为其能够有效且高效地对大规模数据加以管理。它属于一套可扩展NoSQL数据库，能够监控多座数据中心内的数据并已经在Netflix及eBay等知名企业当中效力。

　　7. Hadoop MapReduce

　　这是一套软件框架，允许用户利用其编写出以可靠方式并发处理大规模数据的应用。MapReduce应用主要负责完成两项任务，即映射与规约，并由此提供多种数据处理结果。这款工具最初由谷歌公司开发完成。

　　8. Bokeh

　　这套可视化框架的主要目标在于提供精致且简洁的图形处理结果，用以强化大规模数据流的交互能力。其专门供Python语言使用。

　　9. Wolfram Alpha

　　这是一套搜索引擎，旨在帮助用户搜索其需要的计算素材或者其它内容。举例来说，如果大家输入“Facebook”，即可获得与Facebook相关的HTML元素结构、输入解释、Web托管信息、网络统计、子域、Alexa预估以及网页信息等大量内容。

　　10. Neo4j

　　其官方网站将这款工具称为图形数据库技术的下一场革命。这种说法在一定程度上并不夸张，因为此套数据库使用数据间的关系以操作并强化性能表现。Neo4j目前已经由众多企业用于利用数据关系实现智能应用，从而帮助自身保持市场竞争优势。

End.

如果对软件测试感兴趣，想了解更多的软件测试知识，请大家关注“51Testing软件测试网”百家号。

给大家推荐的一些用于数据分析的“必备神器”

数据可视化工具：

百度ECharts：http://echarts.baidu/

Cytoscape：http://cytoscape.org/

图表秀：http://tubiaoxiu/

数据观：http://shujuguan/

微博足迹可视化：http://vis.pku.edu/weibova/weibogeo_footprint/index.html

BDP个人版：https://me.bdp/home.html

ICHarts：http://icharts.in/

魔镜：http://moojnn/

词频分析工具：

Rost：http://cncrk/downinfo/54638.html

图悦：http://picdata/

语义分析系统：http://ictclas.nlpir.org/nlpir/

Tagul：https://tagul/

腾讯文智：http://nlp.qq/semantic.cgi

Tagxedo词云：http://tagxedo/

舆情分析工具：

清博舆情系统：http://yuqing.gsdata/

云相：http://weidata/

PPT模板工具：

我图网：http://so.ooopic/

51PPT模板：http://51pptmoban/ppt/

无忧PPT：http://51ppt/

第1PPT：http://1ppt/

站长之家：http://sc.chinaz/ppt/

设计师网址导航：http://userinterface/

互联网趋势分析工具：

微博指数：http://data.weibo/index

百度指数：http://index.baidu/

好搜指数：http://index.so/#index

搜狗指数：http://zhishu.sogou/

百度预测：http://trends.baidu/

在线调查工具：

腾讯问卷调查：http://wj.qq/

麦客：http://mikecrm/

ICTR：http://cn2.ictr/

问道网：http://askform/

问卷星：http://sojump/

调查派：http://diaochapai/

问卷网：http://wenjuan/

SurveyMonkey：https://zh.surveymonkey/

网站分析监测工具：

H5传播分析工具：http://chuanbo.datastory/

百度统计：http://tongji.baidu/web/welcome/login

腾讯云分析：http://mta.qq/

51.la：http://51.la/

社交媒体监测工具：

孔明社会化媒体管理：http://kmsocial/

企业微博管理中心：http://e.weibo/

知乎用户深度分析：http://kanzhihu/useranalysis

其他数据网站：

数据分析网：http://afenxi

媒体微博排行榜：http://v6.bang.weibo/xmt

友盟：http://umeng/

中国新闻地图：http://vis.360/open/cnnews/

中国票房榜：http://cbooo/

收视率排行：http://tvtv.hk/archives/category/tv

农业大数据云平台：http://dataagri/agriculture/gis.action

房价指数：http://industry.fang/data/datacenter.aspx

中国统计局：http://data.stats.gov/

中国主要城市拥堵排名：http://report.amap/traffic/

中国综合社会调查：http://chinagss.org/

中国P2P网贷指数：http://p2p001/wdzs/wdzs_p2pline.html

Alexa：http://alexa/

易车汽车指数：http://index.bitauto/

旅游预测：http://trends.baidu/tour/

以上就是给大家推荐的一些用于数据分析的“必备神器”，其中很多工具是亲测过认为非常强大的，希望大家能从中找到对自己有帮助的工具。

大数据及移动互联网时代，每一个使用移动终端的人无时无刻不在生产数据，而作为互联网服务提供的产品来说，也在持续不断的积累数据。数据如同人工智能一样，往往能表现出更为客观、理性的一面，数据可以让人更加直观、清晰的认识世界，数据也可以指导人更加理智的做出决策。

而在大数据时代的今天，最有价值的商品则是数据。那么今天小编在这里给大家推荐一些常用于数据分析的必备神器。

1.Tableau

Tableau 帮助人们快速分析、可视化并分享信息。它的程序很容易上手，各公司可以用它将大量数据拖放到数字“画布”上，转眼间就能创建好各种图表。数以万计的用户使用 Tableau Public 在博客与网站中分享数据。

项目地址：https://tableau/

2.ECharts

Echarts可以运用于散点图、折线图、柱状图等这些常用的图表的制作。Echarts的优点在于，文件体积比较小，打包的方式灵活，可以自由选择你需要的图表和组件。而且图表在移动端有良好的自适应效果，还有专为移动端打造的交互体验。

项目地址：http://echarts.baidu/

3.Highcharts

Highcharts的图表类型是很丰富的，线图、柱形图、饼图、散点图、仪表图、雷达图、热力图、混合图等类型的图表都可以制作，也可以制作实时更新的曲线图。

另外，Highcharts是对非商用免费的，对于个人网站，学校网站和非盈利机构，可以不经过授权直接使用 Highcharts 系列软件。Highcharts还有一个好处在于，它完全基于 HTML5 技术，不需要安装任何插件，也不需要配置 PHP、Java 等运行环境，只需要两个 JS 文件即可使用。

项目地址：https://hcharts/

4.魔镜

魔镜是中国最流行的大数据可视化分析挖掘平台，帮助企业处理海量数据价值，让人人都能做数据分析。

魔镜基础企业版适用于中小企业内部使用，基础功能免费，可代替报表工具和传统BI，使用更简单化，可视化效果更绚丽易读。

项目地址：http://moojnn/

5.图表秀

图表秀的操作简单易懂， 而且站内包含多种图表，涉及各行各业的报表数据都可以用图表秀实现， 支持自由编辑和Excel、csv等表格一键导入，同时可以实现多个图表之间联动， 使数据在我们的软件辅助下变的更加生动直观，是目前国内先进的图表制作工具。

项目地址：http://tubiaoxiu/

分享 IT 技术和行业经验，请关注-技术学派。

任何Web软件和应用程序都需要强大的数据库管理工具，因此开发者选择一款合适的数据库管理工具尤为重要。本文列出了几款好用的数据库管理工具（有些并非开源或免费），以供开发者们参考选择。

MySQL管理工具 phpMyAdmin

phpMyAdmin是一个非常受欢迎的基于web的MySQL数据库管理工具。它能够创建和删除数据库，创建/删除/修改表格,删除/编辑/新增字段，执行SQL脚本等。

数据库管理工具 DBeaver

DBeaver 是一个通用的数据库管理工具和 SQL 客户端，支持 MySQL, PostgreSQL, Oracle, DB2, MSSQL, Sybase, Mimer, HSQLDB, Derby, 以及其他兼容 JDBC 的数据库。DBeaver 提供一个图形界面用来查看数据库结构、执行SQL查询和脚本，浏览和导出数据，处理BLOB/CLOB 数据，修改数据库结构等等。

MySQL 数据库建模工具 MySQL Workbench

MySQL Workbench是数据库架构师和开发人员的可视化数据库设计、管理的工具，它是著名的数据库设计工具DBDesigner4的继任者。你可以用MySQL Workbench设计和创建新的数据库图示，建立数据库文档。它同时有开源和商业化的两个版本。可以在Windows，Linux和MAC OS X上使用。

它在2016年十月份成为一个稳定的工具。

缺点：

比 phpMyAdmin 更复杂。

MAC上的MySQL管理工具 Sequel Pro

Sequel Pro 的原名是CocoaMySQL，是一个与phpMyAdmin相像的MySQL管理工具。它是由Cocoa和面对对象的C（Mac OSX）编写的。Sequel Pro允许你编辑数据库，表格（字段和索引）和列，执行个性化查找和导入导出数据。

缺点：

不适用于其他系统。

SQLite管理工具 SQLiteStudio

SQLiteStudio 是一个跨平台的 SQLite 数据库的管理工具，采用 Tcl 语言开发。

主要特性：

便携性 - 无需安装和卸载，下载解压即可使用界面直观功能强大，同时保持轻量级而且快速通过简单的 GUI 封装了所有 SQLite3 及 SQLite2 的功能支持跨平台 包括 Windows 9x/2k/XP/2003/Vista/7, Linux, MacOS X 支持导出各种格式数据 (SQL statements, CSV, HTML, XML, PDF, JSON),支持导入各种格式数据(CSV, 自定义文本文件[正则表达式]),额外的小功能，包括代码格式化，查询历史记录，语法检查等等支持 Unicode ,支持换肤 可配置的颜色、字体和快捷方式开源且免费 GPLv3 license.

Oracle 数据库开发工具 Oracle SQL Developer

Oracle SQL Developer 是一个免费非开源的用以开发数据库应用程序的图形化工具，使用 SQL Developer 可以浏览数据库对象、运行 SQL 语句和脚本、编辑和调试 PL/SQL 语句。另外还可以创建执行和保存报表。该工具可以连接任何 Oracle 9.2.0.1 或者以上版本的 Oracle 数据库，支持 Windows、Linux 和 Mac OS X 系统。

数据库管理客户端 HeidiSQL

HeidiSQL 是一个功能非常强大的数据库客户端软件，采用 Delphi 开发，支持 Windows 操作系统。支持 MySQL、MariaDB、Percona Server 和微软的 SQL Server。

多引擎数据库环境 DataGrip

DataGrip 是 JetBrains 发布的多引擎数据库环境，支持 MySQL 和 PostgreSQL，Microsoft SQL Server 和 Oracle，Sybase，DB2，SQLite，还有 HyperSQL，Apache Derby 和 H2。

当然，优秀的数据库管理工具还有很多，欢迎在评论区补充，以供更多开发者学习和交流。

End.

作者：OSC-两味真火

来源：开源中国

1.百度统计

地址：

百度统计是百度推出的一款免费的专业网站流量分析工具，能够告诉用户访客是如何找到并浏览用户的网站，在网站上做了些什么，有了这些信息，可以帮助用户改善访客在用户的网站上的使用体验，不断提升网站的投资回报率。目前主要提供趋势分析、来源分析、页面分析、访客分析、定制分析等多种统计分析服功能。

2.LeanCloud统计

地址：

LeanCloud统计内置稳定实时的数据统计分析服务，从用户量，用户行为，渠道效果，自定义事件等多个维度，帮助您更清楚的了解用户习惯，提高用户黏性和活跃度。(原名AVOS Cloud，现更名为LeanCloud)。主要亮点是AVOS Cloud 提供一流的 web 管理后台，可以通过它看到各个维度的统计结果。

3.Appsee

地址：https://

Appsee是一个简单而强大的视觉应用分析平台,在我们的移动应用程序中，使我们能够测试,了解和改善用户体验。通过Appsee平台，我们将能够准确了解用户如何与移动应用程序进行交互。

4.Segment.io

地址：

Segment.io允许我们将数据一键分送给多家数据分析服务提供商，我们只需部署一次，即可随意开关各个平台的数据通道。

5.有数

地址：

有数简称data.u，是一种可以灵活内置于手机应用运行过程的简单、透明的分析手段。data.u实现了高效采集分析数据，并初步整理减少冗余数据，压缩封装数据，利用智能策略传输数据，不挤占用户的网速。开发者可基于此开发包分析应用程序的运行情况，包括页面停留时长、页面跳转率、按时间或地理位置分析用户量、用户的发展情况等信息，同时为用户提供了在线配置参数获取等实用功能。

大数据分析，是互联网从业者必须具备的一项基础技能，只有掌握数据分析，做项目才能更科学化、对于项目的预判，能够更准确的把握。今天分享的这些数据分析工具，是我们分析项目经常用的工具，毫无保留的分享给大家，希望大家在操作项目的过程中熟练的使用这些工具。 定能够让你在网赚道路上无往不胜。1、百度指数第一款必备工具。百度指数，我们在查询某一些关键词的时候，首要考虑的就是百度的数据如何，因为百度这个搜索引擎在互联网搜索引擎中占据的份额最大，数据精准度高。检索的很多关键词以及一些热点词的数据对比，都能直观展现出来，通过人群、年龄、性别、兴趣爱好、地域等更为详细的信息，方便我们做出更理智的判断。

2、微指数我们在查询一些关键词的时候，要分析社交数据。对于产品传播非常重要，通过调查数据，我们知道如何把握住当今热点，让产品蹭热度飞一会，是很多商家考虑的问题。新浪微博旗下产品微指数，可以很容易帮我们把控热点关键词。让我们清楚地看到近七天趋势如何，及时对产品做出调整。

3、阿里指数我们在操作某宝店铺项目的时候，需要分析更多的数据，来确定标题内容如何定位优化，用户检索更为简单，如何蹭热点关键词飞上那么一会儿，如何引爆流量做核心爆款。这个跟成交量有非常大的关键，哪类行业有哪些关键词在搜索时上升幅度比较快，很有潜力，知道这些信息后，我们都需要提早的布局。等相关的关键词上升到一定幅度时，我们恰好出现在热点上，在用户检索时很容易爆单。这个数据分析工具是中小卖家逆袭的机会。一定要好好研究。

4、腾讯指数BAT三大巨头，柒点哥介绍两家了，怎么可能缺少 TX 指数，TX 旗下的各类产品琳琅满目，自然对数据掌握的精准程度不是一般企业可以比拟的。算得上行业顶尖了。但是目前为止使用腾讯指数分析的用户实在少之又少，大部分人不知道这个功能，今天柒点哥告诉大家，腾讯确实有指数分析的功能。而且可以从九大品类开始分析数据，可以说是一款很强大的运营工具。

5、爱站网爱站网：是一个综合性的数据分析平台。我平常都在用这个网站分析一些网站相关的信息，比如，网站收录状况，PR值，域名信息，友情链接等一些数据。但是最长用的一个功能就是长尾关键词发掘。这项功能有助于我们通过主关键词，发掘带流量的附属关键词的状况，类似于百度推广后台的数据分析。非常不错的免费工具，大家以后可以常用。

6、QQ指数QQ指数是一款基于QQ平台用户数据分析的移动端指数类产品，定位于洞察QQ平台上年轻人最新、最热、最关注的社交内容，通过分析QQ平台上用户公开发表的说说、评论及搜索、浏览等行为数据，发现年轻人的热点趋势及舆论风向，透过QQ指数可以快速掌握年轻人的兴趣喜好和行为习惯等信息。作为T讯旗下最为核心的产品，对于我们互联网人士来讲，把它称为流量的天堂，只要随便找一个平台来操作产品，坚持一段时间都能暴富的。所以研究T讯系的核心产品，离不开QQ指数这个工具，对于我们把控QQ流量热点的趋势有很好的帮助，是非常重要的营销利器。

QQ指数官方账号：qq搜索框搜索 QQ指数，关注公众号即可查询，主要是带认证图标的那个。7、微信指数微信指数是微信官方提供的基于微信大数据分析的移动端指数。2017年3月23日晚，微信官方推出了“微信指数”功能。作为T讯旗下，第二个核心产品，微信可以说是后来者居上，各种苗头都表明要赶超QQ的趋势，对于我们互联网人士来讲，这是最好的变现渠道。因为很多网赚项目，最后结款的地方都是在微信端成交的。所以我们非常有必要来分析他的数据，基于微信推出了这一功能，让我们省了很多分析微信数据的时间。

微信指数官方渠道：小程序搜索微信指数8、安卓权重榜我们操作的一些项目，免不了在APP上操作，但是这个平台流量如何，以及人群属性，都很难预估。但是我们又必须了解数据才能够伸缩有度，所以我常用的这款APP数据软件，就能够给我带来客观的数据。

9、新榜以榜单为切口，新榜向众多500强企业、政府机构提供线上、线下数据产品服务，“号内搜”、“新榜认证”、“分钟级监测”获得广泛应用。在协同内容创业者商业化方面，新榜依托数据挖掘分析能力，建立用户画像和效果监测系统，连接品牌广告主和品牌自媒体。作为公众号的运营者，我特别注重公众号的分析，以及项目渠道的发掘。新榜作为专业的内容数据提供商，我是经常会使用他来分析数据，查看某些公众号潜力，随时观察它的盈利模式以及动向。

10、梅花网作为互联网人士，写文章投放广告，是我经常要做的事情，但是如何让广告的每一分钱都花到潜在客户身上，是我经常要考虑的。如何知道同行在哪里投放广告，也是我所关心的，梅花网是广告监测比较专业的网站，我经常用来分析广告数据，在这里推荐给大家。

总结：以上的十个工具呢，就是我经常用到的数据分析工具。我认为这是每一个互联网从业者都具备的基本功，用好数据分析，操作项目更加的事半功倍。但是用的时候不能太死板，可以结合起来相互用。实干派动手做，花架子空叹息，让技术为你工作。赚钱的玩法很多，只有思路够宽，你才能走的更远。没赚到钱，并不是文章干货不够，而是你懂得太少了。 保持空杯心态，永远在进步。

大数据工具让企业能够从数据仓库获得洞察力，从而在数据驱动的业务环境中提供重要的竞争优势。

为了满足旺盛需求，大数据工具在迅速遍地开花。在大数据这一概念和业务战略出现以来的十年间，市面上出现了成千上万执行各种任务和流程的工具，它们都承诺可为你节省时间和资金，发掘业务洞察力从而实现创收。显然，一个不断增长的市场呈现在大数据分析工具的面前。

其中许多工具一开始就像最初的大数据软件框架Hadoop那样是开源项目，但后来商业公司迅速涌现，为开源产品提供新工具或商业支持和开发。

从中进行遴选可能很困难，尤其是许多大数据工具用途单一，而你可以用大数据处理许多不同的任务，所以你的分析工具箱会塞得满满当当。本文我们列出了市面上主要的大数据分析工具市面上主要的大数据分析工具，分三大?类别来介绍。

·主要的大数据工具·

如前所述，大数据工具往往属于单一用途类别，而使用大数据有多种方式。所以我们将按类别细分，然后讨论每个类别的分析工具。

一、大数据工具：数据存储和管理

大数据完全始于数据存储，也就是说始于大数据框架Hadoop。它是Apache基金会运行的一种开源软件框架，用于在大众化计算机集群上分布式存储非常大的数据集。

很显然，由于大数据需要大量的信息，存储至关重要。但除了存储外，还需要某种方式将所有这些数据汇集成某种格式化/治理结构，从而获得洞察力。因此，大数据存储和管理是真正的基础――离开了它，分析平台一无是处。在一些情况下，这些解决方案还包括员工培训。

这个领域的大玩家包括：

1. Cloudera

实际上是增加了一些额外服务的Hadoop，你会需要它，因为大数据不容易搞。Cloudera的服务团队不仅可以帮助你构建大数据集群，还可以帮助培训你的员工，更好地访问数据。

2. MongoDB

MongoDB是最受欢迎的大数据数据库，因为它适用于管理经常变化的数据：非结构化数据，大数据常常是非结构化数据。

3. Talend

作为一家提供广泛解决方案的公司，Talend的产品围绕其集成平台而建，该平台集大数据、云、应用程序、实时数据集成、数据准备和主数据管理于一体。

图1：Talend大数据集成平台包括数据质量和治理功能

二、大数据工具：数据清理

在你真正处理数据以获取洞察力之前，需要清理和转换数据，转换成可远程搜索的内容。大数据集往往是非结构化、无组织的，因此需要某种清理或转换。

当下，数据可能来自任何地方：移动、物联网和社交媒体，数据清理显得更为必要。并非所有这些数据都可以轻松“清理”以获得洞察力，因此优秀的数据清理工具极其重要。实际上，在未来几年，预计经过有效清理的数据会是可接受的大数据系统与真正出色的大数据系统之间的竞争优势。

4. OpenRefine

OpenRefine是一款易于使用的开源工具，通过删除重复项、空白字段及??其他错误来清理凌乱的数据。它是开源的，但有一个相当大的社区可提供帮助。

5. DataCleaner

与OpenRefine一样，DataCleaner可将半结构化数据集转换成数据可视化工具可以读取的干净可读的数据集。该公司还提供数据仓库和数据管理服务。

6. 微软Excel

说真的，Excel有其用途。你可以从各种数据源导入数据。Excel在手动数据输入和复制/粘贴操作方面特别有用。它能消除重复项，查找和替换内容，检查拼写，还有用于转换数据的许多公式。但Excel很快陷入困境，不适合庞大数据集。

三、大数据工具：数据挖掘

一旦数据经过清理和准备，你可以通过数据挖掘开始搜索数据了。这时你执行这个实际的过程：发现数据、做出决定和进行预测。

数据挖掘是大数据流程的真正核心。数据挖掘解决方案通常底层很复杂，但竭力提供　一种外观漂亮、对用户友好的用户界面，说起来容易做起来难。数据挖掘工具面临的另一个挑战是：它们确实需要人来编制查询，所以数据挖掘工具的好坏取决于使用它的专业人员。

7. RapidMiner

RapidMiner是一款易于使用的预测分析工具，有着对用户友好的可视化界面，这意味着你没必要编写代码即可运行分析产品。

8. IBM SPSS Modeler

IBM SPSS Modeler是一款包括五个数据挖掘产品的套件，面向企业级高级分析。另外IBM的服务和咨询首屈一指。

9. Teradata

Teradata为数据仓库、大数据和分析以及营销等应用提供端到端解决方案。这一切意味着贵公司可以真正成为数据驱动的公司，另外还有商业服务、咨询、培训和支持。

图2：与许多目前的大数据工具一样，RapidMiner解决方案也支持云

四、大数据工具：数据可视化

数据可视化是指以一种可读、实用的格式显示你的数据。你可以查看图表图形以及直观显示数据的其他图像。

数据可视化既是一门科学，又是一门艺术。随着大数据从有大批数据科学家支持的高管转移到整个公司上下，众多员工可以使用可视化工具极为重要。销售代表、IT支持和中层管理，这些团队个个都需要能够理解数据，因此重点放在易用性上。然而，易于阅读的可视化有时与来自深度特征集的数据读出相冲突，这带来了数据可视化工具面临的主要挑战之一。

10. Tableau

Tableau是该领域的领导者，其数据可视化工具专注于商业智能，无需懂得编程，即可创建各种地图、图表、图形及更多可视化元素。它共有五款产品，一款名为Tableau Public的免费版供潜在客户试用。

11. Silk

Silk是Tableau的简单版，让你可以通过地图和图表将数据可视化，无需任何编程。你在首次加载Silk时，它甚至会试着将数据可视化。它还让用户很容易在网上发布结果。

12. Chartio

Chartio使用自己的可视化查询语言，只要点击几下鼠标即可创建功能强大的仪表板，无需懂得SQL或其他建模语言。它有别于其他工具的地方主要在于，你可以直接连接到数据库，因此不需要数据仓库。

13.IBM Watson Analytics

IBM Watson Analytics结合了机器学习和人工智能，有助于提供智能数据科学助手，为业务分析员和数据科学家等拥有众多数据科学技能的用户扮演了向导。

·大数据工具的三个层次·

普华永道的移动数据和分析计划首席技术官Ritesh Ramesh表示，就先进程度和市场战略而言，大数据工具可分成三层金字塔。

第一层：最庞大的是一系列开源工具。每家公司以开源起家，像Cloudera和Hortonworks。除了基本的基础设施、服务器和存储外，没有多大的价值。大多数云厂商已将这一层实现了商品化。

第二层：在这一层，大多数这类厂商已有意增加各自的市场份额，在开源工具上面构建一些专有应用程序，从而做到与众不同。举例说，Cloudera开发了许多产品，比如驻留在Hadoop核心上的数据科学平台。

第三层：这些是针对特定垂直领域的应用程序。这些公司大多与普华永道、高知特或埃森哲等系统集成商合作。真正的价值出在这里，这对大数据工具开发商来说也是非常有效的竞争策略。

Ramesh表示，除了基本功能外，这些工具的三大方面备受欢迎。首先是数据处理工具。他说：“数据学习工具是客户的工具箱中确保数据质量和分析数据的重要工具，比如处理5000万行数据以发现洞察力。”

他表示，领先的厂商包括Trifacta、Paxata和Talend。

第二大类应用程序是治理，比如你如何定义元数据。他说：“好多人在这方面遇到困难。人们只是将大量垃圾数据倒到数据湖。市面上可在数据湖中积极发挥功效的工具不多。由于这项工作主要由IT人员完成，他们更有兴趣将数据倒到数据湖，而不是确立一种治理结构。”

主要厂商包括Waterline Data、以数据编目工具见长的Tamr和Collibra。

Ramesh说，经常出现的第三大需求是安全。他说：“人们希望一个产品就有安全访问的所有层(列、行和对象)。他们希望一款产品为不同的数据对象支持用户访问和安全。这也是个新兴领域。”

这个领域的主要厂商是Wandisco和FireEye。

End.

来源：网络大数据

文章推荐

一份高质量数据分析报告的三板斧

如何完成一份高质量数据分析报告

不同行业的软件都爱用什么编程语言开发？

一提到数据分析，很多人可能脑海中可能会浮现出各式各样的数据画面。

比如下图所示，这样的中国式复杂报表在企业中经常被使用，精密的复杂表格样式中蕴含着国人庞大的数据信息量。

再比如这样的数据Dashboard可视化，通常应用于展示KPI业务指标，例如销售额、毛利率、利润率等等，数据的可视化呈现形式清晰直观。

再就是目前火热的不行的可视化大屏，比如下图所示的双11全球天猫狂欢节当日的实时交易统计大屏，除了清晰直观地展示企业核心的KPI指标之外，狂拽炫酷是它至关重要的特征。

大道至简的数据分析方法

但无论是以上的哪一种，无论数据如何变换，所有看似神秘的数据分析过程都可以归纳总结为各种“维度+度量”的组合分析。

维度用于描述事物的属性信息，例如统计各个地区的交易数量时，地区就是维度。

度量（指标）是可以量化统计的数值，例如统计各个地区的交易数量时，交易数量就是度量。但是需要注意的是并不一定所有的数值都是度量，例如学生的学号虽然是数值类型，但是其实它是维度而非度量。

如此一来，我们对数据分析有了从整体上的解释。但是实际应用中，我们并非盲目地去进行各种维度和度量的拼凑组合，而是希望得出的数据分析结果能够指引业务进行决策，终而形成业务闭环效果的。

根据我自身的一些数据分析项目经验，90%以上的基本数据分析问题都可以套用我总结的这七步完成（深入的数据分析需涉及描述性统计分析、相关性分析等专业的统计分析技能）：

数据分析必然需要借助工具，Excel、BI或者R和Python语言都可以帮助实现。

这里为了帮大家更快速地理解数据清洗建模和数据差异分析环节的内容，借助比较简单的BI工具FineBI，为大家进行一个销售数据分析实例，加深大家对数据建模和数据分析过程的理解。感兴趣的可以到官网下载，个人完全免费。

一、确定分析目标

这是分析前的第一步，我们需要明确进行数据分析的对象，也就是需要确定分析目标。

通常来说我们会选取最关心的核心KPI指标，例如电商行业的销量、销售额、利润，制造行业的次品率，互联网行业的用户留存率等等。

一般来说，分析目标不要过多，如果实在是需要同时分析多个关键核心业务KPI指标，那么我们便可以将这些核心指标分解给对应业务负责人，例如销售总监负责提升公司销售业绩，运营总监负责降低成本花费。

二、核心目标拆解

确定好分析目标之后，通常来说我们需要再对核心目标进行子目标分解，这也符合企业各团队分工协作的特性。

核心目标拆解的过程中需要遵循MECE原则，也就是“完全穷举，相互独立”。例如下图所示的电子商务数据分析指标体系，就分别从网站运营指标、经营环境指标、销售指标、营销活动指标、客户价值指标几个方面进行了详尽的拆解，然后交由各个团队进行分工达成。

三、数据清洗和业务建模

确立和分解好数据分析目标之后，下一步就可以进入到数据清洗和业务建模环节了。

数据清洗方面，很多人可能会想到国外传统的一些ETL工具，但是这类工具过于庞大和复杂，国内真正成功落地的案例很少。FineBI商业智能工具其实就提供了轻量级的ETL功能可供用户对数据进行计算和处理，鼠标点击和拖拽操作即可完成轻量的ETL数据处理过程。

业务建模方面，FineBI也是提供了根据不同业务主题分类建立业务包的功能，一般来说按照维度表和事实表建立好关联关系即可，这样一来就为前端的数据差异分析准备好了数据模型。

四、数据差异分析

终于到了数据差异分析这一步，这也是离发现问题原因和业务决策最近的一步。

所谓数据差异分析，自然是需要有差异，才能有分析。

例如今年某某企业7月份的销售额是600万，那么大家会觉得对于这个企业来说是好还是坏？如果只有这一个数据，自然是无所谓数据差异分析的。

如果这家企业的6月份的历史销售额是400万，那么7月份600万的销售额自然是非常好的了，可是如果这家企业的6月份历史销售额是800万，7月份600万的销售额明显是有问题的。

a.纵向对比

按照这个基础的数据差异分析逻辑，我们借助FineBI来初步分析一下某家企业今年各月度的销售额统计走势图：

如上图所示，通过纵向对比不难看出该企业在7月份销售额下降严重，环比6月份的企业销售额下降了22.47%，不是个好现象。老板看到这个数据自然会前来问责，说为什么7月份公司销售业绩下滑这么厉害。那么会是什么原因导致企业7月的销售业绩相对6月下滑这么多呢？我们需要更新一步地进行数据分析，以排查出导致产生问题的”真凶“。

b.横向对比

一般来说销售型企业都会在全国划分各个销售区域，那么这样一来我们除了对时间进行纵向对比之外，还可以结合销售大区维度进行横向比较，分析探索看看能不能发现一些问题。

果不其然，如上图所示，通过时间维度结合销售大区进行横向对比发现，企业的东南大区7月份的销售额相对6月份反而是增长的，看来问题主要出在北方区和中西区，特别是北方区7月份的销售业绩下滑更为严重，最终导致企业7月份总的销售额比6月份严重下滑。

数据分析的丰富度一定程度上依赖于分析工具的功能，比如Excel可能需要写VBA，R和Python需要写代码。

由于FineBI是一款商业智能工具，故而这边可以轻松通过其提供的OLAP联动分析功能，以更进一步的观察各个区域7月份的表现情况，直接点击饼图区域即可联动到月度销售额统计，非常方便。这边我们可以看出，中西区7月份销售额环比轻微下降17.86%，北方区下降严重到50.07%，而东南区则提高了6.06%，综合三个大区的总体销售状况，导致最终表现为7月份销售额环比下降了22.47%。

c.综合对比

上面分析了时间、区域维度相关的销售额结果统计，为了避免结论片面，我们尽量采用多维度的综合对比方式来观察数据，甚至可以是友商的销售情况对比进行差异分析（此处不单独举例说明）。

如上图所示，我们通过时间维度结合产品类型来进行销售额分析，观察7月份各个产品线的数据发现各个产品线在7月份销售额环比都是有所下降的，这说明企业7月份销售额下降和产品种类本身是没有关系的。

五、发现问题原因

综合北方区域和中西区域导致7月份销售额环比下降的各种影响因素，最终发现是由于6、7月份北方区域降雨严重，导致物流周转严重滞后，库存商品无法及时供应，最终导致北方区域7月份销售业绩严重下滑了50.07%。而中西区域本身仓库比较小，按照之前各区域商品物流周转的设计，中西区域的本土供应的差额商品主要是由北方区域供应，但是北方区域由于严重的降雨导致物流周转严重滞后，进而导致中西区域7月份销售业绩也同比下滑了17.86%。

六、制定业务决策

通过结合FineBI工具的OLAP多维数据综合分析方法成功定位到问题原因之后，企业及时调整仓库商品物流周转策略，北方区域物流模式调整为水运，同时将东南区域的部分商品通过物流周转到中西区域。

七、评估决策效果

企业领导决策层8月份通过及时调整北方区域和中西区域的物流策略，北方区域物流模式调整为水运，东南区域的部分商品通过物流周转到中西区域，补充了北方区域和中西区域的库存商品周转。最终8月份企业的总体销售额达到了943万，环比7月销售额提高到了37.32%。

后记

随着信息化的飞速发展，大数据产业呈指数式增长。在我们不断地积累着企业的历史数据的同时，如何利用和分析好这些数据，真正利用大数据分析驱动企业的业务增长也成为了一个很重要的难题。希望本文给大家分享的数据分析方法，结合FineBI商业智能分析工具的OLAP多维分析能力，能够让大家下次在面对企业业务数据分析时不再迷惑，做到步步为营，让数据分析真正释放出潜能，驱动业务快速增长，形成数据和业务之间的闭环

欢迎关注天善智能，我们是专注于商业智能BI，大数据，数据分析领域的垂直社区，学习，问答、求职一站式搞定！

本文是上一篇文章《全国及重点城市“数据分析”岗位需求量及工资水平分析》的续篇，从“数据分析”职位招聘单位给出的职位描述中分析各种工具的热门程度。

1.整体概览

经常看见有网友争论R和python谁才是主流的数据分析工具，网友们分门别派各抒己见。今天我们从实际需求出发，在招聘单位的职位描述中用正则表达式匹配统计常用的数据分析工具出现的频率，看看谁才是你最应该掌握的工具。

话不多说，先上图

毫无疑问，excel才是最主流的数据分析工具，在招聘单位的职位描述中出现频率远远高于其他工具（实际上居第八位的office也含有excel，其真实数据应该比这还高），作为最基础的工具，excel是一个数据分析工作者的必备技能。excel之后的4门工具分别是sqlsever、spss、sas和r，其中排名第二位的sqlsever频率高出另外两门主流数据库语言mysql、oracle近两倍，spss作为无需编程的专业统计软件也在职位描述中有较高的频率，sas则是编程类统计软件的代表，今年来火热的r语言也水涨船高，另一门火热的程序语言python在数据分析方面则要稍稍落后。

2.各职位具体情况

数据分析也有细分很多具体职位，那么不同的职位以上各种工具的要求是否存在差异呢？

表中数据显示“大数据分析师”需掌握的工具主要是r、python、hadoop、spark和java；“数据分析工程师”需要掌握的工具主要是sqlsever、r、python和hadoop，这两个职位都很看重编程开发能力。

“数据分析经理”、“高级数据分析师”和“数据分析师”需要掌握的工具大体一致，均为excel、sqlsever、spss、sas和r。

“数据分析主管”、“数据分析”、“数据分析专员”和“数据分析员”等职位对基础技能的要求更为突出，excel、ppt、word等office办公软件出现的频率较其他工具明显更高。

作为一名数据分析从业者或者想转行过来的人来说，要想有好的职业发展，首先，必须熟练掌握office办公软件，尤其是excel（不要瞧不起excel，你不一定玩得转）；其次，还需要学习一门数据库语言，sqlsever是不错的选择（mysql、oracle与sqlsever较为类似，通一门后，其他的学起来也很容易）；专业的统计分析工具也需要掌握一门，如果讨厌编程，可以选择spss，如果有编程能力那么sas和r可以选择一个学习，如果你精通python也可以用python做统计分析；如果想往大数据方向发展，或者是做数据分析工程师那就还需要掌握python、hadoop等工具。

最后附上一张数据分析职位描述的词云图，可以看出招聘单位除了看重工具的使用外，也很注重分析、业务、经验、沟通、团队等方面的能力。

本文作者：Mr.Hu，转自：一胡诌先生