大数据数据分析工具

一般的大数据平台从平台搭建到数据分析大概包括以下几个步骤：

1、Linux系统安装

一般使用开源版的Redhat系统--CentOS作为底层平台。为了提供稳定的硬件基础，在给硬盘做RAID和挂载数据存储节点的时，需要按情况配置。比如，可以选择给HDFS的namenode做RAID2以提高其稳定性，将数据存储与操作系统分别放置在不同硬盘上，以确保操作系统的正常运行。

2、分布式计算平台/组件安装

当前分布式系统的大多使用的是Hadoop系列开源系统。Hadoop的核心是HDFS，一个分布式的文件系统。在其基础上常用的组件有Yarn、Zookeeper、Hive、Hbase、Sqoop、Impala、ElasticSearch、Spark等。

使用开源组件的优点：1）使用者众多，很多bug可以在网上找的答案（这往往是开发中最耗时的地方）；2）开源组件一般免费，学习和维护相对方便；3）开源组件一般会持续更新；4）因为代码开源，如果出现bug可自由对源码作修改维护。

常用的分布式数据数据仓库有Hive、Hbase。Hive可以用SQL查询，Hbase可以快速读取行。外部数据库导入导出需要用到Sqoop。Sqoop将数据从Oracle、MySQL等传统数据库导入Hive或Hbase。Zookeeper是提供数据同步服务， Impala是对hive的一个补充，可以实现高效的SQL查询

3、数据导入

前面提到，数据导入的工具是Sqoop。它可以将数据从文件或者传统数据库导入到分布式平台。

4、数据分析

数据分析一般包括两个阶段：数据预处理和数据建模分析。

数据预处理是为后面的建模分析做准备，主要工作时从海量数据中提取可用特征，建立大宽表。这个过程可能会用到Hive SQL，Spark QL和Impala。

数据建模分析是针对预处理提取的特征/数据建模，得到想要的结果。如前面所提到的，这一块最好用的是Spark。常用的机器学习算法，如朴素贝叶斯、逻辑回归、决策树、神经网络、TFIDF、协同过滤等，都已经在ML lib里面，调用比较方便。

5、结果可视化及输出API

可视化一般式对结果或部分原始数据做展示。一般有两种情况，行数据展示，和列查找展示。

以上就简单介绍这么多，如果有小伙伴想了解和学习更多的大数据技术，可以私信小编索要资料

帕累托图（Pareto Chart）可以分析总利润额的多少百分比来自于多少比例的客户，也可以分析总销售的多少百分比来自于哪几种主要的产品

eg:创建一个帕累托图，来分析是否是80%的利润额来源于20%的大客户，或者是别的情况

步骤：连接数据源（supermarket）

1、将“客户姓名”、“利润”分别拖放于列、行上

2、右键单击“顾客姓名”，选择“排序”，弹出对话框，将“排序顺序”设为“降序”，“排序依据”处勾选“字段”并选择“利润”，“聚合”设为“总计”，单击确定键

3、将试图改为“整个视图”

数据分析交流：283296032

4、右键单击“利润”，单击“添加计算表”并作如下设置

1）计算类型设为“汇总”，计算依据设我“客户名称”，勾选“添加辅助计算”，“从属计算类型”设为“总额百分比”，计算依据“客户名称”

5、从维度列表再次将“客户名称”拖放至【详细信息】

6、右键单击“顾客姓名”，将“度量”设为“计数”，【标记】选择“条形图”

7、右键单击“客户名称”，单击【添加表计算】，并作如下设置：

1）“计算类型”设为“汇总”，“计算依据”设为“客户名称”

2）勾选“添加辅助计算”，目的是要将横轴上的刻度变为百分比的形式

3）将“从属计算类型”设为“总额百分比”，“计算依据”处选“客户姓名”

8、做如下设置，使得帕累托如更加直观

1）右键单击纵轴，添加一条参考线，设为常数值0.8

2）再次右键单击纵轴，单击【编辑轴】，将轴标题改为%of利润

3）右键单击横轴，添加一条参考线，设为常数值0.2

4）再次右键单击横轴，单击【编辑轴】，将轴标题改为%of顾客

5）从【度量】列表框中选中“利润”拖放于颜色框内

以下是一些用于大数据分析的“必备神器”，其中很多功能非常强大的，希望大家能从中找到对自己有帮助的工具。全选地址，拷贝到浏览器中，即可。

01

微信大数据分析工具

新媒体指数：http://gsdata

02

数据可视化工具

百度ECharts：http://echarts.baidu/

Cytoscape：http://cytoscape.org/

图表秀：http://tubiaoxiu/

数据观：http://shujuguan/

微博足迹可视化：http://vis.pku.edu/weibova/weibogeo_footprint/index.html

BDP个人版：https://me.bdp/home.html

ICHarts：http://icharts.in/

魔镜：http://moojnn/

03

词频分析工具

Rost：http://cncrk/downinfo/54638.html

图悦：http://picdata/

语义分析系统：http://ictclas.nlpir.org/nlpir/

Tagul：https://tagul/

腾讯文智：http://nlp.qq/semantic.cgi

Tagxedo词云：http://tagxedo/

04

舆情分析工具

清博舆情系统：http://yuqing.gsdata/

云相：http://weidata/

05

PPT模板工具

我图网：http://so.ooopic/

51PPT模板：http://51pptmoban/ppt/

无忧PPT：http://51ppt/

第1PPT：http://1ppt/

站长之家：http://sc.chinaz/ppt/

设计师网址导航：http://userinterface/

06

互联网趋势分析工具

微博指数：http://data.weibo/index

百度指数：http://index.baidu/

好搜指数：http://index.so/#index

搜狗指数：http://zhishu.sogou/

百度预测：http://trends.baidu/

07

在线调查工具

腾讯问卷调查：http://wj.qq/

麦客：http://mikecrm/

ICTR：http://cn2.ictr/

问道网：http://askform/

问卷星：http://sojump/

调查派：http://diaochapai/

问卷网：http://wenjuan/

SurveyMonkey：https://zh.surveymonkey/

08

网站分析监测工具

H5传播分析工具：http://chuanbo.datastory/

百度统计：http://tongji.baidu/web/welcome/login

腾讯云分析：http://mta.qq/

51.la：http://51.la/

09

社交媒体监测工具

孔明社会化媒体管理：http://kmsocial/

企业微博管理中心：http://e.weibo/

知乎用户深度分析：http://kanzhihu/useranalysis

10

其他数据网站

媒体微博排行榜：http://v6.bang.weibo/xmt

友盟：http://umeng/

中国新闻地图：http://vis.360/open/cnnews/

中国票房榜：http://cbooo/

收视率排行：http://tvtv.hk/archives/category/tv

农业大数据云平台：http://dataagri/agriculture/gis.action

房价指数：http://industry.fang/data/datacenter.aspx

中国统计局：http://data.stats.gov/

中国主要城市拥堵排名：http://report.amap/traffic/

中国综合社会调查：http://chinagss.org/

中国P2P网贷指数：http://p2p001/wdzs/wdzs_p2pline.html

Alexa：http://alexa/

易车汽车指数：http://index.bitauto/

旅游预测：http://trends.baidu/tour/

以上就是给大家推荐的一些用于数据分析的“必备神器”，其中很多工具是亲测过认为非常强大的，希望大家能从中找到对自己有帮助的工具。