大数据分析怎么做

大数据分析之描述型分析：发生了什么——这是最常见的分析方法。在业务中，这种方法向大数据分析师提供了重要指标和业务的衡量方法。例如每月的营收和损失账单。大数据分析师可以通过这些账单，获取大量的客户大数据。了解客户的地理信息，就是“描述型分析”方法之一。利用可视化工具，能够有效的增强描述型分析所提供的信息。

大数据分析之诊断型分析：为什么会发生——描述性大数据分析的下一步就是诊断型大数据分析。通过评估描述型大数据，诊断分析工具能够让大数据分析师深入地分析大数据，钻取到大数据的核心。良好设计的数据分析能够整合：按照时间序列进行大数据读入、特征过滤和钻取大数据等功能，以便更好的分析大数据。

大数据分析之预测型分析：可能发生什么——预测型分析主要用于进行预测。事件未来发生的可能性、预测一个可量化的值，或者是预估事情发生的时间点，这些都可以通过预测模型来完成。预测模型通常会使用各种可变大数据来实现预测。大数据成员的多样化与预测结果密切相关。在充满不确定性的环境下，预测能够帮助做出更好的决定。预测模型也是很多领域正在使用的重要方法。

大数据分析之指令型分析：需要做什么——大数据价值和复杂度分析的下一步就是指令型分析。指令模型基于对“发生了什么”、“为什么会发生”和“可能发生什么”的分析，来帮助用户决定应该采取什么措施。通常情况下，指令型分析不是单独使用的方法，而是前面的所有方法都完成之后，最后需要完成的分析方法。例如交通规划分析考量了每条路线的距离、每条线路的行驶速度、以及目前的交通管制等方面因素，来帮助选择最好的回家路线。

一般的大数据平台从平台搭建到数据分析大概包括以下几个步骤：

1、Linux系统安装

一般使用开源版的Redhat系统--CentOS作为底层平台。为了提供稳定的硬件基础，在给硬盘做RAID和挂载数据存储节点的时，需要按情况配置。比如，可以选择给HDFS的namenode做RAID2以提高其稳定性，将数据存储与操作系统分别放置在不同硬盘上，以确保操作系统的正常运行。

2、分布式计算平台/组件安装

当前分布式系统的大多使用的是Hadoop系列开源系统。Hadoop的核心是HDFS，一个分布式的文件系统。在其基础上常用的组件有Yarn、Zookeeper、Hive、Hbase、Sqoop、Impala、ElasticSearch、Spark等。

使用开源组件的优点：1）使用者众多，很多bug可以在网上找的答案（这往往是开发中最耗时的地方）；2）开源组件一般免费，学习和维护相对方便；3）开源组件一般会持续更新；4）因为代码开源，如果出现bug可自由对源码作修改维护。

常用的分布式数据数据仓库有Hive、Hbase。Hive可以用SQL查询，Hbase可以快速读取行。外部数据库导入导出需要用到Sqoop。Sqoop将数据从Oracle、MySQL等传统数据库导入Hive或Hbase。Zookeeper是提供数据同步服务， Impala是对hive的一个补充，可以实现高效的SQL查询

3、数据导入

前面提到，数据导入的工具是Sqoop。它可以将数据从文件或者传统数据库导入到分布式平台。

4、数据分析

数据分析一般包括两个阶段：数据预处理和数据建模分析。

数据预处理是为后面的建模分析做准备，主要工作时从海量数据中提取可用特征，建立大宽表。这个过程可能会用到Hive SQL，Spark QL和Impala。

数据建模分析是针对预处理提取的特征/数据建模，得到想要的结果。如前面所提到的，这一块最好用的是Spark。常用的机器学习算法，如朴素贝叶斯、逻辑回归、决策树、神经网络、TFIDF、协同过滤等，都已经在ML lib里面，调用比较方便。

5、结果可视化及输出API

可视化一般式对结果或部分原始数据做展示。一般有两种情况，行数据展示，和列查找展示。

以上就简单介绍这么多，如果有小伙伴想了解和学习更多的大数据技术，可以私信小编索要资料

以下是一些用于大数据分析的“必备神器”，其中很多功能非常强大的，希望大家能从中找到对自己有帮助的工具。全选地址，拷贝到浏览器中，即可。

01

微信大数据分析工具

新媒体指数：http://gsdata

02

数据可视化工具

百度ECharts：http://echarts.baidu/

Cytoscape：http://cytoscape.org/

图表秀：http://tubiaoxiu/

数据观：http://shujuguan/

微博足迹可视化：http://vis.pku.edu/weibova/weibogeo_footprint/index.html

BDP个人版：https://me.bdp/home.html

ICHarts：http://icharts.in/

魔镜：http://moojnn/

03

词频分析工具

Rost：http://cncrk/downinfo/54638.html

图悦：http://picdata/

语义分析系统：http://ictclas.nlpir.org/nlpir/

Tagul：https://tagul/

腾讯文智：http://nlp.qq/semantic.cgi

Tagxedo词云：http://tagxedo/

04

舆情分析工具

清博舆情系统：http://yuqing.gsdata/

云相：http://weidata/

05

PPT模板工具

我图网：http://so.ooopic/

51PPT模板：http://51pptmoban/ppt/

无忧PPT：http://51ppt/

第1PPT：http://1ppt/

站长之家：http://sc.chinaz/ppt/

设计师网址导航：http://userinterface/

06

互联网趋势分析工具

微博指数：http://data.weibo/index

百度指数：http://index.baidu/

好搜指数：http://index.so/#index

搜狗指数：http://zhishu.sogou/

百度预测：http://trends.baidu/

07

在线调查工具

腾讯问卷调查：http://wj.qq/

麦客：http://mikecrm/

ICTR：http://cn2.ictr/

问道网：http://askform/

问卷星：http://sojump/

调查派：http://diaochapai/

问卷网：http://wenjuan/

SurveyMonkey：https://zh.surveymonkey/

08

网站分析监测工具

H5传播分析工具：http://chuanbo.datastory/

百度统计：http://tongji.baidu/web/welcome/login

腾讯云分析：http://mta.qq/

51.la：http://51.la/

09

社交媒体监测工具

孔明社会化媒体管理：http://kmsocial/

企业微博管理中心：http://e.weibo/

知乎用户深度分析：http://kanzhihu/useranalysis

10

其他数据网站

媒体微博排行榜：http://v6.bang.weibo/xmt

友盟：http://umeng/

中国新闻地图：http://vis.360/open/cnnews/

中国票房榜：http://cbooo/

收视率排行：http://tvtv.hk/archives/category/tv

农业大数据云平台：http://dataagri/agriculture/gis.action

房价指数：http://industry.fang/data/datacenter.aspx

中国统计局：http://data.stats.gov/

中国主要城市拥堵排名：http://report.amap/traffic/

中国综合社会调查：http://chinagss.org/

中国P2P网贷指数：http://p2p001/wdzs/wdzs_p2pline.html

Alexa：http://alexa/

易车汽车指数：http://index.bitauto/

旅游预测：http://trends.baidu/tour/

以上就是给大家推荐的一些用于数据分析的“必备神器”，其中很多工具是亲测过认为非常强大的，希望大家能从中找到对自己有帮助的工具。