如何实现大数据分析

最近工作比较忙，也忙着优化数据，来不及发文章，很抱歉。

另一方面，这里的限制太多，严重打击积极性，呵呵~~

上期改变大底方法后，有效果，但没有发，今期补上，试试效果。

上期发到云空间的测试数据，数据是蛮好的，可惜最终排序不好，成绩一般。

已经想到提高前面几码直接命中的办法了，

希望能高20%，最终是否有效，还是要经过验证才能确定。

今期加入了5-6胆的验证技术，复杂了很多，要十个小时左右才计算完，

如果有效果，以后只挑选前面比较高分的1/3数据来计算，才能赶得及，

已经上传到云空间了，欢迎大家一起进行验证。

最后是上传数据的部分截图，是5胆拖5码的数据，这样比较节省，有效果也可以考虑5胆拖28码的方式。

前面部分，已经送个朋友做测试了。

祝大家好运气！

大数据分析之描述型分析：发生了什么——这是最常见的分析方法。在业务中，这种方法向大数据分析师提供了重要指标和业务的衡量方法。例如每月的营收和损失账单。大数据分析师可以通过这些账单，获取大量的客户大数据。了解客户的地理信息，就是“描述型分析”方法之一。利用可视化工具，能够有效的增强描述型分析所提供的信息。

大数据分析之诊断型分析：为什么会发生——描述性大数据分析的下一步就是诊断型大数据分析。通过评估描述型大数据，诊断分析工具能够让大数据分析师深入地分析大数据，钻取到大数据的核心。良好设计的数据分析能够整合：按照时间序列进行大数据读入、特征过滤和钻取大数据等功能，以便更好的分析大数据。

大数据分析之预测型分析：可能发生什么——预测型分析主要用于进行预测。事件未来发生的可能性、预测一个可量化的值，或者是预估事情发生的时间点，这些都可以通过预测模型来完成。预测模型通常会使用各种可变大数据来实现预测。大数据成员的多样化与预测结果密切相关。在充满不确定性的环境下，预测能够帮助做出更好的决定。预测模型也是很多领域正在使用的重要方法。

大数据分析之指令型分析：需要做什么——大数据价值和复杂度分析的下一步就是指令型分析。指令模型基于对“发生了什么”、“为什么会发生”和“可能发生什么”的分析，来帮助用户决定应该采取什么措施。通常情况下，指令型分析不是单独使用的方法，而是前面的所有方法都完成之后，最后需要完成的分析方法。例如交通规划分析考量了每条路线的距离、每条线路的行驶速度、以及目前的交通管制等方面因素，来帮助选择最好的回家路线。

在诸业求创新的当下，通过技术手段颠覆传统，实现更多元化的业态创新是人所共求的期望。而今，大数据技术已能够运用到生活的更多层面，其中也包括发现新的市场机会。以下比利时联合银行的例子很值得剖析。

对银行来说，找到那些需要资金支持的企业很重要，但是该怎么找到它们呢？比利时联合银行建立了一个“智能”社区平台，然后邀请本地居民在这个平台上写上自己家的邮政编码，说明自己感觉生活中有哪些地方不方便，周围缺少哪些行业。然后比利时联合银行就会将这些信息收集起来，通过数据分析之后，他们会告诉那些想创业的创业者，哪里的居民最缺什么服务，应该在哪里建公司。同时，银行还会在网站上公布那些设想中企业的详细情况，而本地居民对这些设想回应得也非常快。

那么，这种方式效果怎么样呢？书里说，几乎在突然之间，比利时所有的报纸、电视台和广播电台都在说，比利时的社区商店实在太少了。通过这个“智能”平台，超过17万个商业机会得到居民的确认，平均每个村庄或城镇就有500多个。同时还有近1500个新的商业点子出现，而这个地区的居民不过才700万。现在，对那些想创业的人来说，这个网站已经成了特别有价值的数据库和交流论坛。书里也预测说，未来的创新一定会越来越依赖数据驱动。

如果说上一案例说明大数据技术对传统业态的变革在于开辟新的细分领域，那么对于新科技的代表人工智能而言，大数据同样是其发展的重要基建之一。“创新工场”李开复就曾公开表示，要想发展人工智能，必须拥有完备的大数据条件：第一是海量的大数据，至少是千万级别以上的数据；第二是这些数据需要标注，这里的标注指的是数据背后投射的意义，比如人们的出行习惯是滴滴数据的标注，饮食习惯是美团数据的标注。由此可见，大数据对于新技术发展的意义举足轻重。

大数据处理信息服务商金盛网聚WJFabric认为，毋容置疑的是，人工智能作为一门新兴的技术，即将迎来其快速发展的窗口期。在这个背景下，今天人工智能要通过颠覆式创新改变世界需要有三个要素：第一是要有核心技术，能否具备推理学习的能力；第二要有行业大数据，而且数据要不断迭代。没有大数据是很难的事情，就像一个很聪明的小孩，如果没学过专业知识，肯定成不了专家；第三是应用，今年人工智能不再讲概念了，而是要应用落地，这才是硬道理。由此可见，作为重要基建之一的大数据，在实现人工智能全面发展的进程中所起到的重要作用不言而喻。

一般的大数据平台从平台搭建到数据分析大概包括以下几个步骤：

1、Linux系统安装

一般使用开源版的Redhat系统--CentOS作为底层平台。为了提供稳定的硬件基础，在给硬盘做RAID和挂载数据存储节点的时，需要按情况配置。比如，可以选择给HDFS的namenode做RAID2以提高其稳定性，将数据存储与操作系统分别放置在不同硬盘上，以确保操作系统的正常运行。

2、分布式计算平台/组件安装

当前分布式系统的大多使用的是Hadoop系列开源系统。Hadoop的核心是HDFS，一个分布式的文件系统。在其基础上常用的组件有Yarn、Zookeeper、Hive、Hbase、Sqoop、Impala、ElasticSearch、Spark等。

使用开源组件的优点：1）使用者众多，很多bug可以在网上找的答案（这往往是开发中最耗时的地方）；2）开源组件一般免费，学习和维护相对方便；3）开源组件一般会持续更新；4）因为代码开源，如果出现bug可自由对源码作修改维护。

常用的分布式数据数据仓库有Hive、Hbase。Hive可以用SQL查询，Hbase可以快速读取行。外部数据库导入导出需要用到Sqoop。Sqoop将数据从Oracle、MySQL等传统数据库导入Hive或Hbase。Zookeeper是提供数据同步服务， Impala是对hive的一个补充，可以实现高效的SQL查询

3、数据导入

前面提到，数据导入的工具是Sqoop。它可以将数据从文件或者传统数据库导入到分布式平台。

4、数据分析

数据分析一般包括两个阶段：数据预处理和数据建模分析。

数据预处理是为后面的建模分析做准备，主要工作时从海量数据中提取可用特征，建立大宽表。这个过程可能会用到Hive SQL，Spark QL和Impala。

数据建模分析是针对预处理提取的特征/数据建模，得到想要的结果。如前面所提到的，这一块最好用的是Spark。常用的机器学习算法，如朴素贝叶斯、逻辑回归、决策树、神经网络、TFIDF、协同过滤等，都已经在ML lib里面，调用比较方便。

5、结果可视化及输出API

可视化一般式对结果或部分原始数据做展示。一般有两种情况，行数据展示，和列查找展示。

以上就简单介绍这么多，如果有小伙伴想了解和学习更多的大数据技术，可以私信小编索要资料