数据分析平台

一般的大数据平台从平台搭建到数据分析大概包括以下几个步骤：

1、Linux系统安装

一般使用开源版的Redhat系统--CentOS作为底层平台。为了提供稳定的硬件基础，在给硬盘做RAID和挂载数据存储节点的时，需要按情况配置。比如，可以选择给HDFS的namenode做RAID2以提高其稳定性，将数据存储与操作系统分别放置在不同硬盘上，以确保操作系统的正常运行。

2、分布式计算平台/组件安装

当前分布式系统的大多使用的是Hadoop系列开源系统。Hadoop的核心是HDFS，一个分布式的文件系统。在其基础上常用的组件有Yarn、Zookeeper、Hive、Hbase、Sqoop、Impala、ElasticSearch、Spark等。

使用开源组件的优点：1）使用者众多，很多bug可以在网上找的答案（这往往是开发中最耗时的地方）；2）开源组件一般免费，学习和维护相对方便；3）开源组件一般会持续更新；4）因为代码开源，如果出现bug可自由对源码作修改维护。

常用的分布式数据数据仓库有Hive、Hbase。Hive可以用SQL查询，Hbase可以快速读取行。外部数据库导入导出需要用到Sqoop。Sqoop将数据从Oracle、MySQL等传统数据库导入Hive或Hbase。Zookeeper是提供数据同步服务， Impala是对hive的一个补充，可以实现高效的SQL查询

3、数据导入

前面提到，数据导入的工具是Sqoop。它可以将数据从文件或者传统数据库导入到分布式平台。

4、数据分析

数据分析一般包括两个阶段：数据预处理和数据建模分析。

数据预处理是为后面的建模分析做准备，主要工作时从海量数据中提取可用特征，建立大宽表。这个过程可能会用到Hive SQL，Spark QL和Impala。

数据建模分析是针对预处理提取的特征/数据建模，得到想要的结果。如前面所提到的，这一块最好用的是Spark。常用的机器学习算法，如朴素贝叶斯、逻辑回归、决策树、神经网络、TFIDF、协同过滤等，都已经在ML lib里面，调用比较方便。

5、结果可视化及输出API

可视化一般式对结果或部分原始数据做展示。一般有两种情况，行数据展示，和列查找展示。

以上就简单介绍这么多，如果有小伙伴想了解和学习更多的大数据技术，可以私信小编索要资料

  石头在点石互动博客中发布了"搜索结果前１０名点击量分布情况"，数据来源是aol的一次意外的公布他们的搜索数据，石头的分析应该是对搜索引擎研究者们有很大的帮助，不过在我看来因为是aol国外的搜索引擎，他只能显示国外人的搜索习惯，只能说对中国的SEOER们做一个参考。

    刚好笔者有个小站有部分流量来自百度，同时与百度指数配合，总结出一点百度搜索的点击情况给大家一个参考。

关键词   排名    搜索量    点记量     点击比率(点击量/搜索量)
 A         第三名  1,204      414        34.4%

 B         第一名    451       322        71.4%

从最后的点击比率可以看出与AOL的数据还是有很大差别的，aol的数据分别是第一名23%,第三名4.6%.

      由此可以看出中美上网者的一些差别。个人感觉，美国上网者相对比较成熟，使用搜索有很强的目的性并且会直接通过简介标题甚至快照来辨别是否是自己所要的，最后才是点击，而国内的上网者会更盲目一些，搜索一个关键词之后就从第一位开始点，逐个去看最后才确定找到自己所需要的。

    同时也可以比较出BAIDU与GOOGLE的关键词广告的差别，做过竞价销售的都知道baidu的点击消耗非常的快，而google相对要慢得多，这是为什么baidu的业务增长这么快的原因。对于中国用户来说搜索结果的右侧的点击量大大的低于搜索结果正文广告。

   由于我只能看到自己的数据，可能有点片面，也欢迎各位拿出你的数据大家共同探讨。（佳伦）