大数据行业发展如火如荼，国家政策利好，互联网大佬纷纷在大数据行业布局，我们想让自己的职业生涯在一个朝阳行业发展，肯定又要学习相关技术，让自己与时俱进，但是难就难在大数据是一个新兴事物，目前我国大学的专业里面还鲜少有这个专业，国家刚批的大数据专业，全国目前35个高校，但是从17年开始招生，2021年才有第一批毕业生进入职场，在四年期间，是大数据行业发展的飞速时期，没有行业发展是等着人才进入的，而是需要要虚位以待、蓄势待发，所以在没有高等教育准备好的大数据教育，如何高效的学习大数据，如何快速的与行业发展想契合，那么需要我们成为第一个吃螃蟹的人，作为一个随着大数据行业成长的职业人，首先要知道大数据是个啥？

大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

那来帮大家分析下：如何高效的学习大数据。

经常有初学者会问，自己想往大数据方向发展，该学哪些技术，学习路线是什么样的，觉得大数据很火，就业很好，薪资很高……首先，如果你确定了想往这个方面发展，先考虑自己的过去从业经历、专业、兴趣是什么。计算机专业——操作系统、硬件、网络、服务器？软件专业——软件开发、编程、写代码？还是数学、统计学专业——对数据和数字特别感兴趣？

那么你能找师傅带吗？

但凡有这种想法的人，或多或少都会存有侥幸之心，或者叫做“天真，单纯”。希望不花一分钱，就能更快速的学到更优质，更实用的技能。

关于这一点，我只想反问一句你：“如果你是大师，你凭什么愿意带我？”

其实这就是想告诉你大数据的三个发展方向，平台搭建/优化/运维/监控、大数据开发/设计/架构、数据分析/挖掘。

先说一下大数据的4V特征：

数据量大，TB->PB

数据类型繁多，结构化、非结构化文本、日志、视频、图片、地理位置等；

商业价值高，但是这种价值需要在海量数据之上，通过数据分析与机器学习更快速的挖掘出来；

处理时效性高，海量数据的处理需求不再局限在离线计算当中。

现如今，正式为了应对大数据的这几个特点，开源的大数据框架越来越多，越来越强，先列举一些常见的：

文件存储：Hadoop HDFS、Tachyon、KFS

离线计算：Hadoop MapReduce、Spark

流式、实时计算：Storm、Spark Streaming、S4、Heron

K-V、NOSQL数据库：HBase、Redis、MongoDB

资源管理：YARN、Mesos

日志收集：Flume、Scribe、Logstash、Kibana

消息系统：Kafka、StormMQ、ZeroMQ、RabbitMQ

查询分析：Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill、Flink、Kylin、Druid

分布式协调服务：Zookeeper

集群管理与监控：Ambari、Ganglia、Nagios、Cloudera Manager

数据挖掘、机器学习：Mahout、Spark MLLib

数据同步：Sqoop

任务调度：Oozie

······

第一步：初识Hadoop

1.1 学会百度与Google

不论遇到什么问题，先试试搜索并自己解决。

Google首选，翻不过去的，就用百度吧。

1.2 参考资料首选官方文档

特别是对于入门来说，官方文档永远是首选文档。

相信搞这块的大多是文化人，英文凑合就行，实在看不下去的，请参考第一步。

1.3 先让Hadoop跑起来

Hadoop可以算是大数据存储和计算的开山鼻祖，现在大多开源的大数据框架都依赖Hadoop或者与它能很好的兼容。

关于Hadoop,你至少需要搞清楚以下是什么：

· Hadoop 1.0、Hadoop 2.0

· MapReduce、HDFS

· NameNode、DataNode

· JobTracker、TaskTracker

· Yarn、ResourceManager、NodeManager

自己搭建Hadoop，请使用第一步和第二步，能让它跑起来就行。

建议先使用安装包命令行安装，不要使用管理工具安装。

另外：Hadoop1.0知道它就行了，现在都用Hadoop 2.0.

1.4 尝试使用Hadoop

· HDFS目录操作命令；

· 上传、下载文件命令；

· 提交运行MapReduce示例程序；

· 打开Hadoop WEB界面，查看Job运行状态，查看Job运行日志。

· 知道Hadoop的系统日志在哪里。

1.5了解它们的原理

MapReduce：如何分而治之；

HDFS：数据到底在哪里，什么是副本；

Yarn到底是什么，它能干什么；

NameNode到底在干些什么；

ResourceManager到底在干些什么；

1.6 自己写一个MapReduce程序

仿照WordCount例子，自己写一个（照抄也行）WordCount程序，

打包并提交到Hadoop运行。

不会Java的话，Shell、Python都可以，有个东西叫Hadoop Streaming。

如果能认真完成了以上几步，恭喜你，你的一只脚已经进来了。

第二步：更高效的WordCount

2.1 学点SQL吧

如果不懂数据库的童鞋先学习使用SQL句。

2.2 SQL版WordCount

在1.6中，你写（或者抄）的WordCount一共有几行代码？

如果用SQL的话：

SELECT word,COUNT(1) FROM wordcount GROUP BY word;

这便是SQL的魅力，编程需要几十行，甚至上百行代码，SQL一句就搞定；使用SQL处理分析Hadoop上的数据，方便、高效、易上手、更是趋势。不论是离线计算还是实时计算，越来越多的大数据处理框架都在积极提供SQL接口。

2.3 安装配置Hive

Hive算是数据仓库工具，安装不难，网上有很多教程，配置完成后，可以正常进入Hive命令行。

2.4 试试使用Hive

尝试在Hive中创建wordcount表，并运行2.2中的SQL语句。在Hadoop WEB界面中找到刚才运行的SQL任务。看SQL查询结果是否和1.4中MapReduce中的结果一致。

明明写的是SQL，为什么Hadoop WEB界面中看到的是MapReduce任务？

2.5 学会Hive的基本命令

创建、删除表；加载数据到表；下载Hive表的数据；并学习更多关于Hive的语法和命令。

0和Hadoop2.0的区别

MapReduce的原理（还是那个经典的题目，一个10G大小的文件，给定1G大小的内存，如何使用Java程序统计出现次数最多的10个单词及次数）；

HDFS读写数据的流程；向HDFS中PUT数据；从HDFS中下载数据；

自己会写简单的MapReduce程序，运行出现问题，知道在哪里查看日志；

会写简单的SELECT、WHERE、GROUP BY等SQL语句；

Hive SQL转换成MapReduce的大致流程；

Hive中常见的语句：创建表、删除表、往表中加载数据、分区、将表中数据下载到本地；

从上面的学习，你已经了解到，HDFS是Hadoop提供的分布式存储框架，它可以用来存储海量数据，MapReduce是Hadoop提供的分布式计算框架，它可以用来统计和分析HDFS上的海量数据，而Hive则是SQL On Hadoop，Hive提供了SQL接口，开发人员只需要编写简单易上手的SQL语句，Hive负责把SQL翻译成MapReduce，提交运行。

第三步：把别处的数据搞到Hadoop上

此处也可以叫做数据采集，把各个数据源的数据采集到Hadoop上。

3.1 HDFS PUT命令

put命令在实际环境中也比较常用，通常配合shell、python等脚本语言来使用。建议需熟练掌握。

3.2 HDFS API

HDFS提供了写数据的API，自己用编程语言将数据写入HDFS，put命令本身也是使用API。

实际环境中一般自己较少编写程序使用API来写数据到HDFS，通常都是使用其他框架封装好的方法。比如：Hive中的INSERT语句，Spark中的saveAsTextfile等。

可以尝试了解原理，试着写几个Demo。

3.3 Sqoop

Sqoop是一个主要用于Hadoop/Hive与传统关系型数据库Oracle/MySQL/SQLServer等之间进行数据交换的开源框架。

就像Hive把SQL翻译成MapReduce一样，Sqoop把你指定的参数翻译成MapReduce，提交到Hadoop运行，完成Hadoop与其他数据库之间的数据交换。

自己下载和配置Sqoop（建议先使用Sqoop1，Sqoop2比较复杂）。

了解Sqoop常用的配置参数和方法。

使用Sqoop完成从MySQL同步数据到HDFS；

使用Sqoop完成从MySQL同步数据到Hive表；

PS：如果后续选型确定使用Sqoop作为数据交换工具，那么建议熟练掌握，否则，了解和会用Demo即可。

3.4 Flume

Flume是一个分布式的海量日志采集和传输框架，因为“采集和传输框架”，所以它并不适合关系型数据库的数据采集和传输。Flume可以实时的从网络协议、消息系统、文件系统采集日志，并传输到HDFS上。因此，如果你的业务有这些数据源的数据，并且需要实时的采集，那么就应该考虑使用Flume。

下载和配置Flume。使用Flume监控一个不断追加数据的文件，并将数据传输到HDFS；

PS：Flume的配置和使用较为复杂，如果你没有足够的兴趣和耐心，可以先跳过Flume。

3.5 阿里开源的DataX

之所以介绍这个，是因为以前某公司客户目前使用的Hadoop与关系型数据库数据交换的工具，就是之前基于DataX开发的，个人感觉非常好用。现在DataX已经是3.0版本，支持很多数据源。你也可以在其之上做二次开发。

PS：有兴趣的可以研究和使用一下，对比一下它与Sqoop。

至此，你的“大数据平台”应该是这样的：

第四步：把Hadoop上的数据搞到别处去

前面介绍了如何把数据源的数据采集到Hadoop上，数据到Hadoop上之后，便可以使用Hive和MapReduce进行分析了。那么接下来的问题是，分析完的结果如何从Hadoop上同步到其他系统和应用中去呢？

其实此处的方法和第三步基本一致的。

4.1 HDFS GET命令

把HDFS上的文件GET到本地。需要熟练掌握。

4.2 HDFS API

原理同3.2。

4.3 Sqoop

原理同3.3。

使用Sqoop完成将HDFS上的文件同步到MySQL；

使用Sqoop完成将Hive表中的数据同步到MySQL；

4.4 DataX

原理同3.4

此时，“你的大数据平台”应该是这样的：

走完第三步和第四步的流程，那么你应该已经具备以下技能和知识点：

· 知道如何把已有的数据采集到HDFS上，包括离线采集和实时采集；

· 知道sqoop（或者还有DataX）是HDFS和其他数据源之间的数据交换工具；

· 知道flume可以用作实时的日志采集；

至此，对于大数据平台，应该已经掌握如何搭建Hadoop集群，把数据采集到Hadoop上，使用Hive和MapReduce来分析数据，把分析结果同步到其他数据源。

接下来的问题就是，Hive使用的越来越多，你会发现很多不愉快的地方，特别是速度慢，

大多情况下，明明我的数据量很小，它都要申请资源，启动MapReduce来执行。

第五步：快一点吧，我的SQL

其实大家都已经发现Hive后台使用MapReduce作为执行引擎，实在是有点慢。因此SQL On Hadoop的框架越来越多，按我的了解，最常用的按照流行度依次为SparkSQL、Impala和Presto.这三种框架基于半内存或者全内存，提供了SQL接口来快速查询分析Hadoop上的数据。

目前我们的方案使用的是SparkSQL，至于为什么用SparkSQL，原因大概如下：

· 使用Spark还做了其他事情，不想引入过多的框架；

· Impala对内存的需求太大，没有过多资源部署；

5.1 关于Spark和SparkSQL

什么是Spark，什么是SparkSQL。

Spark有的核心概念及名词解释。

SparkSQL和Spark是什么关系，SparkSQL和Hive是什么关系。

5.2 如何部署和运行SparkSQL

Spark有哪些部署模式？

如何在Yarn上运行SparkSQL？

使用SparkSQL查询Hive中的表。

PS:Spark不是一门短时间内就能掌握的技术，因此建议在了解了Spark之后，可以先从SparkSQL入手，循序渐进。

第六步：一夫多妻制

其实我想说的是数据的一次采集、多次消费。

在实际业务场景下，特别是对于一些监控日志，想即时的从日志中了解一些指标（关于实时计算，后面步节会有介绍），这时候，从HDFS上分析就太慢了，尽管是通过Flume采集的，但Flume也不能间隔很短就往HDFS上滚动文件，这样会导致小文件特别多。

为了满足数据的一次采集、多次消费的需求，这里要说的便是Kafka。

6.1 关于Kafka

Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。

6.2 如何部署和使用Kafka

使用单机部署Kafka，并成功运行自带的生产者和消费者例子。

使用Java程序自己编写并运行生产者和消费者程序。

Flume和Kafka的集成，使用Flume监控日志，并将日志数据实时发送至Kafka。

至此，“大数据平台”应该扩充成这样：

这时，使用Flume采集的数据，不是直接到HDFS上，而是先到Kafka，Kafka中的数据可以由多个消费者同时消费，其中一个消费者，就是将数据同步到HDFS。

总结：

为什么Spark比MapReduce快。

使用SparkSQL代替Hive，更快的运行SQL。

使用Kafka完成数据的一次收集，多次消费架构。

自己可以写程序完成Kafka的生产者和消费者。

前面的学习已经掌握了大数据平台中的数据采集、数据存储和计算、数据交换等大部分技能，而这其中的每一步，都需要一个任务（程序）来完成，各个任务�...

大数据是所涉及的数据量规模巨大到无法通过人工，在合理时间内截取、管理、处理、并整理成为人类所能解读的信息。

大数据时代的到来，在商业、经济、医学及其他领域中，决策将日益基于数据和分析而作出，而并非基于经验和直觉。

医疗领域的大数据是指因为临床或者可以需要收集起来的有关健康或者诊疗的信息。其产生来源于日常诊疗过程，其中的数据都是未加修饰的纯天然数据，没有任何排除纳入标准，是一种普查数据。能直接反应临床疗效。

医疗大数据包括电子病历系统、慢性病及传染病注册登记系统、医疗保险信息系统、出生死亡登记系统等等。对于临床医生最关键的是电子病历系统，该系统包括了人口学特征（性别、年龄）、实验室检查、微生物检测、医嘱、诊疗操作、手术资料和临床转归等信息。

临床研究大体分为干预性研究和观察性研究。

干预性研究，又称随机对照临床试验（RCT），需要主动的、有目的地对受试者进行试验干预，一般有严格的纳入排除标准，采用随机化的方法来最大程度地消除混杂因素的干扰。

目前临床科研面临的困境：RCT与观察性研究两者差别较大，两者干预效应不一致。RCT得出的是一种生物学疗效，这反应了干预手段在严格的实验条件下的生物学作用。这种作用可能很弱或者实际的临床中无法发挥出来，生物学效应不能转化成临床疗效。

但基于大数据的临床研究（BCT）在未来可能成为一种研究的主流方式与RCT形成互补。

大数据的临床研究（BCT）其实属于观察性研究，因此必然存在观察性的缺陷，例如存在较多偏绮、混杂因素难以控制、基线资料不均衡等。如果分析了存在偏绮的数据，得出的结论有可能被夸大，目前尚不存在一种万能的统计学解决方案，但视乎可以通过采用随机效应模型或者bootstrap抽样法在一定程度上提高预测模型的准确度。

如何利用大数据进行临床研究：以MIMIC-II数据库为例

（1）、MIMIC-II数据库全称为重症监护多参数智能检测数据库II。该数据库是对公众开放的免费数据库，主要用于重症医学的各种临床研究。该数据库包含的信息来自于美国波士顿beth israel deaconess medical center。该数据库是不断更新的，已经收集了3万多ICU患者的住院信息。该数据库信息由人口学特征、实验室检查、液体及药物医嘱、病历信息、心电监护、呼吸波形监护、血压、血氧饱和度和护理记录。

（2）、MIMIC-II数据库使用步骤：访问网站physionte.org/mimic2/MIMIC-II --注册账号--通过伦理考试--提交申请--下载数据库--安装虚拟机（linux系统、sql语言）--进行临床研究--选择统计方法--对研究结论进行解释--发表论文。

运用大数据可以进行以下几种类型的研究。

如何凝练出实际可行的临床研究问题，有两种主要方式：

（1）、从数据中找灵感。

（2）、从要研究的内容去找数据。

数据提取之后，选用你熟悉常用统计软件（SAS,STATA,SPSS,R语言）对数据进行分析，以STATA为例对数据进行调研和分析。

使用STATA进行大数据分析时主要包括两个部分，数据处理和统计分析。

数据处理包括：

（1）、数变量的产生，比如希望把年龄变量转化成二分类变量；

（2）、数据核查，比如采用sum模块查看是否存在一些不合逻辑的错误值；

（3）、变量类型的调整，比如有些字符变量转化成数据变量；

（4）、数据库合并，患者的不同信息往往是存储在不同的关联表格中，需要合并，可以使用stata的merge或append命令执行。统计分析在数据处理的基础上进行，一个完好的数据处理前期准备是进行可靠统计分析的基础。

（5）、采用do-file方式进行数据统计可以完整记录数据分析的全过程，这样文章修回或发现统计结果错误的时候可以随时查看调用的命令。

下图是完整的大数据分析流程图

问答环节

1、目前各种指南以及高级别循证医学证据是怎么来的？

答：参考随机对照临床试验及相关的荟萃分析。

2、目前为什么生物学疗效不能转化为临床疗效？

答：（1）、RCT条件下干预措施执行比较严格，其中包括纳入的人群（没有大量的合并症和并发症，是所谓的单病种，这就剔除了大量的混杂因素）。

（2）、RCT有严格的治疗时机，而现实中繁忙的临床工作可能会延误给药时机。

（3）、RCT一般都在大医院进行，其结果无法推广到中小医院。

（4）、RCT只是对20%的患者进行研究，不能把这样的结论去治疗其余80%的患者。

（5）、观察性研究存在选择偏绮、混杂因素难以控制、基线资料不均衡等各种缺点。

数据挖掘是指在大量的数据中挖掘出信息，通过认真分析来揭示数据之间有意义的联系、趋势和模式。而数据挖掘技术就是指为了完成数据挖掘任务所需要的全部技术。金融、零售等企业已广泛采用数据挖掘技术，分析用户的可信度和购物偏好等。大数据研究采用数据挖掘技术，但是数据挖掘中的短期行为较多，多数是为某个具体问题研究应用技术，还无统一的理论。传统的数据挖掘技术在数据维度和规模增大时，所需资源呈现指数级增长，所以对PB级以上的大数据还需研究新的方法。

数据挖掘概述

数据挖掘是近年来伴随数据库系统的大量建立和万维网的广泛应用而发展起来的一门技术。数据挖掘是交叉性学科，它是数据库技术、机器学习、统计学、人工智能、可视化分析、模式识别等多门学科的融合，如下图所示。

数据挖掘的几个概念

数据挖掘

数据挖掘是指从大量的、不完全的、有噪声的、模糊的、随机的实际数据中，提取隐含其内的、人们实现所不知的，但又是有潜在价值的信息和知识的过程。几点说明如下。

数据挖掘涉及数据融合、数据分析和决策支持等内容。数据源必须是真实的、大量的、含有噪声的、用户感兴趣的数据。发现的知识要可接受、可理解、可运用，并不要求发现放之四海而皆准的知识，仅支持特定的问题。数据是知识的源泉，将概念、规则、模式、规律和约束等视为知识，这就好像从矿石中采矿或淘金一样，从数据中获取知识。原始数据可以是结构化数据，如关系型数据库中的数据等，也可以是非结构化数据，如文本、图形和图像等，还可以是半结构化数据，如网页等。挖掘知识的方法可以是数学的方法，也可以是非数学的方法；可以是演绎的方法，也可以是归纳的方法。挖掘的知识具有应用的价值，可以用于信息管理、查询优化、决策支持和过程控制等，还可以用于数据自身的维护。数据挖掘是一门交叉学科，将人们对数据的应用从低层次的简单查询，提升到从数据中挖掘知识，提供决策支持。在需求推动下，不同领域的研究者，尤其是数据库技术、人工智能技术、数理统计、可视化技术、并行计算等方面的知识融合后，形成新的研究热点。

数据的挖掘首先是搜集数据，数据越丰富越好，数据量越大越好，只有获得足够的高质量的数据，才能获得确定的判断，才能产生认知模型，这是量变到质变的过程。由此产生经验，经验的积累就能产生有价值的判断。认知模型是渐进发展的模型，当认识深入以后，将长生更加抽象的模型与许多猜想，通过猜想再扩展模型，从而达到深度学习和深度挖掘。

2. 数据挖掘分类

数据挖掘可以分为两类：直接数据挖掘和间接数据挖掘。

（1）直接数据挖掘

直接数据挖掘的目标是利用可用的数据建立一个模型，利用这个模型对剩余的数据，对一个特定的变量（可以理解成数据库中标的属性，即列）进行描述。分类、估值、预测属于直接数据挖掘。

（2）间接数据挖掘

间接数据挖掘目标中没有选出某一具体的变量，用模型进行描述，而是在所有的变量中建立起某种关系。相关性分组或关联规则、聚类、描述和可视化以及复杂数据类型挖掘。

3. 数据挖掘技术

数据挖掘技术是数据挖掘方法的集合，数据挖掘方法众多。根据挖掘任务可将数据挖掘技术分为预测模型发现、聚类分析、分类与回归、关联分析、序列模式发现、依赖关系或依赖模型发现、异常和趋势发现、离群点检测等。根据挖掘对象可分为关系数据库、面向对象数据库、空间数据库、时态数据库、文本数据源、多媒体数据库、异质数据库、遗产数据库以及环球网Web。根据挖掘方法可分为机器学习方法、统计方法、神经网络方法和数据库方法。机器学习方法中，可细分为归纳学习方法（决策树、规则归纳等）、基于范例学习、遗传算法等。统计方法中，可细分为回归分析（多元回归、自回归等）、判别分析（贝叶斯判别、费歇尔判别和非参数判别等）、聚类分析（系统聚类、动态聚类等）、探索性分析（主元分析法、相关分析法等）等。神经网络方法中，可细分为前向神经网络（BP算法等）、自组织神经网络（自组织特征映射、竞争学习等）等。数据库方法主要是多维数据分析或OLAP方法，另外还有面向属性的归纳方法。

数据挖掘应用了来自其他一些领域的思想与算法，主要包括：

统计学的抽样、估计和假设检验。人工智能、模式识别和机器学习的搜索算法、建模技术和学习理论。最优化、进化计算、信息论、信号处理、可视化和信息检索。

其他一些领域的技术也起到重要的支撑作用，需要数据库系统提供有效的存储、索引和查询处理支持。高性能计算技术、并行计算技术、分布式技术也能帮助处理数据，当数据不能集中到一起处理时更是至关重要。

据教育部数据统计，2018年考研报考人数达到238万，较2017年的201万增长了18.4%。

考研人数日益增多，聚英考研网小编提醒大家应该做好充分的准备，为成功考上研加大筹码，那么还有哪些数据是我们应该了解的呢，下面带大家一起来看看！

一、研究生报考集中在北京，江苏，上海等教育资源丰富地区

据中国教育在线研究生信息采集系统数据显示(43万人次)，近22%的比例考生选择报考北京地区高校，其次为江苏8.8%，上海7.2%，天津5.4%，湖北5.3%，广东5.2%。多数集中在名校资源丰富，经济发展水平较高的地区。

二、研究生计划报考专业

数据显示，在研究生报考前10的专业中，经济管理类占比60%，报名最多的前两位均为专业硕士，理工类专业仅占10%。

三、计划报考专业型硕士研究生占比四成

数据显示，60%的考生计划报考学术型研究生，40%的考生计划报考专业型研究生。但从2017年的考研的人数来看，专硕已经突破了学硕，比例占到52%。

随着在职研究生列入统考，专硕比例还在继续扩大中，因为很多学硕专业招生人数非常得少，甚至有可能不招，也有可能主要招推免生，而不招统考生。预计到2020年，专业硕士的招生人数和学术硕士的招生人数比例可能是7：3。

四、超八成高校认可调剂考生

与一些热门报考专业相对应，在一些高校出现了部分专业"零报考"的情况，导致这些专业最终招生计划需要调剂来完成。另外一组针对调剂生源的调查显示，有80.3%高校曾表示，考研录取的"调剂生源"整体水平与第一志愿报考学生区别不大。

针对考研人群考后调查，因分数不理想而选择调剂的人数占比达到46.3%，选择继续再战的比例为26.9%，放弃考研选择就业的占比26.8%。

五、近八成考生就读院校非985、211高校

数据显示，在考生就读大学性质中，77%的人就读院校为非985/211高校。

看了以上的数据，大家有没有对考研的整体形势更加了解了呢，希望每位同学都能用心准备，做出最适合自己的复习规划，实现最终的目标！

如果有什么看法或者意见欢迎留言讨论，有什么想了解的考研资讯也欢迎反馈，小编看到后会根据实际情况整理出相关的考研资讯供大家参考。

如今，大数据日益成为研究行业的重要研究目标。面对其高数据量、多维度与异构化的特点，以及分析方法思路的扩展，传统统计工具已经难以应对。

工欲善其事，必先利其器。众多新的软件分析工具作为深入大数据洞察研究的重要助力， 也成为数据科学家所必须掌握的知识技能。

然而，现实情况的复杂性决定了并不存在解决一切问题的终极工具。实际研究过程中，需要根据实际情况灵活选择最合适的工具(甚至多种工具组合使用)，才能更好的完成研究探索。

为此，本文针对研究人员(非技术人员)的实际情况，介绍当前大数据研究涉及的一些主要工具软件(因为相关软件众多，只介绍常用的)，并进一步阐述其应用特点和适合的场景，以便于研究人员能有的放矢的学习和使用。

-基础篇-

01 传统分析/商业统计

Excel、SPSS、SAS 这三者对于研究人员而言并不陌生。

Excel作为电子表格软件，适合简单统计(分组/求和等)需求，由于其方便好用，功能也能满足很多场景需要，所以实际成为研究人员最常用的软件工具。其缺点在于功能单一，且可处理数据规模小(这一点让很多研究人员尤为头疼)。这两年Excel在大数据方面(如地理可视化和网络关系分析)上也作出了一些增强，但应用能力有限。

SPSS(SPSS Statistics)和SAS作为商业统计软件，提供研究常用的经典统计分析(如回归、方差、因子、多变量分析等)处理。SPSS轻量、易于使用，但功能相对较少，适合常规基本统计分析

SAS功能丰富而强大(包括绘图能力)，且支持编程扩展其分析能力，适合复杂与高要求的统计性分析。

上述三个软件在面对大数据环境出现了各种不适，具体不再赘述。但这并不代表其没有使用价值。如果使用传统研究方法论分析大数据时，海量原始数据资源经过前期处理(如降维和统计汇总等)得到的中间研究结果，就很适合使用它们进行进一步研究。

02 数据挖掘

数据挖掘作为大数据应用的重要领域，在传统统计分析基础上，更强调提供机器学习的方法，关注高维空间下复杂数据关联关系和推演能力。代表是SPSS Modeler(注意不是SPSS Statistics，其前身为Clementine)

SPSS Modeler的统计功能相对有限, 主要是提供面向商业挖掘的机器学习算法(决策树、神经元网络、分类、聚类和预测等)的实现。同时，其数据预处理和结果辅助分析方面也相当方便，这一点尤其适合商业环境下的快速挖掘。不过就处理能力而言，实际感觉难以应对亿级以上的数据规模。

另一个商业软件 Matlab也能提供大量数据挖掘的算法，但其特性更关注科学与工程计算领域。而著名的开源数据挖掘软件Weka，功能较少，且数据预处理和结果分析也比较麻烦，更适合学术界或有数据预处理能力的使用者。

-中级篇-

01 通用大数据可视化分析

近两年来出现了许多面向大数据、具备可视化能力的分析工具，在商业研究领域，TableAU无疑是卓越代表。

TableAU的优势主要在于支持多种大数据源/格式，众多的可视化图表类型，加上拖拽式的使用方式，上手快，非常适合研究员使用，能够涵盖大部分分析研究的场景。不过要注意，其并不能提供经典统计和机器学习算法支持， 因此其可以替代Excel, 但不能代替统计和数据挖掘软件。另外，就实际处理速度而言，感觉面对较大数据(实例超过3000万记录)时，并没有官方介绍的那么迅速。

02 关系分析

关系分析是大数据环境下的一个新的分析热点(比如信息传播图、社交关系网等)，其本质计算的是点之间的关联关系。相关工具中，适合数据研究人员的是一些可视化的轻量桌面型工具，最常用的是Gephi。

Gephi是免费软件，擅长解决图网络分析的很多需求，其插件众多，功能强且易用。我们经常看到的各种社交关系/传播谱图, 很多都是基于其力导向图(Force directed graph)功能生成。

但由于其由java编写，限制了处理性能(感觉处理超过10万节点/边时常陷入假死)，如分析百万级节点(如微博热点传播路径)关系时，需先做平滑和剪枝处理。 而要处理更大规模(如亿级以上)的关系网络(如社交网络关系)数据，则需要专门的图关系数据库(如GraphLab/GraphX)来支撑了，其技术要求较高，此处不再介绍。

03 时空数据分析

当前很多软件(包括TableAU)都提供了时空数据的可视化分析功能。但就使用感受来看，其大都只适合较小规模(万级)的可视化展示分析，很少支持不同粒度的快速聚合探索。

如果要分析千万级以上的时空数据，比如新浪微博上亿用户发文的时间与地理分布(从省到街道多级粒度的探索)时，推荐使用 NanoCubes(http://nanocubes/)。该开源软件可在日常的办公电脑上提供对亿级时空数据的快速展示和多级实时钻取探索分析。下图是对芝加哥犯罪时间地点的分析，网站有更多的实时分析的演示例子。

04 文本/非结构化分析

基于自然语言处理(NLP)的文本分析，在非结构化内容(如互联网/社交媒体/电商评论)大数据的分析方面(甚至调研开放题结果分析)有重要用途。其应用处理涉及分词、特征抽取、情感分析、多主题模型等众多内容。

由于实现难度与领域差异，当前市面上只有一些开源函数包或者云API(如BosonNLP)提供一些基础处理功能，尚未看到适合商业研究分析中文文本的集成化工具软件(如果有谁知道烦请通知我)。在这种情况下，各商业公司(如HCR)主要依靠内部技术实力自主研发适合业务所需的分析功能。

-高级篇-

前面介绍的各种大数据分析工具，可应对的数据都在亿级以下，也以结构化数据为主。当实际面临以下要求： 亿级以上/半实时性处理/非标准化复杂需求，通常就需要借助编程(甚至借助于Hadoop/Spark等分布式计算框架)来完成相关的分析。 如果能掌握相关的编程语言能力，那研究员的分析能力将如虎添翼。

当前适合大数据处理的编程语言，包括：前面的内容介绍了面向大数据研究的不同工具软件/语言的特点和适用场景。 这些工具能够极大增强研究员在大数据环境下的分析能力，但更重要的是研究员要发挥自身对业务的深入理解，从数据结果中洞察发现有深度的结果，这才是最有价值的。

End.

来源：网络大数据

关注我的人都成为了月薪5w以上的技术大牛

有效的大数据研究方法将有助于解决企业面临的一些常见规划的挑战，特别是将投资重点与战略结合起来的规划。

　　研究方法可以帮助大数据管理者收集更好、更智能的信息。利用大数据和分析的企业，特别是在研究方法的帮助下，发现他们的盈利能力和生产率比竞争对手高出五到六个百分点。

　　企业可能认为利用大数据能够大幅提高效率，因此立即寻求采用大数据管理，但如果没有适当的研究方法，大数据成功管理所需的时间和投资可能就不会有很好的回报。许多无法从大数据中获得最大收益的公司，是因为他们缺乏关于大数据、分析和相关工具如何交互的计划。

　　在创建大数据方法时，谨慎的业务团队应该包括数据科学家，技术专家，工作人员和高级管理人员，这些角色结合他们的专业知识来制定一个全面的计划。项目启动和团队选择是研究方法成功的关键，因为它将影响企业必须做出的决定，以及这些决策如何影响最终目标，以实现更快的增长或更高的利润率。

　　一个大数据方法应该处理的领域包括选择理想的分析工具和模型，确定要集成哪些内部和外部数据，并制定一个适应数据流的目标组织结构。

　　汇总和整合数据

　　大数据可能是影响公司盈利或亏损的战略决策的生命线。特别是在当今的数字时代，许多企业都迷失在大量的数据中，难以识别相关性。由于社交媒体平台的大量涌入，其数据量特别庞大，但这些数据为企业提供了对客户数据和行为的洞察。

　　汇总数据和了解哪些数据是优先考虑的因素是建立方法学的一个重要方面，可能需要进一步投资新的数据功能。短期选择包括将问题外包给数据专家，但这种方法可能是成本高昂的，对于一些企业来说可能感觉难以承受。而在内部，企业可以通过将交易与其他数据分开来努力整合分析报告。他们也可以尝试实现数据治理，以避免在准确性和一般合规性方面的失误。

　　利用分析模型和工具

　　虽然在构建一个方法时，数据的整合是至关重要的，但是如果没有高级分析模型来帮助优化结果，并根据这些数据预测结果，那么其整合就没有多大的价值。还有一种方法需要确定模型如何创造商业价值，例如，关于客户购买历史的数据如何影响他们通过电子邮件收到的折扣类型。

　　此外，该方法应该利用分析模型来帮助解决有关数据存储的优化问题。可以从有意义的数据中分离出多余信息的模型可能会影响企业的底线，从而对生产力和结果产生巨大的影响。有助于将数据集成到日常流程和业务活动中的工具可以为许多功能提供一个易于理解的界面，从雇员计划到决策提供哪种类型的折扣。

　　行业会因核心领域的不同而有所不同。例如，一家运输公司将比静态店面更依赖GPS和天气数据，而医院则需要有关药物功效的数据。无论如何，在分析大数据时，如何与日常和长期的生产力相互作用的数据应该是最重要的。

　　方法规划的挑战

　　一个有效的大数据研究方法将有助于解决企业面临的一些常见规划挑战，特别是将投资重点与战略相结合，重点放在速度与成本之间的平衡。

　　如果一种方法能够检测异常数据段，就可以帮助研究人员进行研究和提高总体效率，帮助提醒研究人员需要人工分析的领域，以及预先存在的机器学习和自动交易数据。大数据研究方法应该准备好识别异常，并制定计划如何解决这些问题。

　　此外，涉及数据共享和有关人员数据的使用时，不负责任的大数据研究的方法可能会陷入法律和道德问题，特别是在社交网络地图中。因此，其方法应该考虑效率和生产力，同时也要注意道德问题。

　　大数据研究的道德方法论，通过相关分析工具将数据组合并整合到有组织的系统中，可以为企业提高生产力和盈利能力。

好程序员致力于移动互联网精英人才培养，开设全栈HTML5+、大数据+人工智能、JavaEE+云数据等多门课程。学员入职阿里、新浪、百度、搜狗等知名企业屡见不鲜，成就学员转行、就业，拿高薪进名企的梦想。大数据+人工智能课程1月15日开班在即，现报名免费试学30天，学费优惠5000元。

作者：CDA数据分析师

大数据分析与数据分析这几年一直都是个高频词，很多人都开始纷纷转行到这个领域，也有不少人开始跃跃欲试，想找准时机进到大数据或数据分析领域。如今大数据分析和数据分析火爆，要说时机，可谓处处都是时机，关键要明了的一点是，大数据分析和数据分析两者的根本区别在哪里，只有真正了解了，才会知晓更加适合自己的领域是大数据分析师还是数据分析师。毕竟职场如战场，时间就是生活，不容儿戏，更不容怠慢。下面我来好好告诉大家两者的本质区别到底是什么！

大数据分析：指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》 中大数据分析指不用随机分析法（抽样调查）这样的捷径，而采用所有数据进行分析处理，因此不用考虑数据的分布状态（抽样数据是需要考虑样本分布是否有偏，是否与总体一致）也不用考虑假设检验，这点也是大数据分析与一般数据分析的一个区别。

数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。

大数据分析与数据分析最核心的区别是处理的数据规模不同，由此导致两个方向从业者的技能也是不同的。在CDA人才能力标准中从理论基础、软件工具、分析方法、业务分析、可视化五个方面对数据分析师与大数据分析师进行了定义。

【数据分析师的要求】

数据分析师的理论要求：统计学、概率论和数理统计、多元统计分析、时间序列、数据挖掘。

工具要求：必要：Excel、SQL可选：SPSS MODELER、R、Python、SAS等

分析方法要求：除掌握基本数据处理及分析方法以外，还应掌握高级数据分析及数据挖掘方法（多元线性回归法，贝叶斯，神经网络，决策树，聚类分析法，关联规则，时间序列，支持向量机，集成学习等）和可视化技术。

业务分析能力：可以将业务目标转化为数据分析目标；熟悉常用算法和数据结构，熟悉企业数据库构架建设；针对不同分析主体，可以熟练的进行维度分析，能够从海量数据中搜集并提取信息；通过相关数据分析方法，结合一个或多个数据分析软件完成对海量数据的处理和分析。

结果展现能力：报告体现数据挖掘的整体流程，层层阐述信息的收集、模型的构建、结果的验证和解读，对行业进行评估，优化和决策。

【大数据分析师的要求】

理论要求：统计学、概率论和数据库、数据挖掘、JAVA基础、Linux基础。

工具要求：必要： SQL、Hadoop、HDFS、Mapreduce、Mahout、Hive、Spark可选：RHadoop、Hbase、ZooKeeper等

分析方法要求：熟练掌握hadoop集群搭建；熟悉nosql数据库的原理及特征，并会运用在相关的场景；熟练运用mahout、spark提供的进行大数据分析的数据挖掘算法，包括聚类（kmeans算法、canopy算法）、分类（贝叶斯算法、随机森林算法）、主题推荐（基于物品的推荐、基于用户的推荐）等算法的原理和使用范围。

业务分析能力：熟悉hadoop+hive+spark进行大数据分析的架构设计，并能针对不同的业务提出大数据架构的解决思路。掌握hadoop+hive+ Spark+tableau平台上Spark MLlib、SparkSQL的功能与应用场景，根据不同的数据业务需求选择合适的组件进行分析与处理。并对基于Spark框架提出的模型进行对比分析与完善。

结果展现能力：报告能体现大数据分析的优势，能清楚地阐述数据采集、大数据处理过程及最终结果的解读，同时提出模型的优化和改进之处，以利于提升大数据分析的商业价值。

综上大数据分析与数据分析的根本区别就是分析的思维与分析所用的工具不同。大家在求职或转行过程认清自己对两者的偏好和自己的兴趣所在，以及自己的能力更适合在哪个领域发挥，还有自己所在城市对两者的职业需求，综合天时地利人和三个条件，我们才能做出更理智更客观更科学的抉择。

大数据是什么？大数据处理分析的工具有哪些？不管是即将学习大数据的人亦或是转型向学大数据的人都想要了解的。

1，什么是大数据

简言之，从各种各样类型的数据中，快速获得有价值信息的能力，就是大数据技术。

2，大数据最核心的价值

大数据最核心的价值就是在于对于海量数据进行存储和分析。相比起现有的其他技术而言，大数据的“廉价、迅速、优化”这三方面的综合成本是最优的。

3，大数据处理分析的六大最好工具

一、 Apache Hadoop

Hadoop 是一个能够对大量数据进行分布式处理的软件框架。Hadoop 是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop 是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。Hadoop 还是可伸缩的，能够处理 PB 级数据。此外，Hadoop 依赖于社区服务器，因此它的成本比较低，任何人都可以使用。

Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。它主要有以下几个优点：

⒈高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。

⒉高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。

⒊高效性。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。

⒋高容错性。Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。

Hadoop带有用 Java 语言编写的框架，因此运行在 Linux 生产平台上是非常理想的。Hadoop 上的应用程序也可以使用其他语言编写，比如 C++。

二、HPCC

HPCC，High Performance Computing and Communications(高性能计算与通信)的缩写。1993年，由美国科学、工程、技术联邦协调理事会向国会提交了“重大挑战项目：高性能计算与 通信”的报告，也就是被称为HPCC计划的报告，即美国总统科学战略项目，其目的是通过加强研究与开发解决一批重要的科学与技术挑战问题。HPCC是美国 实施信息高速公路而上实施的计划，该计划的实施将耗资百亿美元，其主要目标要达到：开发可扩展的计算系统及相关软件，以支持太位级网络传输性能，开发千兆 比特网络技术，扩展研究和教育机构及网络连接能力。

该项目主要由五部分组成：

1、高性能计算机系统(HPCS)，内容包括今后几代计算机系统的研究、系统设计工具、先进的典型系统及原有系统的评价等;

2、先进软件技术与算法(ASTA)，内容有巨大挑战问题的软件支撑、新算法设计、软件分支与工具、计算计算及高性能计算研究中心等;

3、国家科研与教育网格(NREN)，内容有中接站及10亿位级传输的研究与开发;

4、基本研究与人类资源(BRHR)，内容有基础研究、培训、教育及课程教材，被设计通过奖励调查者-开始的，长期 的调查在可升级的高性能计算中来增加创新意识流，通过提高教育和高性能的计算训练和通信来加大熟练的和训练有素的人员的联营，和来提供必需的基础架构来支 持这些调查和研究活动;

5、信息基础结构技术和应用(IITA )，目的在于保证美国在先进信息技术开发方面的领先地位。

三、Storm

Storm是自由的开源软件，一个分布式的、容错的实时计算系统。Storm可以非常可靠的处理庞大的数据流，用于处理Hadoop的批量数据。 Storm很简单，支持许多种编程语言，使用起来非常有趣。Storm由Twitter开源而来，其它知名的应用企业包括Groupon、淘宝、支付宝、阿里巴巴、乐元素、Admaster等等。

Storm有许多应用领域：实时分析、在线机器学习、不停顿的计算、分布式RPC(远过程调用协议，一种通过网络从远程计算机程序上请求服务)、 ETL(Extraction-Transformation-Loading的缩写，即数据抽取、转换和加载)等等。Storm的处理速度惊人：经测 试，每个节点每秒钟可以处理100万个数据元组。Storm是可扩展、容错，很容易设置和操作。

四、Apache Drill

为了帮助企业用户寻找更为有效、加快Hadoop数据查询的方法，Apache软件基金会近日发起了一项名为“Drill”的开源项目。Apache Drill 实现了 Google's Dremel.

据Hadoop厂商MapR Technologies公司产品经理Tomer Shiran介绍，“Drill”已经作为Apache孵化器项目来运作，将面向全球软件工程师持续推广。

该项目将会创建出开源版本的谷歌Dremel Hadoop工具(谷歌使用该工具来为Hadoop数据分析工具的互联网应用提速)。而“Drill”将有助于Hadoop用户实现更快查询海量数据集的目的。

“Drill”项目其实也是从谷歌的Dremel项目中获得灵感：该项目帮助谷歌实现海量数据集的分析处理，包括分析抓取Web文档、跟踪安装在Android Market上的应用程序数据、分析垃圾邮件、分析谷歌分布式构建系统上的测试结果等等。

通过开发“Drill”Apache开源项目，组织机构将有望建立Drill所属的API接口和灵活强大的体系架构，从而帮助支持广泛的数据源、数据格式和查询语言。

五、RapidMiner

RapidMiner是世界领先的数据挖掘解决方案，在一个非常大的程度上有着先进技术。它数据挖掘任务涉及范围广泛，包括各种数据艺术，能简化数据挖掘过程的设计和评价。

功能和特点

免费提供数据挖掘技术和库

100%用Java代码(可运行在操作系统)

数据挖掘过程简单，强大和直观

内部XML保证了标准化的格式来表示交换数据挖掘过程

可以用简单脚本语言自动进行大规模进程

多层次的数据视图，确保有效和透明的数据

图形用户界面的互动原型

命令行(批处理模式)自动大规模应用

Java API(应用编程接口)

简单的插件和推广机制

强大的可视化引擎，许多尖端的高维数据的可视化建模

400多个数据挖掘运营商支持

耶鲁大学已成功地应用在许多不同的应用领域，包括文本挖掘，多媒体挖掘，功能设计，数据流挖掘，集成开发的方法和分布式数据挖掘。

六、 Pentaho BI

Pentaho BI 平台不同于传统的BI 产品，它是一个以流程为中心的，面向解决方案(Solution)的框架。其目的在于将一系列企业级BI产品、开源软件、API等等组件集成起来，方便商务智能应用的开发。它的出现，使得一系列的面向商务智能的独立产品如Jfree、Quartz等等，能够集成在一起，构成一项项复杂的、完整的商务智能解决方案。

Pentaho BI 平台，Pentaho Open BI 套件的核心架构和基础，是以流程为中心的，因为其中枢控制器是一个工作流引擎。工作流引擎使用流程定义来定义在BI 平台上执行的商业智能流程。流程可以很容易的被定制，也可以添加新的流程。BI 平台包含组件和报表，用以分析这些流程的性能。目前，Pentaho的主要组成元素包括报表生成、分析、数据挖掘和工作流管理等等。这些组件通过 J2EE、WebService、SOAP、HTTP、Java、JavaScript、Portals等技术集成到Pentaho平台中来。 Pentaho的发行，主要以Pentaho SDK的形式进行。

Pentaho SDK共包含五个部分：Pentaho平台、Pentaho示例数据库、可独立运行的Pentaho平台、Pentaho解决方案示例和一个预先配制好的 Pentaho网络服务器。其中Pentaho平台是Pentaho平台最主要的部分，囊括了Pentaho平台源代码的主体;Pentaho数据库为 Pentaho平台的正常运行提供的数据服务，包括配置信息、Solution相关的信息等等，对于Pentaho平台来说它不是必须的，通过配置是可以用其它数据库服务取代的;可独立运行的Pentaho平台是Pentaho平台的独立运行模式的示例，它演示了如何使Pentaho平台在没有应用服务器支持的情况下独立运行;Pentaho解决方案示例是一个Eclipse工程，用来演示如何为Pentaho平台开发相关的商业智能解决方案。

Pentaho BI 平台构建于服务器，引擎和组件的基础之上。这些提供了系统的J2EE 服务器，安全，portal，工作流，规则引擎，图表，协作，内容管理，数据集成，分析和建模功能。这些组件的大部分是基于标准的，可使用其他产品替换之。

4. 大数据特点

第一，数据体量巨大。从TB级别，跃升到PB级别。

第二，数据类型繁多，如前文提到的网络日志、视频、图片、地理位置信息，等等。

第三，价值密度低。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。

第四，处理速度快。1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器，无一不是数据来源或者承载的方式。

如果对于大数据还有更多的疑问，可以持续关注作者，也可以留言或者私信问题。

本文作者：郭朝晖@蝈蝈创新随笔

本文是我关于大数据分析方法的几点思考。当初的目的是系统化地看待数据分析。为了这点东西，我花了一个礼拜的时间，思考的结果却是碎片化的。看来，想清楚并不容易。由于时间关系，只能中止。文字描述很不严格、肯定经不起推敲，读者找不毛病是正常的、看不明白更是正常的。不感兴趣的可以当做胡扯。我希望将来有时间时能把问题思考下去。

从数据中发现信息和知识，是人们多年来的梦想。随着大数据理论的兴起，这个话题变得非常热门。在有些人看来，大数据非常神秘，似乎无所不能。当然，现实不会是这样。我想，研究大数据，首先要破除迷信：大数据需要什么条件、什么问题是大数据无法做到的。

1、知识和信息，只能从关联关系中得到

对象（包括过程，如生产过程、购物过程）及其属性、同一对象的属性之间具备关联关系。例如，“张三身高1.8米”就是对象（张三）与属性（身高）的关联；再如，如果我们知道张三体重75公斤，则“1.8米”和“75公斤”之间就因“张三”建立了关联。

关联的对象可能并不确定：我们看到一张履历表，即便隐去名字、不知道这个人是谁，也知道其中的各种信息是与某人关联的。

在数字化的世界里，不和其他的符号（数字）关联的符号（数字）是不包含任何信息的。从不包含信息的素材，得不到包含信息的结论。

有人可能反对这个观点：谷歌曾经用“感冒”的搜索量预报流感啊，这里哪有关联呢？其实，只有搜索“感冒”的数量是根本无法预测流感的。谷歌的做法，是把“感冒”的搜索与搜索的地点、时间联系起来。

这个观点告诉我们：收集数据的时候，要尽可能地把关联关系建立起来；没有关联关系，数据很容易成为垃圾。这种情况并不少见：有些实验室，把针对同一试样的各项实验结果分别保存起来，而没有建立统一的ID、关联关系丢失。这样的数据，再多也没有用处。

2、人们要挖掘的知识和信息，就是找映射关系

知识（或信息）的发现与挖掘，其本质是寻找映射关系：通过已知的、对象的一部分属性，把对象的另外一部分属性或对象本身找出来（或缩小范围）。产生这类问题的原因是：只有一部分属性已知、容易得到、容易识别、容易表述，而另外一部分未知、不容易得到、不容易识别、不容易描述。

例如，我们可以说：张三就是那个穿红衣服的——这里“穿红衣服”比其他特征容易识别。从衣服识别出张三，就是从张三的衣着特征（属性）找到关联对象（张三）的信息；从一个人的身高预估他的体重，就是从一个根据一类属性估计另外一类属性。

我习惯于把信息挖掘和知识发现分开。

在本文中，信息挖掘指的是预测某个特定对象的属性，如上海市的人口是多少；知识发现是确定一类对象的属性之间的关系，如一类人群中身高和体重的关系。当然，这种区分不是绝对的。

3、映射关系的差别

正确的识别，最好的办法是找到好的素材（数据）。素材与结果之间的关联强度是不一样的：有的比较强，是因果关系、必然联系；有的比较弱，是相关关系、偶然联系。

例如，我们可以根据DNA、相貌、衣服来识别一个人。但三者相比，DNA的联系是强的必然性联系、衣服是弱的偶然性联系，相貌是介于两者之间的联系。大数据的一个著名案例，是网站根据客户买的药判断她已怀孕、并推送有关产品：因为这种药只有孕妇才吃，是很强的关联。

从数据得到的知识和信息，往往不是绝对正确。一般来说，可靠的结论基于可靠的数据和可靠的分析方法。数据量大了以后，滤除干扰的可能性增大，从而可以从原来可靠度低的数据中，得到可靠性相对较高的数据。

所以，尽量找到好的素材，是做好分析的第一步。

在很多情况下，我们找不到好的素材。这时，首先要做的尽量提高数据质量。数据质量不仅是精度问题，还包括数据来源的可靠性：为此，需要把数据来源的相关过程要搞清楚，否则很可能会误导人的分析。

4、相关与因果

有些相关性的背后，一般会有因果关系存在。两个要素由因果产生关联的机制大概可以分成两类：1、两个要素具有因果的关系：比如刚做父亲的青年人常会买尿布；2、共同原因导致的两个结果之间的关系：比如孩子的父亲会常买啤酒，也常买尿布；于是，啤酒和尿布就可能关联起来。

有些相关性，看似没有因果，但背后往往有某些特殊的规律或因素其作用（上述第二种情况）。比如，女孩子往往喜欢花衣服，与基因和文化的共性有关。但这种因果关系可能相隔太远，以至于难以考证了。

当人们需要根据关系作出决策时，需要研究因果的逻辑关系：到底是谁影响了谁。否则，根据分析结构的盲目行为可能适得其反。 “到底谁影响了谁”为什么会成为问题？大概有两类原因：

第一类原因是：忽视了时间因素。如“统计结果表明，练太极拳的身体差”。现实却是：很多人身体变差（包括衰老）以后，才练太极拳。一般来说，具有因果关系的两个要素之间，时间上有前后关系：原因早前，结果在后。

第二类原因是：忽视了前导因素。“公鸡一叫，天就亮了”。现实却是，天量之前的迹象被公鸡察觉到了。两者是第二种因果关系，只是看似“原因在后、结果在前”了。

一般来说，工业大数据分析更重视因果，而商务大数据分析对因果性的要求较弱。

5、数据分析的先导因素

从某种意义上说，数据分析的过程，就是寻找强的相关关系（必然性、因果性），或对弱的相关关系进行综合、得到强的相关关系。

用数据发现信息，需要用到各种知识。例如，把“云南白药是用于治疗外伤的”放入计算机，当某人购买白药的行为判断他或家人可能受伤，从而可以推荐相关产品。但注意到：这种类型的知识很可能是被人事先装入计算机的，而不是靠计算机自动学习得到的。

所有的学习过程，本质上都是基于这样一种假设：A和B的一部分属性类似，则推测另一部分属性也应该类似。例如，A和B的身高相似，则体重也可能相似。现实中，两个属性确实具有强烈的相关性，但身高相同而体重不同的也大有人在。这时，如果我们还知道他的体型，是瘦弱、偏瘦、正常、偏胖、肥胖型，对体重的估计就可以准确一些。由此可见，用数据发现知识的过程，本质上就是提高相关性、可靠性的过程。

一般来说，人们在做数据分析之前，一定会有一定的知识积淀， 但认识不清却是一种常态；人们希望通过对数据的分析，来改变这种常态。而改变认识的过程依赖于数据的质量和分析数据的方法。所以，刨除分析方法外，分析过程依赖于两个先导性因素：1、数据质量（包含多方面的含义）如何；人们已有的认识如何。

注意，这段说法有个潜台词：强调了人类可认识的知识，而不是机器用复杂函数关系表述的、人类难以用逻辑关系认知的知识（如神经元）。的确如此，笔者一直认为：这类方法的作用被学术界有意识地夸大了。

6、数据分析的过程

与商业大数据相比，工业大数据更重视可靠性和精确性。在很多情况下，猜出一个结论并不难，难的是论证一个结论。一般来说，凡是可靠的知识，都应该能够被机理和数据双重认证。

大数据分析的一个重要特征是：传统概率理论的假设往往不成立。例如：大数定理的条件往往不成立、模型的结构往往未知、因果关系不是天然清晰、自变量的误差往往不能忽略、数据分布往往是没有规律的。所以，为了得到可靠的结果，人们工作的重点很可能是验证这些条件、构造这些条件。从某种意义上说，数据分析的过程，主要是排除干扰的过程、特别是排除系统干扰的过程。而且，如果完全依照逻辑、用纯粹数学的办法加以论证，则数据需求量会遭遇“组合爆炸”，永远是不够的。这时，已有的领域知识就是降低数据需求量的一种手段。要记住：求得可靠性是一个过程而不是结果、可能永远没有终点；分析的过程只是不断增加证据而已。这个过程，是修正人的认识的过程；所以，错误或不恰当的认识常常是分析过程中最大的干扰——这个干扰一旦去除，我们可能就发现了真正的知识。

数据量大的直接好处，是排除随机性干扰。但排除系统性干扰却不那么容易，数据量大是必要条件但不充分，需要深入的方法研究才能解决问题。

系统性的干扰往往体现在：对主体进行分组，所体现的规律是不同的。比如，身高和体重的统计关系，男女是不同的、不同民族是有差异的、可能与年龄有关。如果不进行分类研究，统计的结果就会与样本的选取有很大关系。但分类研究也会遇到一个困难：遭遇组合爆炸，数据再多都不够用。这时，“领域知识”就会发生作用：

认定一个结论成立的办法，是确认它的“可重复性”。在许多情况下，“可重复性”指的是在各种分组下都成立的结论：最好能在不同时间分组中也能成立。分组越多、分组的维度越多、结论的可靠性越高。

但具有“可重复性”的结论，往往只在一定的范围内成立。在很多情况下，“明确结论成立的范围”也是数据分析的重要内容。

如何分组、如何确定范围、如何构筑逻辑链条、数据结果的解读、数据结果与领域知识的融合，都是重要的能力。事实上，根据领域知识，常常用于构造证据链、进行有效的数据选取和分组。

在精密论证时，我们就会发现：基础数据的质量很重要。因为许多干扰就来源于数据本身。从某种意义上说，数据的采集方法和环境不同，就是不同的数据。

在构建数据分析体系的过程中，也会发现，企业经营的数据分析也确实需要一个可展示的平台，实时展示业务，有问题就优化更新。

FineReport 数据决策系统

7、关于预测数字

许多问题分析的目的得到一个数字：如钢的强度、用电量、人口数量、钢产量。这类问题的特点之一是：最终的结果是各种影响因素相加得到的。

对于这种问题，我的观点是：要想得到可靠的结果，一定要拆成若干子问题来分析。其中，各个子问题要尽可能利用规律性的结果来分析。我认为：把人的认识和数据用到极致的时候，才能得到最好的结果。随便地建立回归模型是不懂数据的表现。

如果大数据能够如此诡异地了解到我个性的方方面面，我只想问：为什么Facebook一直想让我花80元买双拖鞋？

如果大数据能够如此诡异地了解到我个性的方方面面，我只想问：为什么Facebook一直想让我花80元买双拖鞋？

我上Facebook或Instagram时几乎总会看到一则标价过高的帆布便鞋广告。我怀疑自己迄今从没买过超过25元的拖鞋，我也不太可能在马莎百货(Marks and Spencer)以外的地方买这类东西。我从来没在网上搜索过拖鞋二字，也想不出我上网时哪些举动会暗示出我喜欢“新潮”的拖鞋。（实际上，这款拖鞋有种难看的可拆户外鞋底，所以人们多半会说我是个穿拖鞋出门溜达的“中年大叔”，而不会说我“新潮”，如果我买了它的话。）

对那些数据科学天才们来说，公平地讲，Facebook并不总是给我推销天价拖鞋。有时它也向我推销天价耳塞，或购买一款正念app的机会。照说，我们应该相信，建立在数据抓取和机器学习基础上的复杂算法现在比我们最亲密的朋友还了解我们。然而，在我们公司，不用15分钟你就能了解，我这个人不太可能花80元去买拖鞋，也不会破费购买什么正念app。

这些广告还会根据浏览历史来投放。我明白为什么我在浏览过某个城市的旅游景点后会看到爱彼迎(Airbnb)的招租广告。在一个数据被认为无所不知的时代，令我困惑的是，为什么我在订完房后还能看到广告。总是如此。有谁没在网购后的六周接连不断地收到同一个商品的广告推送？去年，我们买了台电子琴送给儿子当生日礼物。几个月后，我仍会收到相同型号产品的广告。要么是数据分析师们不知道我们已经下了单，要么是他们认为我们是电音组合“宠物店男孩(Pet Shop Boys)”，一台电子琴不够使。

在我看来，这些广告不像是来自别有用心的数据天才，它们更像出自一位上了年纪的大爷之手，他记得你小时候爱吃夹心饼干，所以即使你都过完45岁生日了，他还在给你买。

很明显，还有更多原因。如果不值当的话，像Facebook和谷歌(Google)这种企业才不会做这么麻烦的事。我们必须假设，密集的数据挖掘会带来更有针对性的广告，从而为客户提供更优质的筛选结果，也会给平台带来更高的回报。

我只想提一个忠告。不管这些公司掌握了我多少数据，在有针对性地推送消息上，他们显然还得再接再厉。我每天大部分时间都耗在网上，访问那些被Facebook搜索的网站，并通过Chrome浏览器将我的一举一动反馈给谷歌。我大致的生活状况不难了解，然而，它们还在给我推送金拖鞋。我想这意味着Facebook将我界定为国际精英阶层，但更有可能的是，我被归入了“钱多人傻”一族。

定向广告的价值显而易见。给巴黎某个对麸质过敏的人推销一家伦敦的面包店毫无意义，但夸大算法的能力却符合每个人的利益。

一种合理的解释也许是，这些平台尚未将它们掌握的有关我的海量数据整合为有用的行动。目前，它们仅需胜过其它媒介，如报纸和电视。虽然它们可能还没有很好地将自身掌握的大量数据投入使用，但有理由相信它们会越来越擅长利用这些资源。这也许就是为什么如今监管机构应该认真考虑限制数据采集的规模。

还有另一种解释。也许它们非常了解我，以至于还没等我自己意识到，它们就知道我需要这些华而不实的高价货。它们知道，私下里我就是那种把脚套进80英镑的居家鞋的人。也许大数据革命就像许多人宣称的那样高深莫测，而且比我本人更了解我自己。或许我只需要屈服，它让我买啥我就买啥。噢，金拖鞋；噢，金拖鞋。