大数据是以数据为原材料，利用多种技术手段，得出有价值的信息，目前，大数据市场十分火爆，在社会治理和企业管理等领域起到不容忽视的作用，很多诸如阿里巴巴、百度、谷歌等巨型企业视大数据技术为生命线和未来发展的关键筹码！

大数据拥有广阔的发展前景，必然会吸引一大批有志之士的学习，学习大数据首先要明确从事大数据工作需要掌握哪些技术？大数据学什么？

对于大数据的学习需要拥有Java基础，因此，学习大数据应从Java开始，一个完整的大数据培训课程体系，还应包括Linux、Hadoop、Hive、Avro与Protobuf、ZooKeeper、HBase、Phoenix、Flume、SSM、Kafka、Scala、Spark、azkaban、Python与数据分析等内容，只有学好以上内容，才算得上真正的大数据工程师。

大数据的学习，与其他IT技术不同，需要掌握的知识很多，且市场缺乏完整的学习资料，想要自学，十分困难，一般都是选择报班学习，在选择大数据培训班的时候，需参看一下该培训机构的大数据培训课程内容，其是否齐全的涵盖以上知识点，完整的课程是选择培训机构的先决条件！

讲一下hadoop的一些知识，对于初学者来说是个不错的参考，另外想要进入大数据圈子但是有困难有疑问的朋友，可以咨询魔据教育大数据。

关于入门：如果看书看的一头雾水的话，先从实际例子出发会比较容易上手。WordCount和Weather Data这种“Hello World”的例子网上有很多，可以复制下来自己跑一遍，基本上就知道Hadoop是个什么东西，能用来干什么了。跑这些例子都不需要一个完整的Hadoop集群，自己本地的VM上就可以完成。之所以认为这是比较好的方式，是因为Hadoop是一个工具，而不是一门学科。工具的一般用法是你有一个实际的问题需要解决（求和，求平均值之类的问题都可以，两三行数据，不需要“大数据”），然后把这个工具运用到你的问题里面，能够使用工具之后再开始研究怎么更好的更有效的使用这个工具。

关于进阶：知道是什么，能干什么之后，需要知道为什么。这很重要，这关系到你的任务是跑三个小时还是要跑三天，是需要三台服务器还是需要三十台服务器，就直接关系到最后要花三十还是花三百。进阶之前需要一点准备工作：Linux －（这对于所有Distributed System都非常重要），Java（能看得懂代码就可以了），Maven（能用就可以），Scala（optional，可以边学边用），SBT（optional，可以照着tutorial用），进阶就需要看书，前面有很多位同学推荐了各种书各种博客，都应该不错。推荐两个Hadoop The Definitive Guide最新版，写的非常好。强烈建议看英文版的，否则容易交流障碍……这本书的例子都在github上可以下载下来，都跑一跑。 Cloudera的tutorial，user guide，blog和best practice。这个比较官方和实效性。

关于深入：关于怎么深入学习Hadoop技术， Hadoop分为两个大块：HDFS和MapReduce。 HDFS － Hadoop Distributed FileSystem。这个概念很好，但是其实我不觉得很实用。但是如果你之后要往Non SQL方面深入的话这个还是很重要，HDFS是HBASE的基础，Hbase又可以延伸到Big Table，DynamoDB，Mango等。

Spark要单独提出来讲一讲，Spark其实不是Hadoop上面的应用，它也可以使用除了YARN之外的其他资源分配系统。但是Spark使用的人很多，很多任务用Spark比用Hadoop MR要快一些，Spark也比其他的应用要复杂一点。如果有兴趣还是可以从Hadoop The Definitive Guide开始，然后边做实际的例子边学习。

关于Hadoop的使用方式：感觉现在各个公司使用Hadoop的方式都不一样，主要我觉得有两种吧。第一种是long running cluster形式，比如Yahoo，不要小看这个好像已经没什么存在感的公司，Yahoo可是Hadoop的元老之一。这种就是建立一个Data Center，然后有几个上千Node的Hadoop Cluster一直在运行。

人工智能与大数据，越来越受瞩目，那在开发过程中，我们需要注意些什么？

一、你的数据未必可靠

在我们实际应用中，并不能确保我们的数据是完全可靠的。通常，都会出现各种各样的原因会来导致数据不可靠的因素：

1、用于开发的数据，会与实际情况下的数据分布有所差异。

2、你的数据集中会存在很多缺失的数据。事实上，除非是人为构造的数据集合，否则很难避免缺失数据问题的发生，如何处理数据缺失的问题是很有技巧的事情。实践中我们要么是干脆丢弃一部分残缺的数据，要么就是想办法计算一些数值去填补这些缺失值。无论哪种方法都可能导致应用结果的不稳定。

3、数据随时在变，数据库的表结构可能会变，数据定义也是可能会改变的。

4、你的数据或许没有被归一化。假设你可能在观察一组用户的体重，为了能够获得有效的结论，首先需要对每个体重的衡量单位进行归一化，是英镑还是公斤，不能混淆着用

5、你的数据可能并不适用于相应的算法。数据存在着各种各样的形式和规范，或者叫数据类型（data types），有些是数值化的数据，有些则不是。有些数据集合能被有序排列，有些则做不到。有些是离散化的数据（例如房间里的人数），另一些则是连续化的（例如气温或者气压等数据）

二、计算难以瞬间完成

完成任一人工解决方案的计算，都是需要一定的时间，也就是说方案的响应速度，对商业应用的成功起到了十分关键的作用。所以，不要天真的以为任何算法在所有数据集上都可以在规定时间内完成。

以搜索引擎为例，用户对结果返回的时长是有忍耐的限度的。如果用户等待的时间超过10秒，50%的用户会流失，如果等待时间超过1分钟，90%以上的用户会流失。在开发智能应用系统时，不能为了达到更好的算法精度而忽略系统运算和等待的时间，否则会导致整个产品的失败。

三、 数据的规模非常重要

当我们考虑智能应用时，数据规模是很重要的因素。数据规模的影响可以分为两点来考察：第一点是规模会影响应用系统的响应速度；第二点是在很大的数据集上的挖掘出有价值结果的能力会受到考验。

其次，使用更多的数据来训练的简单算法，比受制于维度诅咒（Dimension Curse）的复杂算法往往有好得多的效果。类似Google这样拥有海量数据的大型企业，优秀的应用效果不仅来自于精妙复杂的算法，也来自于其对海量训练数据的大规模分析挖掘。（达观数据 陈运文）

四、 不同的算法具有不同的扩展能力

我们不能假设智能应用系统都可以通过简单增加服务器的方法来扩展性能。有些算法是有扩展性的，而另一些则不行。

例如如果我们要从数亿的文章标题里，找出标题相似的各个组的文章，注意并不是所有的聚类算法此时都能并行化运行的，你应该在设计系统的同时就考虑可扩展性。有些情况下你需要将数据切分成较小的集合，并能够让智能算法在各个集合上并行运行。设计系统时所选择的算法，往往需要有并行化的版本，而在一开始就需要将其纳入考虑，因为通常围绕着算法还会有很多相关联的商业逻辑和体系结构需要一并考虑。

五、并不存在万能的方法

你可能听说过一句谚语“当你有了把榔头的时候，看什么东西都像钉子”，这里想表达的意思是：并不存在能够解决所有智能应用问题的万能算法。

智能应用软件和其他所有软件类似——具有其特定的应用领域和局限性。当面对新的应用领域时，一定要充分的验证原有方法的可行性，而且你最好能尝试用全新的视角来考察问题，因为不同的算法在解决特定的问题时才会更有效和得当（达观数据 陈运文）。

六、数据并不是万能的

就说机器学习，它也是需要从训练开始的，然后再逐步延伸到未知数据中。

例如若你已经对数据的分布规律有所了解，那么通过图模型来表达这些先验的知识会非常有效。除了数据以外，你还需要仔细的考虑，该领域有哪些先验知识可以应用，这对开发一个更有效的分类器会很有帮助。数据和行业经验结合往往能事半功倍。

七、模型训练的时间差异很大

在特定应用中，可能某些参数的微小变化就会让模型的训练时间出现很大的差异。例如在深度神经网络训练时就会有各种各样的参数调节的情况发生。

人们往往会直观地觉得调整参数时，训练时间是基本稳定不变的。例如假设有个系统是计算地球平面上任意两点之间的距离的，那么任意给出两个点的坐标时，计算时间差不多都是相同的。但在另一些系统里却并非如此，有时细微的调整会带来很明显的时间差异，有时差异甚至可以大到数小时，而不是数秒。

八、泛化能力是目标

机器学习实践中最普遍存在的一个误区是陷入处理细节中而忘了最初的目标——通过调查来获得处理问题的普适的方法。

测试阶段是验证某个方法是否具备泛化能力（generalization ability）的关键环节（通过交叉验证、外部数据验证等方法），但是寻找合适的验证数据集不容易。如果在一个只有几百个样本的集合上去训练有数百万维特征的模型，试图想获得优秀的精度是很荒唐的。

九、人类的直觉未必准确

在特征空间膨胀的时候，输入信息间形成的组合关系会快速增加，这让人很难像对中等数据集合那样能够对其中一部分数据进行抽样观察。更麻烦的是，特征数量增加时人类对数据的直觉会迅速降低。

例如在高维空间里，多元高斯分布并不是沿着均值分布，而是像一个扇贝形状围绕在均值附近，这和人们的主观感受完全不同。在低维空间中建立一个分类器并不难，但是当维度增加时，人类就很难直观的理解了。

十、要考虑融入更多新特征

你很可能听说过谚语“进来的是垃圾，出去的也是垃圾”（garbage in, garbage out），在建立机器学习应用中这一点尤其重要。为了避免挖掘的效果失控，关键是要充分掌握问题所在的领域，通过调查数据来生成各种各样的特征，这样的做法会对提升分类的准确率和泛化能力有很大的帮助。仅靠把数据扔进分类器就想获得优秀结果的幻想是不可能实现的。

十一、要学习各种不同的模型

模型的组合（Ensemble）技术正变得越来越流行了，因为组合方法，仅需要付出少许偏见（bias）的代价，就能大大的减少算法的不确定性。在著名的Netflix算法竞赛中，冠军队以及成绩优异队伍们全都使用了组合模型方法，把超过100个模型合并在一起（在模型上叠加高层的模型形成组合）以提升效果。在人工智能用于实际应用时，从业者普遍都认为，未来的算法一定时会通过模型组合的方法来获得更好精度，但是这也会抬高非专业人员理解系统机制的门槛。

十二、相关关系不等同于因果关系

这一点值得反复强调，我们可以通过一句调侃的话来解释：“地球变暖、地震、龙卷风，以及其他自然灾害，都和18世纪以来全球海盗数量的减少有直接关系”。这两个变量的变化有相关性，但是并不能说存在因果关系，因为往往存在第三类（甚至第4、5类）未被观察到的变量在起作用。相关关系应该看作是潜在的因果关系的一定程度的体现，但需要进一步研究。

在这里还是要推荐下我自己建的大数据学习交流群:817615726，如果你正在学习大数据 ，小编欢迎你加入,大家都是软件开发党，不定期分享干货（只有大数据软件开发相关的）欢迎进阶中和进想深入大数据的小伙伴加入。

小编介绍几种当前比较流行的大数据技术：

1.Hadoop

Hadoop无疑是当前很知名的大数据技术了。

2003年到2004年间，Google发布了关于GFS、MapReduce和BigTable三篇技术论文(这几篇论文成为了后来云计算、大数据领域发展的重要基石)。

当时一位因公司倒闭赋闲在家的程序员Doug Cutting根据前两篇论文，开发出了一个简化的山寨版GFS – HDFS,以及基于其的MapReduce计算框架，这就是Hadoop当初的版本。

后来Cutting被Yahoo雇佣，得以依赖Yahoo的资源改进Hadoop,并将其贡献给了Apache开源社区。

简单描述Hadoop原理：数据分布式存储，运算程序被发派到各个数据节点进行分别运算(Map)，再将各个节点的运算结果进行合并归一(Reduce)，生成结果。

相对于动辄TB级别的数据，计算程序一般在KB – MB量级，这种移动计算不移动数据的设计节约了大量网络带宽和时间，并使得运算过程可充分并行化。

在其诞生后的近10年里，Hadoop凭借其简单、易用、高效、免费、社区支持丰富等特征成为众多企业云计算、大数据实施的首选。

2.Storm

Hadoop虽好，却有其“死穴”.其一：它的运算模式是批处理。这对于许多有实时性要求的业务就无法做到很好的支持。

因此，Twitter推出了他们自己的基于流的运算框架——Storm。不同于Hadoop一次性处理所有数据并得出统一结果的作业(job)，Storm对源源导入的数据流进行持续不断的处理，随时得出增量结果。

Hadoop的另一个致命弱点是：它的所有中间结果都需要进行硬盘存储，I/O消耗巨大，这就使得它很不适合多次迭代的运算。而大多数机器学习算法，恰恰要求大量迭代运算。

3.Spark

2010年开始，UC Berkeley AMP Lab开始研发分布式运算的中间过程全部内存存储的Spark框架，由此在迭代计算上大大提高了效率。也因此成为了Hadoop的强有力竞争者。

4.NoSQL 数据库

NoSQL数据库可以泛指非关系型数据库，不过一般用来指称那些建立在分布式文件系统(例如HDFS)之上，基于key-value对的数据管理系统。

相对于传统的关系型数据库，NoSQL数据库中存储的数据无需主键和严格定义的schema。于是，大量半结构化、非结构化数据可以在未经清洗的情况下直接进行存储。这一点满足了处理大量、高速、多样的大数据的需求。当前比较流行的NoSQL数据库有MongoDB,Redis,Cassandra,HBase等。

NoSQL并不是没有SQL,而是不仅仅有(not only)SQL的意思。为了兼容之前许多运行在关系型数据库上的业务逻辑，有很多在NoSQL数据库上运行SQL的工具涌现出来，典型的例如Hive和Pig,它们将用户的SQL语句转化成MapReduce作业，在Hadoop上运行。

大数据产业已进入发展的“快车道”，急需大量优秀的大数据人才作为后盾。能够在大数据行业崛起的初期进入到这个行业当中来，才有机会成为时代的弄潮儿

大数据相关岗位目前基本都属于大缺口，高工资的黄金职业，这吸引了很多想要追赶时代潮流或是改变自己职业方向的人争相学习。大数据相关知识，自学难度大，参加培训成本又偏高，要如何选择才好呢？我们先来了解一下大数据的主要学习内容有哪些再来决定吧！

学习大数据，要从Java开始学起，如果已经有Java编程语言了，学习大数据就会相对轻松很多。在掌握了大数据的基本编程语言之后，就要正式进入大数据相关知识的学习了。

首先是基础阶段。这一阶段包括：关系型数据库原理、LINUX操作系统原理及应用。在掌握了这些基础知识后，魔据教育还会安排这些基础课程的进阶课程，即：数据结构与算法、MYSQL数据库应用及开发、SHELL脚本编程。在掌握了这些内容之后，大数据基础学习阶段才算是完成了。

接下来是大数据专业学习的第二阶段：大数据理论及核心技术。第二阶段也被分为了基础和进阶两部分，先理解基础知识，再进一步对知识内容做深入的了解和实践。基础部分包括：布式存储技术原理与应用、分布式计算技术、HADOOP集群搭建、运维；进阶内容包括：HDFS高可靠、ZOOKEEPER、CDH、Shuffle、HADOOP源码分析、HIVE、HBASE、Mongodb、HADOOP项目实战。

完成了这部分内容的学习，学员们就已经掌握了大数据专业大部分的知识，并具有了一定的项目经验。但为了学员们在大数据专业有更好的发展，所学知识能更广泛地应用到大数据相关的各个岗位，有个更长远的发展前景，魔据教育还安排了第三阶段的课程学习。

第三阶段叫做数据分析挖掘及海量数据高级处理技术。基础部分有：PYTHON语言、机器学习算法、FLUME+KAFKA；进阶部分有：机器学习算法库应用、实时分析计算框架、SPARK技术、PYTHON高级语言应用、分布式爬虫与反爬虫技术、实时分析项目实战、机器学习算法项目实战。

以上便是大数据的主要学习内容。相信在掌握了以上大数据专业知识后，学员们一定能够在将来的工作中得心应手，完成自己的职业理想。

大家好，今天带大家了解大数据。对于外行来说，大数据名词听起来很高端、大气。却很抽象，让人无法理解。但作为编程人员、数据库管理员，大数据是需要详细了解的。这将会成为你们未来的发展方向。

首先简介一下大数据能干什么？大家都知道，我们在淘宝购物。需要注册帐号，然后选购商品、加入购物车、付款发货、货物的物流信息等等。这些信息在电脑里被称为数据。产生的数据都会存储到淘宝的服务器里。每天数以亿计的数据，被存储到淘宝服务器里。由于这些数据很庞大，所以被称为大数据。再根据基础大数据，在后台进行智能分析。就能分析出指定用户的购物喜好。某些产品的销售量等等信息。然后通过挖掘大数据的结果，向用户推送指定商品。这就是大数据时代，给你我带来的便利。

由于大数据里有海量的数据，存储和分析这些数据最主要就是要解决效率的问题。如何快速存储和分析海量的数据？目前都采用了一些什么技术？带着这些问题。我来讲一下，需要充电学习的方面。首先java语言是必须精通掌握的基础，用于大数据开发。接下来必须了解网络编程，mysql等数据库。再进一步学习，就需要了解集群技术。因为海量的数据需要采用多个数据库来进行存储和处理。即分布式存储。目前解决的方案，是采用hadoop架构。Hadoop实现一个分布式存储，具有高容错性、高吞吐量来访问应用程序的数据，适合超大数据集的应用程序。Hadoop的高吞吐，海量数据处理的能力使人们可以方便地处理海量数据。但hadoop不擅长实时计算，另一项大数据技术storm由此而生。他具有实时的数据处理能力。比如你昨天在淘宝买了一双鞋，今天你想买一顶帽子。而大数据分析的结果还是昨天的，系统不断的在向你推荐鞋子。而不去考虑你今天的需求。使用了storm技术，就会实时的分析你的需求，系统就会根据结果，向你推荐帽子。大数据的另一项技术Apache spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架。用于配合hadoop和storm技术处理大数据。通过并行化地计算，加快的大数据的处理。

大数据的另一方向就是机器学习，要想得到一个高效的机器学习系统。就需要先用少量的数据去训练它。在少量的数据下机器学习系统不出错。再加大学习量，最终就能通过反复测试上线。大数据下的机器学习需要很多学习样本，在大量的学习样本下。机器可以类似于人工一样筛选，分析处理得到有用的数据，最终将结果反馈给用户。机器学习要掌握R语言、python和mahout技术。机器学习应用前景很广，不只是大数据可以使用。可能会成为未来程序员必修的课程。

大数据应该学什么？如果是有基础就根据个人情况来定，如果是零基础想学习大数据，大数据应该学什么？大数据要学的东西有很多，下面列举了一些学习大数据就该学习的技术，许多想学习大数据不知道大数据应该学什么的，可以参考一下。

首先学习大数据，先了解什么是大数据，了解大数据大概的运用，自己是否对大数据感兴趣，因为学门技术刚开始不是一件易事，需要有足够的决心和毅力，要知道半途而废，这样浪费时间精力、还浪费金钱。所以想学大数据，就需要对大数据有一个大概的认识。

第一阶段

对于零基础的朋友，一开始入门可能不会太简单。因为需要掌握一门计算机的编程语言，计算机编程语言有很多，Java是目前使用最为广泛的网络编程语言之一。大数据技术学习前需要一定的Java技术作为基础支持，Java只需理解一些基本的概念，就可以用它编写出适合于各种情况的应用程序。在学习Java的时候，我们一般需要学习这些课程： HTML&CSS&JS，java的基础，JDBC与数据库，JSP java web技术， jQuery与AJAX技术，SpringMVC、Mybatis、Hibernate等等。这些课程都能帮助我们更好了解Java，学会运用Java。

第二阶段

学完了编程语言之后，一般就可以进行大数据部分的课程学习了。一般来说，学习大数据部分的时间比学习Java的时间要短。大数据课程，包括大数据技术入门，海量数据高级分析语言，海量数据存储分布式存储，以及海量数据分析分布式计算等部分，Linux，Hadoop，Scala, HBase, Hive, Spark等等专业课程。如果要完整的学习大数据的话，这些课程都是必不可少的。

这是智汇云校率先通过HCIE大数据的张润泽老师对大数据学习的一些建议：

HCNA预备课程

（1）数通预备课（vlan概念、vlan间路由等）

（2）存储预备课（RAID技术、EC技术、动态子树等）

HCNP预备课程

（1）Java预备课

（2）数据库预备课

（3）脚本预备课

（4）操作系统预备课

（5）软件工程预备课

HCIE预备课程

（1）概率论、离散数学、统计学、线性代数、高等数学

（2）机器学习导论

（3）数据仓库知识

（4）HCNA大数据课程

学习大数据专业性较强，刚开始比较艰辛,自学的话会比较艰难，在学习的过程中，投入时间和精力，以兴趣来驱动学习，只要努力咬咬牙坚持学习到最后,相信所付出的就会有回报的，学习大数据毕业实习最低7000往上的薪水，之后再加上一些项目经验的积累，拿高薪工资就可想而知了。

智汇云校大数据，聘请专业的大数据领域知名讲师，确保教学的整体质量与教学水准。讲师团及时掌握时代潮流技术，将前沿技能融入教学中，确保学生所学知识顺应时代所需。通过深入浅出、通俗易懂的教学方式，指导学生更快的掌握技能知识。

一全排序

Hadoop自带的Partitioner的实现有两种，一种为HashPartitioner, 默认的分区方式，计算公式\nhash(key)%reducernum，另一种为TotalOrderPartitioner,\n为排序作业创建分区，分区中数据的范围需要通过分区文件来指定。

分区文件可以人为创建，如采用等距区间，如果数据分布不均匀导致作业完成时间受限于个别reduce任务完成时间的影响。

也可以通过抽样器，先对数据进行抽样，根据数据分布生成分区文件，避免数据倾斜。

注意，key可以是数字型，也可以是BinaryComparable（字符串），当是BinaryComparable时，则以key构造Trie Tree；否则以二分查找来确定key的所属区间。

二单词共现矩阵算法

其目的是在海量语料库中发现在固定窗口内单词a和单词b共同出现的频率，从而构建单词共现矩阵，这样的矩阵可以是对称的，也可以是不对称的，这要看具体的应用。

这种抽象化的任务的有效解决在实际生活中有着很多的应用。例如电子商家希望发现不同物品被同时购买的情况以便有效安排货物的摆放位置；同时对信息检索领域同义词词典的构建以及文本挖掘等都有着重要的实际应用价值。

根据同现关系的不同，可能需要实现和定制不同的FileInputFormat和RecordReader，如同现关系为一个英文句子，则需要实现以一个英文句子为单位的FileInputFormat和RecordReader，如同现关系为一个段落，则需要实现以一个段落为单位的FileInputFormat和RecordReader

三倒排索引

Inverted Index(倒排索引)是目前几乎所有支持全文检索的搜索引擎都要依赖的一个数据结构。基于索引结构，给出一个词(term)，能取得含有这个term的文档列表(the list of documents)，没什么可说的，必须掌握。

什么是大数据？

大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。大数据技术，是指从各种各样类型的数据中，快速获得有价值信息的能力。适用于大数据的技术，包括大规模并行处理（MPP）数据库，数据挖掘电网，分布式文件系统，分布式数据库，云计算平台，互联网，和可扩展的存储系统。

大数据有何作用？

第一，对大数据的处理分析正成为新一代信息技术融合应用的结点。移动互联网、物联网、社交网络、数字家庭、电子商务等是新一代信息技术的应用形态，这些应用不断产生大数据。云计算为这些海量、多样化的大数据提供存储和运算平台。通过对不同来源数据的管理、处理、分析与优化，将结果反馈到上述应用中，将创造出巨大的经济和社会价值。大数据具有催生社会变革的能量。但释放这种能量，需要严谨的数据治理、富有洞见的数据分析和激发管理创新的环境(Ramayya Krishnan,卡内基·梅隆大学海因兹学院院长)。

第二，大数据是信息产业持续高速增长的新引擎。面向大数据市场的新技术、新产品、新服务、新业态会不断涌现。在硬件与集成设备领域，大数据将对芯片、存储产业产生重要影响，还将催生一体化数据存储处理服务器、内存计算等市场。在软件与服务领域，大数据将引发数据快速处理分析、数据挖掘技术和软件产品的发展。

第三，大数据利用将成为提高核心竞争力的关键因素。各行各业的决策正在从“业务驱动” 转变“数据驱动”。对大数据的分析可以使零售商实时掌握市场动态并迅速做出应对；可以为商家制定更加精准有效的营销策略提供决策支持；可以帮助企业为消费者提供更加及时和个性化的服务；在医疗领域，可提高诊断准确性和药物有效性；在公共事业领域，大数据也开始发挥促进经济发展、维护社会稳定等方面的重要作用。

第四，大数据时代科学研究的方法手段将发生重大改变。例如，抽样调查是社会科学的基本研究方法。在大数据时代，可通过实时监测、跟踪研究对象在互联网上产生的海量行为数据，进行挖掘分析，揭示出规律性的东西，提出研究结论和对策。

了解了大数据的概念和作用，我们先来看一下商业巨头们如何利用大数据吧。

一、谷歌公司（google Inc）

第一个 ：ReCAPTCHA案例。

这个虽然是被谷歌收购的，但是，具有典型的谷歌思维。为了解决垃圾邮件和网络机器人的问题，冯.安发明了验证码的解决方案。如果只限于此，也就没有特别可以称道的，但是他意识到每天有这么多人要浪费10秒钟的时间输入这堆恼人的字母，而随后大量的信息被随意地丢弃时，他开始寻找能使人的计算能力得到更有效利用的方法。 他想到了一个继任者，恰如其分地将其命名为ReCaptcha。和原有随机字母输入不同，人们需要从计算机光学字符识别程序无法识别的文本扫描项目中读出两个单词并输入。其中一个单词其他用户也识别过，从而可以从该用户的输入中判断注册者是人;另一个单词则是有待辨识和解疑的新词。为了保证准确度，系统会将同一个模糊单词发给五个不同的人，直到他们都输入正确后才确定这个单词是对的。在这里，数据的主要用途是证明用户是人，但它也有第二个目的：破译数字化文本中不清楚的单词。ReCaptcha的作用得到了认可，2009年谷歌收购了冯·安的公司，并将这一技术用于图书扫描项目，再后来，谷歌街景也开始使用这项技术。把验证码和OCR需求巧妙结合起来，这展示了思维的威力，实现了ReCaptcha技术提供者和使用者的双赢，技术提供者利用OCR识别获得了自己的受益，使用者不需要任何付费(互联网免费思维)，也愿意使用，对于用户其实也没有影响，没有增加额外的工作。上研究生的时候，就研究OCR汉字识别问题，识别率始终是个问题，对于手写就更低了，要花费大量人力来解决，并且，人工识别工作是非常无聊，没有办法来保障质量。再想起12306的验证码，更令人无语了。我们浪费了多少资源?我们有多少资源可用充分来利用?

第二个：拼写检查纠错的案例。

我们都经常使用微软的Word，其中就有拼写检查纠错功能，微软实现这个功能，采用的是传统的软件思维，也就是利用规则和词库来解决，这个需要不断耗费人力进行规则和词库的升级，对于不同的语言，耗费更是巨大。谷歌解决这个方法，用的相对巧妙，在搜索的时候，当你输入一个错误的词时，会给一个提示，要找的是不是建议的词，如果用户确认后，谷歌就进行记录处理，后面，再经过一些算法处理，经过大量的数据学习，各个拼写检查纠错就越来越好，并且，这个后续维护成本很低， 效果越来越好。其实，谷歌翻译也使用了类似的思路，虽然前期算法，包括大数据处理花费了比较多，后续，基本实现了自动化，系统会越来越强，维护升级成本很低，项目就变成可持续发展。

第三个：对流感的预测

2009年，一种新型的流感病毒h1n1在全球迅速传播开来。美国，和世界上所有的国家一样，要求医生们发现案例市告知疾病控制与预防中心。但是，人们并不是在第一时间去医院检查，而是会有一段时间的延迟，消息要传达到疾控中心也要时间，从而造成一定的滞后性。

在该病毒爆发的几周前，谷歌公司的工程师们在《自然》杂志上发表了一篇论文。文中解释了谷歌为什么能够预测冬季流感的传播：不仅是全美范围内，而且具体到特定的地区和州。

谷歌如何做到的呢？数据。

谷歌通过观察人们在网上的搜索记录来完成这个预测，谷歌保存了多年来所有的搜索记录，每天都会超过30亿条的搜索指令。如此庞大的数据资源才能支撑谷歌完成这项工作。

二、facebook。

Facebook（脸书）是美国的一个社交网络服务网站 ，创立于2004年2月4日，总部位于美国加利福尼亚州帕拉阿图，2012年3月6日发布Windows版桌面聊天软件Facebook Messenger ，主要创始人马克·扎克伯格。它是世界排名领先的照片分享站点，截至2013年11月每天上传约3.5亿张照片、截至2012年5月，拥有约9亿用户。Facebook的总部设在硅谷的门洛帕克（Menlo Park）——1 Hacker Way 从2006年9月11日起，任何用户输入有效电子邮件地址和自己的年龄段，即可加入。在2015年8月28日，单日用户数突破10亿。

fancebook，拥有这庞大数据，同时它也不会浪费这些数据。Facebook通过用户社交网络图得知人们的喜好、

说完了，我们转过头看一下我们国内。

大数据现今在国内也是蓬勃发展，让我让数据说话！

大数据企业发展态势

态势一：2017年，我国大数据企业依旧整体呈现“金字塔”状的实力分布，从金字塔上层来看，我国大数据企业发展指数高于50的企业数量占比仅为7.4%，与去年相比，中高区间的龙头企业发展指数均有不同程度的提升，体现出“强者恒强”的发展势头。2017年，随着新晋企业数量增多、初创企业发展活力不断提升，金字塔根基更趋稳固；专精特新的独角兽企业发展势头迅猛，成为我国大数据企业发展的中坚力量。

态势二：2017年，我国大数据企业基础画像指数呈现较为明显的三重集团趋势，可以分为领军企业（数量占比9.23%，指数跨度从62.50到10.46）、中坚企业（数量占比29.49%，指数跨度从9.89到1.00）、上升企业（数量占比为50.16%，指数跨度从0.98到0.001）三类企业。从构成占比上看，2017年，我国大数据领军企业占比基本维持不变，而中坚企业占比显著增加，上升企业比例对比2016年有较为明显的减少。

态势三：2017年，我国大数据企业技术研发指数呈现“龙头领先、中小微主体跟进”总体趋势，技术研发指数超过10的龙头企业数量占比为9.85%，低于10的企业占比达到90.15%。大数据企业技术研发指数平均值为4.06，同比2016增长了3.18%，其中，以华为、中兴等通信企业和BAT等互联网企业为代表的TOP20龙头企业的技术研发指数同比2016年增长了5.73%。

态势四：2017年，我国大数据企业市场拓展指数呈现出“龙头带动、全面壮大”的分布格局，我国大数据企业市场拓展指数小于30的企业数量占到92.88%，指数超过30的大数据企业占比为7.12%。与2016年相比，龙头企业依旧强势引领大数据市场，中间企业及长尾企业亦积极拓展市场版图，行业整体呈稳步发展态势。

态势五：2017年，大数据企业尤其是骨干企业发展集聚态势进一步强化，绝大多数企业集聚在北京、天津、山东、江苏、浙江、上海、广东、福建等东部沿海信息技术产业基础较好的省市。与2016年相比，东北、中西部等重点城市，以及乌鲁木齐、呼和浩特等地的大数据企业集聚化趋势日益明显。

态势六：2017年，我国产业环节大数据企业聚焦数据采集、数据存储、数据预处理、数据分析、数据可视化、数据流通，跨度从19.48到6.87，发展指数相对比较均衡，数据分析环节企业发展指数水平相对突出，发展指数达到19.48，数据大数据分析挖掘环节必将涌现出更多的独角兽企业。与2016年相比，大数据分析环节指数增长3.8，其他环节指数均有不同程度下降。

态势七：2017年，我国重点行业大数据产业企业聚焦政务、工业、健康医疗、交通、农业、金融、教育、能源等17个行业领域，企业平均发展指数为23.36，最高的安防大数据企业发展指数达到35.71，最低的能源大数据企业发展指数为16.89。与2016年相比，主要行业大数据企业平均发展指数同比增加了0.25，大多数行业发展指数都稳中有进，除安防领域初步定型，同比2016年降低了4.01，其他重点行业领域指数均有不同程度上升。

态势八：2017年，我国特色细分领域大数据企业主要分为三大阵营，与2016年相比，三大阵容的特色细分领域发生了明显变化。一是从事人工智能相关的龙头企业处于第一阵营，平均发展指数维持在21左右；二是从事工控安全、数据库、区块链、征信分析、商业智能BI、数据中心IDC、数据营销、基因测序等10类细分领域大数据相关业务的龙头企业处于第二阵营，平均发展指数处于13.97到17.78之间；三是以虚拟现实、开源技术和车联网为代表的第三阵营，整体发展指数相对略低，处于12左右。

进过调研分析，我们可以作出预判

2018年我国大数据产业发展的主要趋势有：

1、产业将持续保持快速增长态势。预计2018年我国大数据核心产业规模将突破5700亿元。

2、融合渗透效应向更深层次延伸。延伸方向既包括经济运行、社会生活等应用领域，也包括物联网、人工智能等关联技术。

3、制造业数字转型作用日益凸显。以大数据驱动制造业数字化转型的新模式、新业态将不断涌现。

4、技术创新仍是产业发展主基调。大数据领域核心关键技术将加速突破，跨学科、跨领域交叉融合技术研究将成为发展重点。

5、产业集聚特色化发展态势逐步显现。国家大数据综合试验区建设的不断深入，一批省级大数据产业集聚区将进一步优化资源配置、形成集聚效应、发挥辐射带动作用。

6、产业生态体系迈入成熟完善阶段。大数据相关政策将加快落地实施，更多创新性政策将加快出台，大数据产业发展环境将进一步优化。

区域大数据产业发展态势：

态势一：2017年，国家大数据综合试验区依然引领产业发展，其所在区域的大数据产业发展总指数在全国大数据产业发展总指数的占比达37.54%。试验区内各省市指数较去年增幅均值为6.23，高于全国增幅均值的5.78，大数据产业发展速度高于全国平均水平。

态势二：2017年，大数据产业集聚发展效应进一步凸显，长三角地区、珠三角地区、中西部地区和东北地区大数据产业集聚发展格局基本形成。

态势三：2017年，北京、江苏、广东、浙江、上海等五省市成为大数据产业发展第一梯队，其大数据发展总指数在全国大数据发展总指数的占比高达26.52%，领先的优势地位明显。浙江省大数据产业发展指数较去年增长12.71，成为全国大数据产业发展指数增幅最高城市。

态势四：2017年，我国东部、西部、中部、东北四个分区产业发展差异化明显。东部地区整体发展水平最高，大数据产业发展指数增幅均值为7.39，远超全国平均水平5.78，天津、河北、海南排名上升；西部地区未来仍有巨大发展空间，重庆大数据产业发展指数较去年增长10.12，增幅仅次于浙江省位列全国第二，宁夏、内蒙古二地成后起之秀；中部地区整体发展速度高于西部和东北，山西发力大数据产业，排名明显提升。东北地区辽宁继续蝉联区域榜首，辐射带动作用逐步凸显。

态势五：2017年，各省市大数据产业发展环境均呈现向好态势，各省市的发展环境平均指数为10.9，较去年提高32.9%，18个省市的发展环境指数高于平均值，占比达到58%，而发展环境指数在去年平均值以上的省市高达30个；同时，江苏、重庆、安徽等地由于组织机制进一步完善、区域信息化水平加速提升等因素影响，较去年排名增速明显。

态势六：2017年，全国各省市大数据产业发展水平均有提升，大数据产业发展总指数为363.9，较去年提升16.8%；

但受数据集聚开放水平、大数据产业规模、大数据企业主体等多种因素共同影响，各省...

学习大数据没有零基础入门，首先你要成为一名普通的工程师

在技术论坛中或知乎上，看到近几万的朋友都在疑惑，学习Java应该选择什么发展方向，这个咱们在之前的文章中有提到过，Java发展在领域上有三个选择方向：

JavaEE，主要应用于企业级应用开发；安卓开发方向；嵌入式应用开发方向。在此建议大家选择JavaEE方向，因为应用非常广泛，岗位设置也比较多。

Java的职业发展规划之路我们也曾在（一文阐述Java从初级到高级的学习之路——白老师分享篇（2）

）详细列举，这里就不一一列举了。

但我们从来没有讨论过学习Java，难道这辈子就只能做Java后端开发吗？只能在这条路上奋斗到底吗？难道中途没有其他的选择吗？

偶然认识的一个朋友，最开始是从事Java后端开发的，后来他在业余时间自学成功转入大数据行业，现在是一名大数据工程师，待遇也比之前好更多。前提是他是一名Java后端开发。

大数据是我们如今比较火的一个发展方向，但是很多培训机构有提到几个月速成的，小编觉得不是特别靠谱。

原因有以下：

大数据是一个新生行业，还不太成熟。

Java发展了将近20年，也没有说几个月速成的，最多也就是带你入门，让你对Java的知识结构体系有一个清晰的认知，在后期的工作实践期间成长的速度更快。

大数据的起点要高，并不是所谓的零基础就可以入门的。

我们接下来讲述的有关大数据的学习是有条件限制的，首先你需要是一名普通的工程师，如果你是Java工程师的话更好，但如果你是小白的话，那就只能成为一名工程师的后再来学习大数据吧。

一、认识大数据

大数据本质其实也是数据，不过也包括了些新的特征：

数据来源广；

数据格式多样化（结构化数据、非结构化数据、Excel文件等）；

数据量大（最少也是TB级别的、甚至可能是PB级别）；

数据增长速度快。

而针对以上新的特征需要考虑很多问题：

例如，数据来源广，该如何采集汇总？采集汇总之后，又该存储呢？数据存储之后，该如何通过运算转化成自己想要的结果呢？

对于这些问题，我们需要有相对应的知识解决。

二、大数据所需技能要求

Python语言：编写一些脚本时会用到。

Scala语言：编写Spark程序的最佳语言，当然也可以选择用Python。

Ozzie，azkaban：定时任务调度的工具。

Hue，Zepplin：图形化任务执行管理，结果查看工具。

Allluxio，Kylin等：通过对存储的数据进行预处理，加快运算速度的工具。

必须掌握的技能：

Java高级(虚拟机、并发)、Linux 基本操作、Hadoop（HDFS+MapReduce+Yarn ）、 HBase（JavaAPI操作+Phoenix ）、Hive(Hql基本操作和原理理解）、 Kafka、Storm/JStorm、Scala、Python、Spark (Core+sparksql+Spark streaming ） 、辅助小工具(Sqoop/Flume/Oozie/Hue等)

高阶技能6条：

机器学习算法以及mahout库加MLlib、 R语言、Lambda 架构、Kappa架构、Kylin、Alluxio

三、学习规划

第一阶段

Linux学习：Linux操作系统介绍与安装、Linux常用命令、Linux常用软件安装、Linux网络、 防火墙、Shell编程等。

Java 高级学习：掌握多线程、掌握并发包下的队列、掌握JVM技术、掌握反射和动态代理、了解JMS。

Zookeeper学习：Zookeeper分布式协调服务介绍、Zookeeper集群的安装部署、Zookeeper数据结构、命令。

第二阶段

Hadoop 、Hive、HBase、Scala、Spark 、Python

第三阶段

Sqoop、Flume、Oozie、Hue这些工具的学习主要在CSDN，51CTO以及官网都可以学习。

四、学习资源推荐

Apache 官网（http://apache.org/）

Stackoverflow（https://stackoverflow/）

Github(https://github/)

About 云 ：http://aboutyun/

CSDN（http://csdn/）

51CTO （http://51cto/）

总结

在技术行业里面，每天都会有新的东西出现，需要关注最新技术动态，不断学习。任何一般技术都是先学习理论，然后在实践中不断完善理论的过程。

如果你觉得自己看书效率太慢，你可以网上搜集一些课程。

快速学习的能力、解决问题的能力、沟通能力在这个行业是真的非常重要的指标。

要善于使用StackOverFlow和Google来帮助你学习过程遇到的问题。

视频课程推荐：可以去万能的淘宝购买一些视频课程，然后选择一个适合自己的。

以上是我们对大数据学习的总结，当然我们也提到了，并不是说零基础的就可以直接学习，需要有编程的基础，我们需要先掌握扎实的编程基础，在此建议学习Java，成为一名工程师的时候，有一定编程经验，自学起来也相对比开始要简单一点，然后对大数据有兴趣或者想要进入这个行业的就可以去学习了。