专业知识，不容错过

━━━━━━

背景

从亚马逊到Facebook，再到谷歌和微软，全球最顶尖、最有影响力的技术公司都将目光转向了人工智能（AI）。本文将介绍AI、机器学习以及深度学习，其中着重介绍深度学习是如何工作的，以及深度学习为何直到今天才开始成熟，最后，介绍开源的深度学习框架。

“人工智能（AI）”这个词由达特茅斯大学助理教授John McCarthy在1956年提出，作为一种统称，AI可用于指代可体现出智能行为的硬件或软件。按照McCarthy教授的说法，这是一种“可以制造出智能的机器，尤其是智能的计算机程序的科学和工程。”

机器学习

机器学习（ML）是AI的一个子集。所有机器学习都是AI，但并非所有AI都是机器学习。当今人们对AI的兴趣主要体现在对机器学习技术的关注中，使得这一技术快速得到显著进步。

机器学习算法可通过训练进行学习。最开始，可以为算法提供输出结果已知的样本数据，并将实际结果与预测结果的差异进行对比，随后对所输出内容的权重进行调优，借此改善预测结果的精确度，知道最终获得优化。因此机器学习算法的界定特征就在于通过经验结果进行改善所取得的质量。我们提供的数据越多就能创建出越好的预测引擎。

目前机器学习方法已经超过15种，每种都可以使用不同的算法结构通过收到的数据对预测进行优化。作为其中的一种方法，“深度学习”在很多全新领域实现了突破性的结果，下文将详细介绍。算法其实还有很多，其他算法虽然不像深度学习那样获得了最为广泛的关注，但也有自己的价值，因为可以使用与更广泛的用例中。除了深度学习，其它最实用的机器学习算法还包括：“Random forests(随机深林)”，通过穿件大量决策树对预测进行优化；“Bayesian networks(贝叶斯网络)”，使用基于概率的方法分析变量和变量之间的关系；“支持向量机（Vector machine）”,可通过多种分类样本并创建模型将新的输入内容分配给某一类。每种方法各有利弊，并能混合使用。针对特定问题选择哪种算法，主要取决于各种因素，包括可用数据集的本质特征等。实际上开发者通常趋向于通过多种实验确定最佳算法。

机器学习技术的用例因具体需求和想象力而各不相同。只要有合适的数据，我们就可以为无数用途构建所需的算法，例如：根据购买记录推荐顾客可能愿意购买的产品，预测汽车组装流水线的机器手什么时候会故障，预测邮件地址是否输入有误，估算某笔信用卡存在欺诈情况的可能性等。

深度学习

深度学习（Deep Learning）的概念由加拿大多伦多大学教授Geoffrey Hinton等人于2006年提出，它本质上是一种神经网络算法，其原理是通过模拟人脑进行分析学习，算法训练时可以不用人工干预，因此它也属于一种无监督机器学习算法。从深度学习的概念提出至今，已历经十年多时间，期间，无论是国际互联网巨头Google、微软、百度，还是全世界各大学术研究机构，都投入了巨大的人力、财力用于理论和工业级应用的探索，并在字符识别（OCR）、图像分类、语音识别、无人自动驾驭、自然语言处理等众多领域内取得了突破性的进展，极大地推动了人工智能（AI）的发展。

2012年斯坦福大学的Andrew Ng和Jeff Dean教授共同主导的Google Brain项目通过使用深度学习让系统能够自动学习并识别猫，这项目研究引起了学术界何工业界极大的轰动，激起了全世界范围研究深度学习的热潮。2016年3月，Google旗下DeepMind公司开发的AlphaGo以4：1的总比分战胜了世界围棋冠军、职业九段选手李世石，这让人们对人工智能（AI）的认知越到一个新的阶段。

深度学习在众多领域的成功应用，离不开学术界及工业界对该技术的开放态度，在深度学习发展初始，相关代码就被开源，使得深度学习“飞入寻常百姓家”，大大降低了学术界研究及工业界使用的门槛。本节对当前主流的开源深度学习框架发展趋势进行分析。

深度学习是如何工作的

鉴于其重要性，我们有必要对深度学习的工作原理进行介绍。深度学习需要使用人造“神经网络”，这是一种相互连接的“神经元”的集合。人造神经元可以接受一种或多种输入。神经元会针对输入结果执行数学运算，并产生可输出的结果。输出的结果取决于每类输入的“权重”以及神经元的“输入-输出函数”配置。输入-输出函数各异。神经元可以是：1.一种线性单位，输出结果与输入总权重成比例；2.一种阈值单位，输出结果为两个级别中的一种，取决于总输入是否高于某一特定值；3. 一种S型代为，输出结果频繁变化，而不像输入那样呈现线性变化的态势。

多个神经元相互连接组成神经网络，一个神经元输出可以成为另一个神经元的输入，如下图所示。

神经网络可通过组织整理呈现为多层神经元（这也是“深度”这个词的由来）。其中“输入层”负责接收由网络处理的信息，例如一组图片。“输出层”负责提供结果。输入和输出层之间还有“隐藏层”，大部分活动均在这一层中发生。通常来说，神经网络上每一层神经元的输出内容均可成为下一层神经元的输入内容之一。如下图所示。

以图像识别算法举例说明。假设要识别图片中的人脸。将数据装入神经网络后，第一层负责识别局部对比模式，例如图片边缘，这是一种底层特征。随着图片在整个网络中流动，逐渐提取出高层特征，例如从边缘到鼻子，再从鼻子到面孔，如下图所示。

在输出层面，根据训练效果，神经网络会就图片是每种特定类型的可能性给出概率（人脸：97%；气球：1%；树叶：2%）。

通常来说，神经网络的训练过程需要大量已经进行过分类的样本。随后算法会通过检测出的错误和神经元之间的连接权重进行调整，借此改善效果。优化过程的重复性极高，训练完成后即可部署系统并对未分类图片进行评估。

上文描述的是一种很简单的神经网络，实际上神经网络的结构可能各异，并且大部分都非常复杂。各种常见变体包括：同层神经元之间的额不同连接，每层神经元数量的变化，以及将神经元的输出结果流向前一层网络（递归神经网络）的连接。

神经网络的设计和完善需要投入相当多的技能。例如针对特定应用调整网络结构，提供事宜的训练数据集，根据进展调整网络结构，以及多种方法的混合使用等。

为何深度学习直到今天才开始成熟

由于新算法的陆续完善，所需要数据的大量丰富，用于训练的硬件日益强大，以及云服务对开发者的逐渐催化，AI的实际应用效果在近些年有了大幅改进。

1. 算法的改进

虽然深度学习算不上一种新技术，早在1965年就有人提出了第一个实际有效的多层神经网络规范，但最近十年深度学习算法的革新催生了截然不同的结果。

识别图像中物体的能力随着卷积神经网络(CNN,Convolutional Neural Network)的发展产生了突飞猛进的提高。受到动物视觉脑皮层工作原理启发设计而来的CNN中，神经网络中的每一层均可从当判断特定模式是否存在所用的刷选器。2015年，微软基于CNN的计算机视觉系统在对图片中物体进行识别方面实现了比人类更高的准确度（计算机：95.1%；人类：94.9%）。

与此同时，随着递归神经网络（RNN，Recurrent Neural Network）的诞生，语音和手写识别方面也取得飞速进展。不同于卷积神经网络仅向下馈送的运作方式，RNN可通过反馈连接让数据呈环路流动。RNN还出现了一种更强大的新类型：长短期记忆（LSTM，Long Short Term Memory）模型。在额外的连接和内存细胞的帮助下，RNN可以记住自己在数前部操作之前看到的数据，并使用这些数据对后续需要关注的内容进行解释：这一特性对语音识别产生了巨大的帮助，因为对下一个词的理解通常会受到之前所处理词汇的影像。从2012年开始，谷歌就在使用LSTM驱动Android中的语音识别系统。

2. 专用硬件

图像处理器（GPU, GraphicsProcessing Unit）是一种特殊设计的电子电路，可大幅缩短为深度学习训练神经网路所需的时间。

现代化的GPU最初诞生于二十世纪九十年代末，当时主要是为了3D游戏和3D开发应用程序进行加速。在3D环境中平移和缩放镜头需要重复用到一种名为矩阵计算的数据运算过程，串行架构的微处理器，包括当今大部分计算机所用的CPU很不适合用来处理此类任务。为了更高效地执行举证计算，GPU通常会使用大规模并行架构来制造（Nvidia M40包含3072个内核）。

神经网络的训练会设计大量矩阵计算。因此人们发现原本针对3D游戏设计的GPU其实很适合用来对深度学习过程加速。这样做获得了巨大的收益：一颗GPU即可让神经网络的训练时间缩短5倍，针对一些较大规模的问题甚至可实现10倍甚至更高的加速。在配合针对深度学习框架进行优化的软件开发工具包之后，甚至还可以进一步加快训练速度。

3. 海量的数据

深度学习所用的神经网络通常需要用大量的数据集进行训练，样本数量从数千起步，甚至可高达数百万。好在数据的创建速度和可用型也经历了指数形式的增长。今天，随着我们大数据时代，人类平均每天会生成2.2EB（23亿GB）数据，全球数据总量中有90%是过去24个月创建的。

4. 云服务

开发者对机器学习的应用还受到云端机器学习基础架构和业界领先云供应商所提供服务的推动。谷歌、亚马逊、微软，以及IBM均提供了云端基础架构，这也是的机器学习能力的开发成本和难度大幅降低。

此外他们还提供了正在飞速发张的一系列云端机器学习服务，开发者可将其（从图像识别语音翻译）直接用于自己的应用程序内。谷歌的机器学习服务针对下列领域提供了易于访问的服务：视觉（物体识别、显性内容检测、人脸检测、图像情绪分析）；语音（语音识别和语音到文字转换）文字分析（实体识别、情绪分析、语言检测和翻译）；以及职员工作检索（机会呈现和基于资历匹配）。

开源深度学习框架

下面将对目前一些优秀的开源深度学习框架进行介绍，包括基于GPU的单机开源深度学习框架和融合了GPU的开源分布式深度学习框架。

1. 单机开源深度学习框架

目前拥有众多的学术机构如国际顶级名校加州大学伯克利分校，以及互联网巨头如Google、微软等开源的深度学习工具，比较成熟的基于GPU的单机开源深度学习框架有：

Theano：深度学习开源工具的鼻祖，由蒙特利尔理工学院开发于2008年将开源。框架使用Python语言开发。与许多学术界和工业界有影响力的深度学习框架都构建在Theano之上，并逐步形成了自身的生态系统，这其中就包含了著名了Keras，Lasagne和Blocks。

Torch：Facebook和Twitter主推的一款开源深度学习框架，Google和多个大学援救机构也在使用Torch。出于性能的考虑，Torch使用一种比较小众的语言(Lua)作为其开发的语言，目前在音频、图像及视频处理方面有着大量的应用。大名鼎鼎的AlphaGo便是基于Torch开发的，只不过在Google开源TensorFlow之后，AlphaGo将迁移到TensorFlow上

TensorFlow：Google开源的一筐深度学习工具，使用C++语言开发，上层提供Python API。在开源之后，在工业界和学术界引起了极大的震动，因为TensorFlow曾经是著名Google Brain计划的一部分，Google Brain项目的成功曾经吸引了众多科学家和研究人员王深度学习这个“坑”里面跳，这也是当今深度学习如此繁荣的重要原因，足见TensorFlow的影响力。TensorFlow一直在往分布式方向发展，特别是在Spark平台上迁移。

2. 分布式开源深度学习框架

Google研究院JeffyDean在2012发表了一篇《Large Sacle DistributedDeep Networks》 对分布式环境下的深度学习算法设计原理进行了阐述，给出了深度学习在分布式环境下的两种不同的思路：规模并行化（Model parallelism）和数据并行化（Model Parellelism）。模型并行化将训练的模型分割并发送到各Worker节点上；数据并行化数据进行切分，然后将模型副本发送到各Worker节点，通过参数服务器（Parameter Server）对训练的参数进行更新。

目前开源分布式深度学习框架大多数采用是数据并行化的方式进行设计。目前有两大类：框架自身具备分布式模型训练能力：构建在Hadoop生态体系内，通过分布式文件系统（HDFS）、资源调度系统（Yarn）及Spark计算平台进行深度学习模型训练。其中框架自身具备分布式模型训练能力的开源深度学习框架有：

DSSTNE:亚马逊开源的一套深度学习工具，英文全名为Deep Sacalable Sparse Tensor Network Engine(DSSTNE),由C++语言实现，解决稀疏数据场景下的深度学习问题。值得一提的是，亚马逊在是否走开源的道路上一直扭扭捏捏，开源DSSTNE，似乎也是在Google、Facebook等巨头抢占开源深度学习领域高迪之后的无奈之举。

Paddle：百度开源的并行分布式开源深度学些框架，由C++语言实现并提供Pyhton API。Paddle框架已经经过百度内部多个产品线检验，包括搜索光宝中的点击率预估、图像分类、光学字符识别、搜索排...

除了宏观数据以外，统计局也会发布微观层面的数据，比如说发电量增速、地产销售增速、钢铁产量增速等等，衡量的是某一类产品在全国的生产或者销售情况。

还有就是我们如果学过统计，就知道很多数据是没法准确统计的，比如说统计局公布的社会消费品零售总额，这里面包括两个部分，一部分是限额以上社会品消费品零售总额，下商户的销售数据，前者我相信统计局是可以统计到真实数据的，但是后者应该是单凭有限的人力无法统计出来的，

肯定是估计数据，会有。而且中国经济这么大，变化日新月异，所以我们回头看历史上的很多GDP数据，事后都会被大幅。那么问题来了，如果连GDP的统计本身都是

大数据到底是什么，到今天应该还是稀里糊涂的一笔账。

百度百科是这样定义的：

大数据(big data)，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法(抽样调查)这样捷径，而采用所有数据进行分析处理。大数据的5V特点(IBM提出)：Volume(大量)、Velocity(高速)、Variety(多样)、Value(低价值密度)、Veracity(真实性)。

这个定义最大的特点，和很多红皮书白皮书黑皮书之类的差不多，就是装逼。说白了，不说人话。反正我是没听明白大数据和小数据有什么本质的区别。无非是数据和处理数据的工具以及从数据里面提取有用信息变成钱的过程。曾经我们在做这些事情，现在我们在做这些事情，将来我们也会继续做这些事情。

以前几年国内大数据概念炒上天的情况来看，其实真的谁也不知道大数据是什么，谁也不清楚大数据怎么玩，但是各行各业忽如一夜春风来，冒出无数个大数据公司大数据专家。

现在我们可以看到各行各业都在谈论大数据。从政府到企业，从互联网行业到传统行业，随便写个App背后没有大数据都不能叫好App。现在大数据都上升到国家高度了。比如说政府办公要上大数据，一个三线城市，放两三台机器搞定的，这数据真的非常的大。

如果我们撇开大数据这个概念不谈，自从有了数据以来，人类一直做的事情是什么?这个其实也是今天大数据的背景下大家都在做的事情，概括起来讲：分析数据，产生有价值的信息。

这个事情20年前在做10年前也在做，今天还是在做，其实没什么变化。 那么什么东西发生了变化呢?最大的一个是工具的能力发生了变化。 现在我们可以几千几万台机器一起协同做计算了。其次是性价比的变化。以前买Oracle的数据库IBM大型机Teradata的解决方案，贼贵。现在开源软件一搭，弄些PC机就好。糙一点无所谓，所谓便宜才能普及。

然而本质来讲，大家做的事情并无改变。所以我们不需要去纠结于大数据到底是什么，而是要看清楚具体业务问题是什么，有什么合适的工具去解决。这些工具可能是新的也可能是旧的。我想大数据的所谓发展无非就是工具的进步使得大家能够更有能力去在限定的时间内处理更多的数据，获得更有效的信息。

关注佳源信息，关注更多资讯。

【版权与免责声明】如发现内容存在版权问题，烦请提供相关信息发邮件至jy@jiayuaninfo，我们将及时沟通与处理。

我们要养成一个数据分析和价值体现的。良好思维。也说在你的人生当中在你的工作当中，在你与别人交谈的过程当中，你要尽量多的第一个收集数据第二个进行尽量多的数据分析，第三个尽量多的转换价值。那么数据的价值也分成两种第一个数据直接变现也说你通过一些精准的数据。别人问你，你有没有做金融的人，你帮我介绍这个叫做数据的精准变现，你说我有啊，我有这样的一个群，里面全是。做金融的，可是我这样的群么钱呢，要多少钱，我要五百块吧，我就把你这个把这个学送给你。那这样就可以进行数据变现，或者说我可以帮你打广告。你要打什么样的广告金融的好玩的金融的数据，我这里有五千个啊，我我帮你推送一条广告，需要五千块。这样的就可以进行数据变现。

什么是数据的力量？

这个问题放在10年前，放在20年前，可能都是很模糊的。但是，随着今年智能概念，人工智能，无人驾驶技术的持续热炒，阿尔法狗的彻底胜出，使得人类不得不面临一个问题，人工智能时代，真的来了！

当然，在人工智能强大的外表之下，我们要明白一个特定的因素。人工智能建立的基础是什么？

海量的数据，无穷无尽的数据。这事搁在10年前是不可想象的，但是随着个人PC，个人智能终端的不断普及。世界，让人工智能成为了可能。

可是，当我们知道了世界上已经拥有了如此海量的数据时，这些数据都是怎么来的呢？

探讨这个问题时，我们可以将整个数据的收集归结成两个时期：

人与数据的连接人，物与数据的连接

第一个说明的是在设备普及的初期，更多的是人类对数据的贡献。但是随着5G的到来，网速飞速提升，物联网的到来指日可待，到时，不仅是人类，世间万物都将上网，产生数据，数据将会迎来爆发式的良性循环。

据估计，到2020年，每人每天平均将产生1.5GB的数据量，是现在每人产生的数据量的两倍；但相比无人车每天产生的4T数据量，这还是少的。4T数据量相当于每人每天产生数据量的2500倍。联网飞机每天产生约40TB的数据量；一家小型工厂每天能产生高达1PB的数据，这相当于70万人产生的数据量。如今，云端享有海量数据，连接到不同类型的设备。截止2020年，预计将有500亿智能设备。

震惊么？在以后的时代，作为人类的你将无处可逃，所以安心享受大数据时代的福利吧！

你说是个笑话也可以，但是确实说明了一个道理！

一个哥们，有次聚会时说自己买了很多条iphone数据线，家里每个房间插一条，走到哪儿都能随时充电·····

在场的姑娘们都当成是段子笑笑就过去了，只有一个细心的姑娘悄悄问他买了多少条，他说：42条！

现在她和他在北京三环内总共42个房间的数套豪宅里愉快地生活，已定好日子：下个月结婚！

这，就是数据分析！

如果你是她，你会反问他吗？如果你是他，你会理解她对数据的分析吗？

--- 拔出你心中最困惑的刺！---

在这个用过即弃的时代，不要让你的求知欲过期。

今日拔刺：

1、 什么是大数据？大数据的定义又是什么？

2、 为什么人工智能的研究都是基于算法，而不是基于“硬件”？

3、 中国航母可以用无人预警机代替吗？

本文 | 1586字 阅读时间 | 4分钟

什么是大数据？ 大数据的定义又是什么？

大数据，又称巨量资料，指的是所涉及的数据资料量规模巨大到无法通过人脑甚至主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。

简而言之，大数据就是数据量非常大、数据种类繁多、无法用常规归类方法应用计算的数据集成。 大数据的收集、开发和利用，已经成为了当今社会的潮流之一，人们都认为，对于大数据的分析应用，对于政府和企业的决策是非常积极的，影响也是非常深远的。

大数据的采集、发掘与处理

大数据的采集与发掘与云计算是离不开的，与庞大的服务器空间也是分不开的。而现在的倾向就是租用云计算平台进行大数据的整理运用，简单快捷，还不占地方。

大数据的应用

一切皆可以运用大数据。

将人们所收集的各种数据分类汇总，最终通过高精尖的平台运算，分析其中的规律所在，就是大数据的应用。如果数据收集得当，任何行业、任何事情都可以运用大数据寻找规律，最终做出最优的小抉择。无论从公司营销、政府决策、高速公路运营、农场管理、来年预算等等，大大小小的事情都可以应用大数据，并且从中获利。

大数据的背景

大数据的前景并不仅仅是某一个行业的前景，一句话以盖之——大数据时代已经来临，并将从根本影响人类的生活。

为什么人工智能的研究都是基于算法 而不是基于“硬件”？

首先，问题就有问题。

人工智能 的研究既基于算法，又需要硬件。

NVIDIA每年更新显卡都不只是更新gtx 680、gtx780…gtx1080这些游戏显卡。如果你对人工智能、支持向量机、卷积神经网络等有了解，那你应该知道每次NVIDIA发布新卡都会有丽台的卡，价格比游戏显卡昂贵，从丽台 p100到p4000到现在的丽台GV100。每一次更新其计算能力都发生了飞跃。

那么问题来了，为啥研究人工智能就研究算法而不做硬件？ 其实这两方面都有人做，各司其职，做算法的人研究如何运用卷积神经网络进行识别，面对爆炸的信息量如何最大化榨取处理器的计算能力。而做硬件的行业操心如何能让其核心拥有更强大的计算单元，更低的功耗。

现在，人工智能面临的问题不是快和慢，而是有些事情做不到。

根据现有的计算理论：即使把神经元近似的实现为一些计算芯片，即使用CMOS的方式搭出一个神经网络，它的计算能力和用软件写出来的卷积神经网络并没有本质的区别。

目前，人工智能发展的困难不在于是否用硬件实现，而在于算法。

举个不恰当的例子，要想让马儿跑，得先让马儿走起来再说，现在马儿连站都站不起来，谈何马儿跑。

关于详细的如何选择，选择哪方面的研究，以及国内外领先的的课题组和相应的研究，这个论文调研需要自己动手做才更深刻。我的导师常跟我说：“授人以鱼不如授人以渔”。希望你能学到点什么。

中国航母可以用无人预警机代替吗？

首先，这个问题就可以做两点解读：

一是大型预警机技术含量确实很高 ，但是中国的预警机是世界第一的，其水平甚至远超中国的高铁。目前的空警2000就是世界预警机的最高水平，相比美国的E3预警机，中国预警机的雷达体制整整领先了一代，所以 预警机技术含量不是主要问题 。

二是 预警机和侦察机是有区别的 ，预警机是空中作战指挥部，不仅仅是侦查传回数据这么简单，其上会搭载各类人员，有工程师，空管人员，部队司令等等，如果预警机做到无人，这些人都只能在后方做工作，这无疑加大了战斗的难度。

我们再来具体分析一下这个问题：

一是预警机需要搭载的东西过多 ，即使是 无人机 ，它的重量也会在十吨以上，而美国最新的弹射起飞X47B的重量也只有7吨，而滑跃起飞这样的飞机目前全世界还没有过。所以预警机上航母，弹射质量上就会技术壁垒。

二是预警机的功能不倾向于登上航母 ，众所周知，预警机的一个非常重要的功能是指挥战斗机战斗，如果是在陆地上空作战，完全可以让预警机在陆地机场起飞然后参加任务；如果是在海洋上空作战，离陆地近时同样可以派陆地预警机作战，如果是海上的空中作战，可以将航母作为临时指挥部，所以航母预警机的功能就不会特别的明显，所以也不是各国军队的发展重心。

本文来自镁客网，创业家系授权发布，略经编辑修改，版权归作者所有，内容仅代表作者独立观点。

俺黑君够黑，慎关注！

究竟什么是大数据？如何对大数据进行定义？大数据有哪些特征？了解了这些才能更好的知道自己学习是怎样的一门技术，以及它的前景如何。本文达妹就带大家一起了解大数据。

DT时代，人人言必称大数据，所有的新系统几乎都是基于大数据，有人认为用了MongoDB就是大数据，也有人用了Hadoop就是大数据，或者认为数据量大就是大数据。

更有甚者，笔者看到一篇新闻报道，说某企业成功实施大数据项目，结果只是SQL-Server集群……天呐，这可是上世纪的技术了！

说了这么多到底什么是大数据呢，其实大数据并没有教科书式的明确定义，但是却有比较公认的特性描述，符合这些特性的就可以称作大数据，即大数据的4个V。

第一个V——高容量

这个最好理解，数据量一定要大，才好意思称自己为大数据嘛。大到什么程度呢？依目前行情来看，至少也要到TB级，很多案例都是PB甚至更高。但如果是GB级，非说自己是大数据也不是不可以，就是有点无颜见江东父老啊……

第二个V——多样化

这个很关键了！是区别于以往海量数据挖掘的最主要特征。它有两层含义，一是数据来源多样化，系统数据、设备日志、传感器、文件系统等等来源。二是数据结构多样化，这是核心特征！要包含结构化数据、非结构数据（包括所谓半结构化数据）。

总结起来就是，多源异构。这就是为什么有人认为使用NoSQL数据库（如MongoDB）就是大数据了，因为满足了多样化的特征，但其实还不够。

第三个V——高速

即时效性，基本上至少也要达到亿级数据一秒查询，做的比较好的可以达到千亿级数据一秒查询。这个特征几乎决定了传统技术架构无法满足要求，因此Hadoop架构的出现催化了大数据的发展，也是有人认为Hadoop就是大数据的原因。

第四个V——价值

这个很好理解，数据一定要有价值、而后才能产生价值。就好比存商品的叫才能仓库，存垃圾的叫垃圾填满坑一样。没价值的数据就像一个垃圾填满坑，这也是为什么数据治理在大数据实施中非常重要的原因之一。

最后，也是最重要的，以上4个V是逻辑与的关系，即需同时、注意是同时满足上述四个特征，就可以放心的说自己是大数据了！

文版权归原作者所有。转载文章仅为传播更多信息之目的，如有侵权请与我们联系，我们将及时处理。

大数据，

又称巨量资料，指的是所涉及的数据资料量规模巨大到无法通过人脑甚至主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。

简而言之，大数据就是数据量非常大、数据种类繁多、无法用常规归类方法应用计算的数据集成。大数据的收集、开发和利用，已经成为了当今社会的潮流之一，人们都认为，对于大数据的分析应用，对于政府和企业的决策是非常积极的，影响也是非常深远的。

大数据的采集、发掘与处理

大数据的采集与发掘与云计算是离不开的，与庞大的服务器空间也是分不开的。而现在的倾向就是租用云计算平台进行大数据的整理运用，简单快捷，还不占地方。

大数据的应用

一切皆可以大数据。

将人们所收集的各种数据分类汇总，最终通过高精尖的平台运算，分析其中的规律所在，就是大数据的应用。如果数据收集得当，任何行业、任何事情都可以运用大数据寻找规律，最终做出最优的小抉择。无论从公司营销、政府决策、高速公路运营、农场管理、来年预算等等，大大小小的事情都可以应用大数据，并且从中获利。

大数据的前景

大数据的前景并不仅仅是某一个行业的前景，一句话以盖之——大数据时代已经来临，并将从根本影响人类的生活。

“大数据”时下一个热门的词语，近几年来，关于大数据的著作和文章铺天盖地，似乎也在共同在传递一个信息：越来越多的行业、人士开始关注并实际探索大数据的应用，我们正在一起描绘着大数据巨大效用的蓝图，但在实践的路上，我们都孩子起步阶段小步前行。

大数据根基于互联网，数据仓库、数据挖掘、云计算等互联网技术的发展为大数据应用奠定基础。对于任何一个大数据的从业者或初接触者，或者都会有个共同的感触：大数据很有用！但大数据是什么呢？

今天就给大家讲解一下：

对于大数据的定义，我们来引用3个比较差用的大数据定义：

1）Gartner：需要信息处理模式才能具有更强的决策力，洞察发现力和流程优化能力的海量、高增长率很多样化的信息资产。

2）IDC：海量的数据规模（Volunme）、快速的数据流转和数据体系（Velocity）、多样的数据类型（Variety）、巨大的数据价值（Value）。

3）Wiki：或称巨量数据、海量数据、大资料，指所涉及的数据量规模巨大到无法通过人工，在合理时间内达到截取、管理、处理、并整理成为人类所能解读的信息。

其他关于大数据的定义也大抵类型，我们可以用几个关键词对大数据做一个界定。

首先，“大规模”，这种规模可以从两个维度来衡量，一是时间序列累积大量的数据，二是在深度上更加细化的数据。

其次，“多样化”，可以是不同的数据格式，如文字、图片、视频等，可以是不同的数据类别，如入口数据，经济数据等，还可以有不同的数据来源，如互联网、传感器等。

最后，“动态化”，数据是不停变化的，可以随着时间快速增加大量数据，也可以是在空间上不断移动变化的数据。

这三 个关键词对大数据从形象上做了界定。

但是还需要一个关键能力，就是“处理速度快”。如果这么大规模、多样化又动态变化的数据有了，但需要很长的时间去处理分析，那不叫大数据。从另一个角度，要实现这些数据快速处理，靠人工肯定是没办法实现的，因此，需要借助于机器实现。

最终，我们借助机器，通过对这些数据进行快速的处理分析，获取想要的信息或者应用的整套体系，才能称为大数据。

我们可以用下面的图示给大数据定义：

这下，就知道什么是大数据了吧