随着互联网时代的到来，颠覆了传统行业的盈利模式，大家都把注意力集中在了互联网上。前几年大数据时代的来临，为各行各业提供了更加开阔的数据用作分析。

百科对于大数据是这样解释的：麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。

大数据大数据，核心仍然是‘数据’。在学习大数据技术前，我们首先应该明白大数据的‘数据的本质’。

首先，不论是企业行为或是政府决策，亦或者个人文化和心智修养，判断世间万物，甚至包括洞察宏大的宇宙变化和时空转换，都可以也应该嵌入数据化去思考，若是无法理解这一点，那么就要思考自身是否适合往大数据方向发展。

其次，研究并开发利用绝大部分数据大多是无用且有害的，这个过程既枯燥而且也不确定得来数据的价值。但是，可以利用一些好的办法和简单的规律，使数据活用起来，否则，学习发展大数据将失去本该有的意义。

最后，从事大数据工作的各类人才在进行数据化思考时，一定要时刻想到、意识到‘关联’二字。关联一是要找出数据与数据之间的关联性，二是要处理好的数据从自动生成到传输存储，三是要加工挖掘再到形成有价值的东西流通交易，最后再回到对源数据生成及其采集流程的有针对性地再造。这一循环各环节缺一不可，以此建立人与人之间合作信任的长效可持续机制。

大数据不是独奏，而是不断连接、无处不在的数据

前几天有私信给我要大数据学习资料，我连夜整理了一些有深度的教程和参考资料，从入门到高级，文件已经上传好，正在学习大数据的可以免费下载学习，文件下载方式：

首先把代码撸起来！首先把代码撸起来！首先把代码撸起来！哈哈！编程是们手艺活。什么意思？得练啊！

个人大数据是什么？原来它和我们的生活，信用密不可分

随着信息化时代的到来，让我们每一个人都变成了“透明人”，你的大部分行为已经转化为数据记录，这些数据记录经过各部门或者企业的整理而行成你这个人的大数据，用于判断你的下一步行为意向或者作为金融机构的风控参照

所以大家要搞明白自己的大数据记录，保护好自己的信用记录，不要破坏个人大数据。

那么个人大数据具体又指的是那些呢？

1、个人风险综合查询违法犯罪记录：刑事、行政拘留信贷逾期记录：互联网金融申请、银行贷款多头借贷检测：银行、小贷、P2P、互联网金融（网贷）吸毒贩毒记录、互联网不良痕迹、法院起诉记录和执行记录

2、电商授权数据实名认证数据、风险评分、支付宝授权信息、收货地址、购物记录、认证时长、消费能力画像、购物偏好

3、 运营商授权报告异常通话：港澳台、夜间异常、催收电话手机号实名认证检测、使用时长、紧急联系人通话频率、开户地址、高频联系人、出行记录（漫游地)、通话分布地区

4、身份证实名信息查询实名校验、公安部系统

5、平台风险查询平台借贷记录、多头借贷自动提醒、借贷预警

6、手机号码定位信息定位功能开通、位置记录

7、个人资产报告房产：面积、房产地址、全款或按揭车产：车牌号、车辆型号、购买价格时间学历查询

8、车贷模块行驶证：配置、违章、价值评估、保养记录、出险记录（出险时间、理赔金额、出险情况）车辆基础信息：车主姓名、配置、出厂日期、价格手动查询、核查信息

9、信贷模块个人风险评分系统、银联卡查询记录、信贷黑名单检测、征信查询记录

10，各种app应用，浏览器的分析，现在市场上的app大多会对注册者个人或者使用的设备(不限于手机)进行全部的数据记录，你的日常使用其实就是数据的产生和积累

虽然说现在是信息化时代，但是就目前情况来说个人数据还是一种有价的资源，没有完全共享。其中很多涉及个人隐私的应该只有国家政府相关机构可以掌握，其他平台暂时还实现不了。

大数据是什么？其实很简单，大数据其实就是海量资料巨量资料，这些巨量资料来源于世界各地随时产生的数据，在大数据时代，任何微小的数据都可能产生不可思议的价值。大数据有4个特点，为别为：Volume（大量）、Variety（多样）、Velocity（高速）、Value（价值），一般我们称之为4V。

所谓4V，具体指如下4点：

1．大量。大数据的特征首先就体现为“大”，从先Map3时代，一个小小的MB级别的Map3就可以满足很多人的需求，然而随着时间的推移，存储单位从过去的GB到TB，乃至现在的PB、EB级别。随着信息技术的高速发展，数据开始爆发性增长。社交网络（微博、推特、脸书）、移动网络、各种智能工具，服务工具等，都成为数据的来源。淘宝网近4亿的会员每天产生的商品交易数据约20TB；脸书约10亿的用户每天产生的日志数据超过300TB。迫切需要智能的算法、强大的数据处理平台和新的数据处理技术，来统计、分析、预测和实时处理如此大规模的数据。

2．多样。广泛的数据来源，决定了大数据形式的多样性。任何形式的数据都可以产生作用，目前应用最广泛的就是推荐系统，如淘宝，网易云音乐、今日头条等，这些平台都会通过对用户的日志数据进行分析，从而进一步推荐用户喜欢的东西。日志数据是结构化明显的数据，还有一些数据结构化不明显，例如图片、音频、视频等，这些数据因果关系弱，就需要人工对其进行标注。

3．高速。大数据的产生非常迅速，主要通过互联网传输。生活中每个人都离不开互联网，也就是说每天个人每天都在向大数据提供大量的资料。并且这些数据是需要及时处理的，因为花费大量资本去存储作用较小的历史数据是非常不划算的，对于一个平台而言，也许保存的数据只有过去几天或者一个月之内，再远的数据就要及时清理，不然代价太大。基于这种情况，大数据对处理速度有非常严格的要求，服务器中大量的资源都用于处理和计算数据，很多平台都需要做到实时分析。数据无时无刻不在产生，谁的速度更快，谁就有优势。

4.价值。这也是大数据的核心特征。现实世界所产生的数据中，有价值的数据所占比例很小。相比于传统的小数据，大数据最大的价值在于通过从大量不相关的各种类型的数据中，挖掘出对未来趋势与模式预测分析有价值的数据，并通过机器学习方法、人工智能方法或数据挖掘方法深度分析，发现新规律和新知识，并运用于农业、金融、医疗等各个领域，从而最终达到改善社会治理、提高生产效率、推进科学研究的效果。

在大数据时代，每个人都会享受到大数据所带来的便利。买东西可以足不出户；有急事出门可以不用再随缘等出租车；想了解天下事只需要动动手指。虽然大数据会产生个人隐私问题，但总的来说，大数据还是在不断的改善我们的生活，让生活更加方便

若是对大数据是什么仍然还有疑问，可以留言或者关注私信一起交流。

什么是大数据？大数据就是指在一定时间范围内无法使用传统数据库工具对其进行捕捉、管理、计算、分析和处理的数据集合，大数据有以下四个特性：海量的数据规模（Volumn），数据类型繁多（Variety），数据流转速度极快（Velocity）以及价值密度较低（Value），我们就说说这四大特性。

海量的数据规模

我们接触最多最敏感的数据那就是我们手机所购买的流量，最常见的数据计量单位为K、M和G，他们的关系为1G=1024M，1M=1024KB。也许你也听过TB，1TB=1024G，这个数据单位对我们来世已经相当庞大了，我们的笔记本最大的容量也就在1TB这个级别，但是在大数据眼里最小的数据也得10TB起，比TB级还大的数据计量单位还有吗？有，而且还很多，1PB=1024TB，1EB=1024PB，1ZB=1024EB，1YB=1024ZB......我们已经无法感知这么大的数据量了。截止到2011 年，互联网用户数已达到20 亿； RFID 标签在2005 年的保有量仅有13亿个，但是到2010 年这个数字超过了300 亿；2006 年资本市场的数据比2003 年增长了17.5倍；日前新浪微博上每天上传的微博数超过1 亿条；Facebook 每天处理10TB 的数据；世界气象中心积累了220TB 的Web 数据，9PB 其他类型数据……

极快的数据流转

数据具有一定的时效性，是不停的变化的，可以随时间数据量逐渐增大，也可在空间上不断移动变化的数据。如果我们采集到的数据不经过流转，最终会过期作废。客户的体验在分秒级别，海量的数据，带来的第一个问题就是大大延长了各类报表生成时间，我们能否在极端的时间内提取最有价值的信心呢？数据在1秒内得不到流转处理，就会给客户带来较差的使用体验，若我们的数据处理软件达不到“秒”处理，所带来的商业价值就会大打折扣。

价值密度低

尽管大数据的数据量巨大，但是有价值的信息极少，我们要通过分析才能将大数据从数据到价值的转变，这些工作量极其庞大，所以云计算是一个很好的解决途径。以监控视频为例，一小时的视频，在不间断的监控过程中，可能有用的数据仅仅只有一两秒。

数据种类繁多

数据的格式是多样化的，如文字、图片、视频、音频、地理位置信息等，也可以是不同的数据类别，也可以有不容的来源，如传感器、互联网。首先用户是一个复杂的个体，单一的行为数据是不足以描述用户的各种行为，多元化的信息采集处理就像拼图一样，逐渐勾勒出我们身体的骨架，增添上我们的血肉。我们在淘宝、京东购物时，总会在下面的推荐区推荐我们想要的东西，比如我们去频繁的搜索浏览某件商品，这是他们就会采集我们浏览的数据，从中挖去有价值的信息，推送给我们。所以说这样的模式给一种体验，那就是这些app越来越懂我们的爱好和需求。

大数据未来会渗透在很多领域，大数据与云计算，机器学习与人工智能，物联网，区块链等。

大数据是什么？大数据处理分析的工具有哪些？不管是即将学习大数据的人亦或是转型向学大数据的人都想要了解的。

1，什么是大数据

简言之，从各种各样类型的数据中，快速获得有价值信息的能力，就是大数据技术。

2，大数据最核心的价值

大数据最核心的价值就是在于对于海量数据进行存储和分析。相比起现有的其他技术而言，大数据的“廉价、迅速、优化”这三方面的综合成本是最优的。

3，大数据处理分析的六大最好工具

一、 Apache Hadoop

Hadoop 是一个能够对大量数据进行分布式处理的软件框架。Hadoop 是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop 是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。Hadoop 还是可伸缩的，能够处理 PB 级数据。此外，Hadoop 依赖于社区服务器，因此它的成本比较低，任何人都可以使用。

Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。它主要有以下几个优点：

⒈高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。

⒉高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。

⒊高效性。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。

⒋高容错性。Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。

Hadoop带有用 Java 语言编写的框架，因此运行在 Linux 生产平台上是非常理想的。Hadoop 上的应用程序也可以使用其他语言编写，比如 C++。

二、HPCC

HPCC，High Performance Computing and Communications(高性能计算与通信)的缩写。1993年，由美国科学、工程、技术联邦协调理事会向国会提交了“重大挑战项目：高性能计算与 通信”的报告，也就是被称为HPCC计划的报告，即美国总统科学战略项目，其目的是通过加强研究与开发解决一批重要的科学与技术挑战问题。HPCC是美国 实施信息高速公路而上实施的计划，该计划的实施将耗资百亿美元，其主要目标要达到：开发可扩展的计算系统及相关软件，以支持太位级网络传输性能，开发千兆 比特网络技术，扩展研究和教育机构及网络连接能力。

该项目主要由五部分组成：

1、高性能计算机系统(HPCS)，内容包括今后几代计算机系统的研究、系统设计工具、先进的典型系统及原有系统的评价等;

2、先进软件技术与算法(ASTA)，内容有巨大挑战问题的软件支撑、新算法设计、软件分支与工具、计算计算及高性能计算研究中心等;

3、国家科研与教育网格(NREN)，内容有中接站及10亿位级传输的研究与开发;

4、基本研究与人类资源(BRHR)，内容有基础研究、培训、教育及课程教材，被设计通过奖励调查者-开始的，长期 的调查在可升级的高性能计算中来增加创新意识流，通过提高教育和高性能的计算训练和通信来加大熟练的和训练有素的人员的联营，和来提供必需的基础架构来支 持这些调查和研究活动;

5、信息基础结构技术和应用(IITA )，目的在于保证美国在先进信息技术开发方面的领先地位。

三、Storm

Storm是自由的开源软件，一个分布式的、容错的实时计算系统。Storm可以非常可靠的处理庞大的数据流，用于处理Hadoop的批量数据。 Storm很简单，支持许多种编程语言，使用起来非常有趣。Storm由Twitter开源而来，其它知名的应用企业包括Groupon、淘宝、支付宝、阿里巴巴、乐元素、Admaster等等。

Storm有许多应用领域：实时分析、在线机器学习、不停顿的计算、分布式RPC(远过程调用协议，一种通过网络从远程计算机程序上请求服务)、 ETL(Extraction-Transformation-Loading的缩写，即数据抽取、转换和加载)等等。Storm的处理速度惊人：经测 试，每个节点每秒钟可以处理100万个数据元组。Storm是可扩展、容错，很容易设置和操作。

四、Apache Drill

为了帮助企业用户寻找更为有效、加快Hadoop数据查询的方法，Apache软件基金会近日发起了一项名为“Drill”的开源项目。Apache Drill 实现了 Google's Dremel.

据Hadoop厂商MapR Technologies公司产品经理Tomer Shiran介绍，“Drill”已经作为Apache孵化器项目来运作，将面向全球软件工程师持续推广。

该项目将会创建出开源版本的谷歌Dremel Hadoop工具(谷歌使用该工具来为Hadoop数据分析工具的互联网应用提速)。而“Drill”将有助于Hadoop用户实现更快查询海量数据集的目的。

“Drill”项目其实也是从谷歌的Dremel项目中获得灵感：该项目帮助谷歌实现海量数据集的分析处理，包括分析抓取Web文档、跟踪安装在Android Market上的应用程序数据、分析垃圾邮件、分析谷歌分布式构建系统上的测试结果等等。

通过开发“Drill”Apache开源项目，组织机构将有望建立Drill所属的API接口和灵活强大的体系架构，从而帮助支持广泛的数据源、数据格式和查询语言。

五、RapidMiner

RapidMiner是世界领先的数据挖掘解决方案，在一个非常大的程度上有着先进技术。它数据挖掘任务涉及范围广泛，包括各种数据艺术，能简化数据挖掘过程的设计和评价。

功能和特点

免费提供数据挖掘技术和库

100%用Java代码(可运行在操作系统)

数据挖掘过程简单，强大和直观

内部XML保证了标准化的格式来表示交换数据挖掘过程

可以用简单脚本语言自动进行大规模进程

多层次的数据视图，确保有效和透明的数据

图形用户界面的互动原型

命令行(批处理模式)自动大规模应用

Java API(应用编程接口)

简单的插件和推广机制

强大的可视化引擎，许多尖端的高维数据的可视化建模

400多个数据挖掘运营商支持

耶鲁大学已成功地应用在许多不同的应用领域，包括文本挖掘，多媒体挖掘，功能设计，数据流挖掘，集成开发的方法和分布式数据挖掘。

六、 Pentaho BI

Pentaho BI 平台不同于传统的BI 产品，它是一个以流程为中心的，面向解决方案(Solution)的框架。其目的在于将一系列企业级BI产品、开源软件、API等等组件集成起来，方便商务智能应用的开发。它的出现，使得一系列的面向商务智能的独立产品如Jfree、Quartz等等，能够集成在一起，构成一项项复杂的、完整的商务智能解决方案。

Pentaho BI 平台，Pentaho Open BI 套件的核心架构和基础，是以流程为中心的，因为其中枢控制器是一个工作流引擎。工作流引擎使用流程定义来定义在BI 平台上执行的商业智能流程。流程可以很容易的被定制，也可以添加新的流程。BI 平台包含组件和报表，用以分析这些流程的性能。目前，Pentaho的主要组成元素包括报表生成、分析、数据挖掘和工作流管理等等。这些组件通过 J2EE、WebService、SOAP、HTTP、Java、JavaScript、Portals等技术集成到Pentaho平台中来。 Pentaho的发行，主要以Pentaho SDK的形式进行。

Pentaho SDK共包含五个部分：Pentaho平台、Pentaho示例数据库、可独立运行的Pentaho平台、Pentaho解决方案示例和一个预先配制好的 Pentaho网络服务器。其中Pentaho平台是Pentaho平台最主要的部分，囊括了Pentaho平台源代码的主体;Pentaho数据库为 Pentaho平台的正常运行提供的数据服务，包括配置信息、Solution相关的信息等等，对于Pentaho平台来说它不是必须的，通过配置是可以用其它数据库服务取代的;可独立运行的Pentaho平台是Pentaho平台的独立运行模式的示例，它演示了如何使Pentaho平台在没有应用服务器支持的情况下独立运行;Pentaho解决方案示例是一个Eclipse工程，用来演示如何为Pentaho平台开发相关的商业智能解决方案。

Pentaho BI 平台构建于服务器，引擎和组件的基础之上。这些提供了系统的J2EE 服务器，安全，portal，工作流，规则引擎，图表，协作，内容管理，数据集成，分析和建模功能。这些组件的大部分是基于标准的，可使用其他产品替换之。

4. 大数据特点

第一，数据体量巨大。从TB级别，跃升到PB级别。

第二，数据类型繁多，如前文提到的网络日志、视频、图片、地理位置信息，等等。

第三，价值密度低。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。

第四，处理速度快。1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器，无一不是数据来源或者承载的方式。

如果对于大数据还有更多的疑问，可以持续关注作者，也可以留言或者私信问题。

大数据，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据相关的创业有其独特性，创业者如何结合其特点，推出具有生命力的创业项目。所谓大数据就是从海量的互联网信息中通过运用统计学、概率论的原理，去伪存真得出有用信息经过云计算成为指导有关部门的决策依据！当然必须分门别类的收集大数据，政治、军事、经济、文化、社会、各行各业等等均有所侧重！

大数据目前实际发展中存在：数据化程度低，各阶段发展不平衡，利益主体多元，复杂未来趋势，先采集，后互联，整体慢慢改，局部可突破。难点：体制破局、教师改造。国外教育培训行业中数据技术应用的现状，基本面临同样的问题。最终动力只能依靠学习者本身的需求和习惯养成，以及新技术带来的真正便利。

大数据是对大量信息资源的统称，比如在教育方面，第一，大数据是教育领域的大数据，是面向特定教育主题的多类型、多维度、多形态的数据集合;第二，教育大数据是面向教育全过程的数据，通过数据挖掘和学习分析支持教育决策和个性化学习;第三，教育大数据是一种分布式计算架构方式，通过数据共享的各种支持技术达到共建共享的思想。

大数据绝大多数大数据是非结构性的，其种类十分复杂，我们现在的技术手段还没法对此进行处理；再次是速度，数据产生和传送的频率非常快；最后是价值，从大量的低质量、低价值的数据中获取知识，犹如从大海中捞针，获取数据成本很高，但有待挖掘价值大。

世界包含的多得难以想象的数字化信息变得更多更快，从商业到科学，从政府到艺术，这种影响无处不在。科学家和计算机工程师们给这种现象创造了一个新名词：“大数据”。所谓大数据，那到底什么是大数据，他的来源在哪里，定义究竟是什么呢？

一：大数据的定义。

1、大数据，又称巨量资料，指的是所涉及的数据资料量规模巨大到无法通过人脑甚至主流软件工具，在合理时间内达到管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。

2、大数据技术，是指从各种各样类型的大数据中，快速获得有价值信息的技术的能力，包括数据采集、存储、管理、分析挖掘、可视化等技术及其集成。

3、大数据应用，是指对特定的大数据集合，集成应用大数据技术，获得有价值信息的行为。对于不同领域、不同企业的不同业务，甚至同一领域不同企业的相同业务来说，由于其业务需求、数据集合和分析挖掘目标存在差异，所运用的大数据技术和大数据信息系统也可能有着相当大的不同。

二：大数据的类型和价值挖掘方法

1、大数据的类型大致可分为三类：

1)传统企业数据：包括消费者数据，传统的ERP数据，库存数据以及账目数据等。2)机器和传感器数据：包括呼叫记，智能仪表，设备日志，交易数据等。3)社交数据：包括用户行为记录，反馈数据等。2、大数据挖掘商业价值的方法主要分为四种：1)客户群体细分，然后为每个群体量定制特别的服务。2)模拟现实环境，发掘新的需求同时提高投资的回报率。3)加强部门联系，提高整条管理链条和产业链条的效率。4)降低服务成本，发现隐藏线索进行产品和服务的创新。

三：大数据的特点

具体来说，大数据具有4个基本特征：

1、是数据体量巨大

2、是数据类别大和类型多样3、是处理速度快4、是价值真实性高和密度低

四：大数据的作用

1、对大数据的处理分析正成为新一代信息技术融合应用的结点移动互联网、物联网、社交网络、数字家庭、电子商务等是新一代信息技术的应用形态，这些应用不断产生大数据。云计算为这些海量、多样化的大数据提供存储和运算平台。通过对不同来源数据的管理、处理、分析与优化，将结果反馈到上述应用中，将创造出巨大的经济和社会价值。2、大数据是信息产业持续高速增长的新引擎面向大数据市场的新技术、新产品、新服务、新业态会不断涌现。在软件与服务领域，大数据将引发数据快速处理分析、数据挖掘技术和软件产品的发展。3、大数据利用将成为提高核心竞争力的关键因素各行各业的决策正在从“业务驱动” 转变“数据驱动”。对大数据的分析可以使零售商实时掌握市场动态并迅速做出应对;可以为商家制定更加精准有效的营销策略提供决策支持;可以帮助企业为消费者提供更加及时和个性化的服务;4、大数据时代科学研究的方法手段将发生重大改变，抽样调查是社会科学的基本研究方法。在大数据时代，可通过实时监测、跟踪研究对象在互联网上产生的海量行为数据，进行挖掘分析，揭示出规律性的东西，提出研究结论和对策。

五：大数据的商业价值

1、对顾客群体细分

2、模拟实境3、提高投入回报率4、数据存储空间出租5、管理客户关系6、个性化精准推荐7、数据搜索

六：大数据对经济社会的重要影响

1、能够推动实现巨大经济效益2、能够推动增强社会管理水平3、如果没有高性能的分析工具，大数据的价值就得不到释放

“大数据”时下一个热门的词语，近几年来，关于大数据的著作和文章铺天盖地，似乎也在共同在传递一个信息：越来越多的行业、人士开始关注并实际探索大数据的应用，我们正在一起描绘着大数据巨大效用的蓝图，但在实践的路上，我们都孩子起步阶段小步前行。

大数据根基于互联网，数据仓库、数据挖掘、云计算等互联网技术的发展为大数据应用奠定基础。对于任何一个大数据的从业者或初接触者，或者都会有个共同的感触：大数据很有用！但大数据是什么呢？

今天就给大家讲解一下：

对于大数据的定义，我们来引用3个比较差用的大数据定义：

1）Gartner：需要信息处理模式才能具有更强的决策力，洞察发现力和流程优化能力的海量、高增长率很多样化的信息资产。

2）IDC：海量的数据规模（Volunme）、快速的数据流转和数据体系（Velocity）、多样的数据类型（Variety）、巨大的数据价值（Value）。

3）Wiki：或称巨量数据、海量数据、大资料，指所涉及的数据量规模巨大到无法通过人工，在合理时间内达到截取、管理、处理、并整理成为人类所能解读的信息。

其他关于大数据的定义也大抵类型，我们可以用几个关键词对大数据做一个界定。

首先，“大规模”，这种规模可以从两个维度来衡量，一是时间序列累积大量的数据，二是在深度上更加细化的数据。

其次，“多样化”，可以是不同的数据格式，如文字、图片、视频等，可以是不同的数据类别，如入口数据，经济数据等，还可以有不同的数据来源，如互联网、传感器等。

最后，“动态化”，数据是不停变化的，可以随着时间快速增加大量数据，也可以是在空间上不断移动变化的数据。

这三 个关键词对大数据从形象上做了界定。

但是还需要一个关键能力，就是“处理速度快”。如果这么大规模、多样化又动态变化的数据有了，但需要很长的时间去处理分析，那不叫大数据。从另一个角度，要实现这些数据快速处理，靠人工肯定是没办法实现的，因此，需要借助于机器实现。

最终，我们借助机器，通过对这些数据进行快速的处理分析，获取想要的信息或者应用的整套体系，才能称为大数据。

我们可以用下面的图示给大数据定义：

这下，就知道什么是大数据了吧

专业知识，不容错过

━━━━━━

背景

从亚马逊到Facebook，再到谷歌和微软，全球最顶尖、最有影响力的技术公司都将目光转向了人工智能（AI）。本文将介绍AI、机器学习以及深度学习，其中着重介绍深度学习是如何工作的，以及深度学习为何直到今天才开始成熟，最后，介绍开源的深度学习框架。

“人工智能（AI）”这个词由达特茅斯大学助理教授John McCarthy在1956年提出，作为一种统称，AI可用于指代可体现出智能行为的硬件或软件。按照McCarthy教授的说法，这是一种“可以制造出智能的机器，尤其是智能的计算机程序的科学和工程。”

机器学习

机器学习（ML）是AI的一个子集。所有机器学习都是AI，但并非所有AI都是机器学习。当今人们对AI的兴趣主要体现在对机器学习技术的关注中，使得这一技术快速得到显著进步。

机器学习算法可通过训练进行学习。最开始，可以为算法提供输出结果已知的样本数据，并将实际结果与预测结果的差异进行对比，随后对所输出内容的权重进行调优，借此改善预测结果的精确度，知道最终获得优化。因此机器学习算法的界定特征就在于通过经验结果进行改善所取得的质量。我们提供的数据越多就能创建出越好的预测引擎。

目前机器学习方法已经超过15种，每种都可以使用不同的算法结构通过收到的数据对预测进行优化。作为其中的一种方法，“深度学习”在很多全新领域实现了突破性的结果，下文将详细介绍。算法其实还有很多，其他算法虽然不像深度学习那样获得了最为广泛的关注，但也有自己的价值，因为可以使用与更广泛的用例中。除了深度学习，其它最实用的机器学习算法还包括：“Random forests(随机深林)”，通过穿件大量决策树对预测进行优化；“Bayesian networks(贝叶斯网络)”，使用基于概率的方法分析变量和变量之间的关系；“支持向量机（Vector machine）”,可通过多种分类样本并创建模型将新的输入内容分配给某一类。每种方法各有利弊，并能混合使用。针对特定问题选择哪种算法，主要取决于各种因素，包括可用数据集的本质特征等。实际上开发者通常趋向于通过多种实验确定最佳算法。

机器学习技术的用例因具体需求和想象力而各不相同。只要有合适的数据，我们就可以为无数用途构建所需的算法，例如：根据购买记录推荐顾客可能愿意购买的产品，预测汽车组装流水线的机器手什么时候会故障，预测邮件地址是否输入有误，估算某笔信用卡存在欺诈情况的可能性等。

深度学习

深度学习（Deep Learning）的概念由加拿大多伦多大学教授Geoffrey Hinton等人于2006年提出，它本质上是一种神经网络算法，其原理是通过模拟人脑进行分析学习，算法训练时可以不用人工干预，因此它也属于一种无监督机器学习算法。从深度学习的概念提出至今，已历经十年多时间，期间，无论是国际互联网巨头Google、微软、百度，还是全世界各大学术研究机构，都投入了巨大的人力、财力用于理论和工业级应用的探索，并在字符识别（OCR）、图像分类、语音识别、无人自动驾驭、自然语言处理等众多领域内取得了突破性的进展，极大地推动了人工智能（AI）的发展。

2012年斯坦福大学的Andrew Ng和Jeff Dean教授共同主导的Google Brain项目通过使用深度学习让系统能够自动学习并识别猫，这项目研究引起了学术界何工业界极大的轰动，激起了全世界范围研究深度学习的热潮。2016年3月，Google旗下DeepMind公司开发的AlphaGo以4：1的总比分战胜了世界围棋冠军、职业九段选手李世石，这让人们对人工智能（AI）的认知越到一个新的阶段。

深度学习在众多领域的成功应用，离不开学术界及工业界对该技术的开放态度，在深度学习发展初始，相关代码就被开源，使得深度学习“飞入寻常百姓家”，大大降低了学术界研究及工业界使用的门槛。本节对当前主流的开源深度学习框架发展趋势进行分析。

深度学习是如何工作的

鉴于其重要性，我们有必要对深度学习的工作原理进行介绍。深度学习需要使用人造“神经网络”，这是一种相互连接的“神经元”的集合。人造神经元可以接受一种或多种输入。神经元会针对输入结果执行数学运算，并产生可输出的结果。输出的结果取决于每类输入的“权重”以及神经元的“输入-输出函数”配置。输入-输出函数各异。神经元可以是：1.一种线性单位，输出结果与输入总权重成比例；2.一种阈值单位，输出结果为两个级别中的一种，取决于总输入是否高于某一特定值；3. 一种S型代为，输出结果频繁变化，而不像输入那样呈现线性变化的态势。

多个神经元相互连接组成神经网络，一个神经元输出可以成为另一个神经元的输入，如下图所示。

神经网络可通过组织整理呈现为多层神经元（这也是“深度”这个词的由来）。其中“输入层”负责接收由网络处理的信息，例如一组图片。“输出层”负责提供结果。输入和输出层之间还有“隐藏层”，大部分活动均在这一层中发生。通常来说，神经网络上每一层神经元的输出内容均可成为下一层神经元的输入内容之一。如下图所示。

以图像识别算法举例说明。假设要识别图片中的人脸。将数据装入神经网络后，第一层负责识别局部对比模式，例如图片边缘，这是一种底层特征。随着图片在整个网络中流动，逐渐提取出高层特征，例如从边缘到鼻子，再从鼻子到面孔，如下图所示。

在输出层面，根据训练效果，神经网络会就图片是每种特定类型的可能性给出概率（人脸：97%；气球：1%；树叶：2%）。

通常来说，神经网络的训练过程需要大量已经进行过分类的样本。随后算法会通过检测出的错误和神经元之间的连接权重进行调整，借此改善效果。优化过程的重复性极高，训练完成后即可部署系统并对未分类图片进行评估。

上文描述的是一种很简单的神经网络，实际上神经网络的结构可能各异，并且大部分都非常复杂。各种常见变体包括：同层神经元之间的额不同连接，每层神经元数量的变化，以及将神经元的输出结果流向前一层网络（递归神经网络）的连接。

神经网络的设计和完善需要投入相当多的技能。例如针对特定应用调整网络结构，提供事宜的训练数据集，根据进展调整网络结构，以及多种方法的混合使用等。

为何深度学习直到今天才开始成熟

由于新算法的陆续完善，所需要数据的大量丰富，用于训练的硬件日益强大，以及云服务对开发者的逐渐催化，AI的实际应用效果在近些年有了大幅改进。

1. 算法的改进

虽然深度学习算不上一种新技术，早在1965年就有人提出了第一个实际有效的多层神经网络规范，但最近十年深度学习算法的革新催生了截然不同的结果。

识别图像中物体的能力随着卷积神经网络(CNN,Convolutional Neural Network)的发展产生了突飞猛进的提高。受到动物视觉脑皮层工作原理启发设计而来的CNN中，神经网络中的每一层均可从当判断特定模式是否存在所用的刷选器。2015年，微软基于CNN的计算机视觉系统在对图片中物体进行识别方面实现了比人类更高的准确度（计算机：95.1%；人类：94.9%）。

与此同时，随着递归神经网络（RNN，Recurrent Neural Network）的诞生，语音和手写识别方面也取得飞速进展。不同于卷积神经网络仅向下馈送的运作方式，RNN可通过反馈连接让数据呈环路流动。RNN还出现了一种更强大的新类型：长短期记忆（LSTM，Long Short Term Memory）模型。在额外的连接和内存细胞的帮助下，RNN可以记住自己在数前部操作之前看到的数据，并使用这些数据对后续需要关注的内容进行解释：这一特性对语音识别产生了巨大的帮助，因为对下一个词的理解通常会受到之前所处理词汇的影像。从2012年开始，谷歌就在使用LSTM驱动Android中的语音识别系统。

2. 专用硬件

图像处理器（GPU, GraphicsProcessing Unit）是一种特殊设计的电子电路，可大幅缩短为深度学习训练神经网路所需的时间。

现代化的GPU最初诞生于二十世纪九十年代末，当时主要是为了3D游戏和3D开发应用程序进行加速。在3D环境中平移和缩放镜头需要重复用到一种名为矩阵计算的数据运算过程，串行架构的微处理器，包括当今大部分计算机所用的CPU很不适合用来处理此类任务。为了更高效地执行举证计算，GPU通常会使用大规模并行架构来制造（Nvidia M40包含3072个内核）。

神经网络的训练会设计大量矩阵计算。因此人们发现原本针对3D游戏设计的GPU其实很适合用来对深度学习过程加速。这样做获得了巨大的收益：一颗GPU即可让神经网络的训练时间缩短5倍，针对一些较大规模的问题甚至可实现10倍甚至更高的加速。在配合针对深度学习框架进行优化的软件开发工具包之后，甚至还可以进一步加快训练速度。

3. 海量的数据

深度学习所用的神经网络通常需要用大量的数据集进行训练，样本数量从数千起步，甚至可高达数百万。好在数据的创建速度和可用型也经历了指数形式的增长。今天，随着我们大数据时代，人类平均每天会生成2.2EB（23亿GB）数据，全球数据总量中有90%是过去24个月创建的。

4. 云服务

开发者对机器学习的应用还受到云端机器学习基础架构和业界领先云供应商所提供服务的推动。谷歌、亚马逊、微软，以及IBM均提供了云端基础架构，这也是的机器学习能力的开发成本和难度大幅降低。

此外他们还提供了正在飞速发张的一系列云端机器学习服务，开发者可将其（从图像识别语音翻译）直接用于自己的应用程序内。谷歌的机器学习服务针对下列领域提供了易于访问的服务：视觉（物体识别、显性内容检测、人脸检测、图像情绪分析）；语音（语音识别和语音到文字转换）文字分析（实体识别、情绪分析、语言检测和翻译）；以及职员工作检索（机会呈现和基于资历匹配）。

开源深度学习框架

下面将对目前一些优秀的开源深度学习框架进行介绍，包括基于GPU的单机开源深度学习框架和融合了GPU的开源分布式深度学习框架。

1. 单机开源深度学习框架

目前拥有众多的学术机构如国际顶级名校加州大学伯克利分校，以及互联网巨头如Google、微软等开源的深度学习工具，比较成熟的基于GPU的单机开源深度学习框架有：

Theano：深度学习开源工具的鼻祖，由蒙特利尔理工学院开发于2008年将开源。框架使用Python语言开发。与许多学术界和工业界有影响力的深度学习框架都构建在Theano之上，并逐步形成了自身的生态系统，这其中就包含了著名了Keras，Lasagne和Blocks。

Torch：Facebook和Twitter主推的一款开源深度学习框架，Google和多个大学援救机构也在使用Torch。出于性能的考虑，Torch使用一种比较小众的语言(Lua)作为其开发的语言，目前在音频、图像及视频处理方面有着大量的应用。大名鼎鼎的AlphaGo便是基于Torch开发的，只不过在Google开源TensorFlow之后，AlphaGo将迁移到TensorFlow上

TensorFlow：Google开源的一筐深度学习工具，使用C++语言开发，上层提供Python API。在开源之后，在工业界和学术界引起了极大的震动，因为TensorFlow曾经是著名Google Brain计划的一部分，Google Brain项目的成功曾经吸引了众多科学家和研究人员王深度学习这个“坑”里面跳，这也是当今深度学习如此繁荣的重要原因，足见TensorFlow的影响力。TensorFlow一直在往分布式方向发展，特别是在Spark平台上迁移。

2. 分布式开源深度学习框架

Google研究院JeffyDean在2012发表了一篇《Large Sacle DistributedDeep Networks》 对分布式环境下的深度学习算法设计原理进行了阐述，给出了深度学习在分布式环境下的两种不同的思路：规模并行化（Model parallelism）和数据并行化（Model Parellelism）。模型并行化将训练的模型分割并发送到各Worker节点上；数据并行化数据进行切分，然后将模型副本发送到各Worker节点，通过参数服务器（Parameter Server）对训练的参数进行更新。

目前开源分布式深度学习框架大多数采用是数据并行化的方式进行设计。目前有两大类：框架自身具备分布式模型训练能力：构建在Hadoop生态体系内，通过分布式文件系统（HDFS）、资源调度系统（Yarn）及Spark计算平台进行深度学习模型训练。其中框架自身具备分布式模型训练能力的开源深度学习框架有：

DSSTNE:亚马逊开源的一套深度学习工具，英文全名为Deep Sacalable Sparse Tensor Network Engine(DSSTNE),由C++语言实现，解决稀疏数据场景下的深度学习问题。值得一提的是，亚马逊在是否走开源的道路上一直扭扭捏捏，开源DSSTNE，似乎也是在Google、Facebook等巨头抢占开源深度学习领域高迪之后的无奈之举。

Paddle：百度开源的并行分布式开源深度学些框架，由C++语言实现并提供Pyhton API。Paddle框架已经经过百度内部多个产品线检验，包括搜索光宝中的点击率预估、图像分类、光学字符识别、搜索排...

数据的英文是“data”,其实这是复数形式的“数据”，它的单数形式是“datum”——英文解释是“a fact or piece of information”,即一个事实或一条信息。所以，Data的字面意思是很多事实或信息的混合体。

数据是什么？

我们平时看到的数字和字符、字母，都有可能是数据。

例如：下图的6个0，或是4个1和2个a，请问它是数据吗？

假设给上面图中的例子设个特殊的前置场景。假设第一组的6个0其实是时、分、秒的简写，“000000”表示00点00分00秒，“112349”则表示11点23分49秒，那么它是不是数据呢？假设第二组的出现的4个1和2个a其实是一组密码，“1111”代表一个约定地点，“aa”代表一个约定事件，这组数字和字母的意义就有了相应的解读，那么它是不是数据呢？

符号如果想被认定为数据，就必须承载一定的信息。信息很可能因场景而定，因解读者的认知而定，所以，符号是否能作为数据使用，解读者的主观视角具有决定性的作用。解读者是否能够正确解读信息，将直接导致相应的符号是否能够被认定为数据。

数据无处不在。在网络上、在报纸上、书籍上。在家用电脑的磁盘上，在我们的脑海里，数据大量且广泛的存在。围绕数据，人类已经做了很多数据科学的研究和应用工作，其中最为基础的就是数据的存储、传输。数据的价值在于数据上承载的信息，信息的价值在于消除不确定性的成本及其直接和间接的作用，而这一系列的价值使得我们对数据的价值予以空前的重视。