文 | 帆软数据应用研究院 船长

谈到数据，我们常常会听到数字化、数据思维、数据化管理等字眼。甚有数据思维被誉为未来“企业管理的第一思维”之说。都说数据很重要，运用数据的思维更重要，那当我们谈及数据、数据化管理思维的时候，到底在谈什么？本文主要想和大家来探讨这些。

什么是数据化管理的思维？

一句话概括：企业在管理过程中，依靠数据发现问题、分析问题、解决问题、跟踪问题的管理方式，就是数据化管理。

什么是数据化思维？

“数据化思维”是个新词。但其中的内涵，并不是个新鲜事物。所谓新鲜的成分，是我们对数据的解读有了另一种认知，或者说思维方式。

那数据化思维，到底是怎样一种思维方式呢？这里引用《企业数据化管理变革》一书中的理解：

“数据思维是根据数据来思考事物的一种思维模式，是一种量化的思维模式，是重视事实、追求真理的思维模式。”

开篇提到数字化、数据思维、数据化管理思维，我们这里开始捋一捋数字化与数据思维之间的联系和区别。数据思维并不是将事物单纯地数字化。数据思维要求形成定性结论的基础是数据，但并不排斥定性的描述和结论。

我们经常看到，很多数据报告汇报了一些列数据，但并未形成结论，这就不叫数据思维，而是单纯地引用数据。比如下面这个例子。

2017年第三季度，某品牌在江苏地区的三个销售代理商分别完成销售130.4万、210.5万、98.6万，共计439.5万；去年同期他们分别完成销售额110.2万、150.3万、96.3万，共计356.8。（注：该品牌在江苏地区只有三个代理商）

在这个例子中列举了很多经营数据，但并没有最终结论。第三季度总销售额439.5万是多还是少？三个代理商的销售额占比是否合理？和竞争对手相比，发展速度如何？只有数据没有结论，这不是数据思维。

这里笔者将上面的例子做个调整，就是数据思维的成果了。

2017年第三季度，某品牌在江苏地区的三个销售代理商 A、B、C分别完成销售130.4万、210.5万、98.6万，共计439.5万；去年同期他们分别完成销售额110.2万、150.3万、96.3万，共计356.8。总体同比增长了23.2%，有明显增长，但并未达到预期的30%。根据市场调研数据，竞争对手 XXX今年第三季度实现38%的增长，而其中在 C 代理商所负责的区域，竞争对手达到200%的爆发式增长，销售额达到约320万~350万。公司需要对 C 代理商进行重点关注，做出适当调整。（注：该品牌在江苏地区只有三个代理商）

我们对事物的变化形成定性的结论，一般有两种途径。一种是通过对数据对比和分析得到，一种是根据长期的经验积累形成的尝试来判断。前者可以称为“数据思维”，后者可以称为“经验思维”。那么接着又有下面一问了，到底什么是”经验思维”呢？

什么是经验思维？

经验思维是根据个人经验或者普适性的常识对事物做出判断，形成结论的模式。

经验思维有时候也是一种数据思维。经验丰富的人，一旦看到一组数据就能够做出定性的判断。这其中所依赖的，是在长期的数据积累。

举个例子，比如快消行业的营销高管，一看到某公司的营销费用占比才16%。就可以判断，这家公司的营销投入太低了。因为根据行业经验，快消品的行业营销费用占比一般不低于20%，有的甚至更高。如果明显低于20%，要么公司产品出奇的好，江湖上有口皆碑；要么就是产品的细分市场是个蓝海；如果都两者都不是，那么公司多半在业绩下滑，“大树将倒”。

笔者这里重点聊聊“经验思维”，并不是真的话题“跑偏”了。其实是捋清楚两者。因为，企业所谓的“数据化思维”，其沉淀下来的经验，是要相当程度转化成“经验思维”的。传承优秀知识和经验，不断开拓新的思维模式。这种“老带新”的模式是企业持续沉淀的踏实可行的方式，是有效落地、接地气的方案。

我们看宝洁公司，会有专门的 KM（ Knowledge Management）知识管理系统，来记录目前最好的方法（CBA，Current Best Approach）。把标准的操作规程（SOP，Standard Operation Procedure） 沉淀大企业管理系统中来。及时将来人员岗位变动，甚至离职，优秀的经验不会随成员消失。而是会通过知识管理系统传递给新的成员，最终一直确保转化为企业的无形资产。

“数据化思维”要持续发挥价值，就要不断地将其中的优秀的、可复制的操作流程标准化，不断地沉淀到企业知识管理系统，不断地分享给不同的团队。实现一份优秀经验，大家一起学习成长，整体提高企业效率和效能。

“经验思维”这么好，也有其应用的局限性，或者说是一些适用范围。下面两种情况下，“经验思维”可能带来的成效弊大于利。

①当市场环境变化太快时，抱守原来的经验往往会导致错误的决策。

②在快速变化的的市场或者行业中，企业或者个人过去积累的经验很快会过时，仍然基于过去的情况作出经验性的判断，往往会带来决策失误。因此，需要根据新的形式，通过数据形成量化的评价，并在此基础上作出判断。

经验思维不会过时，而经验思维也是数据思维的一种沉淀方式。但是，如果不注重积累经验，不注重以团队的方式积累经验，经验就永远只是个人的，而不能成为公司的。所以在组织层面，企业除了需要构建一个不断完善的工作流程之外，还需要一个不断积累的、不依赖于个人的知识沉淀流程或者经验积累流程，让经验积累在组织内部。

数据

笔者认为：数据思维是一个综合性思维，但主要靠后天。

站在科学角度，人类的大脑分成左脑和右脑，有着不同的功能。左脑的功能侧重于逻辑、语言、数学、文字、推理、分析等方面，而右脑则侧重于画图、音乐、韵律、情感、想象和创造等方面。

数据思维要求能理性地对数据进行处理和分析，讲求逻辑推理。根据数据能够知道发生了什么，为什么会这样发生，有什么样的规律，这是左脑控制的；但数据思维还要有充分的想象力，能够将数据关联到管理流程和制度，并能国故创造性地提出不同的见解，这是右脑控制的。所以，数据思维是一个综合性思维，需要左脑和右脑的协调工作。

现在全球的数据科学家是极度缺少的，因为要做大数据分析工作，需要在三个领域有突出的表现：

① 信息技术，包括软件和硬件方面德国；

② 数学领域；

③ 经济和管理领域。

大多数的大数据应用都是商业行为，不是为了兴趣爱好。所以需要利用数学知识，借助 IT 手段，将对大数据的挖掘转换成商业应用。

所以，对数据思维的训练也需要从这三方面入手。

第一，要不断积累管理经验，熟悉企业的经营环境、市场竞争，对经济学和商业运作有深刻的理解，对企业管理有丰富的经验，通过数据结果能够知道企业到底发生了什么；

第二，要有基本的数据库相关知识，包括软件和硬件知识，能够在数据采集、数据存储、数据传输等领域理解最新的技术，能够熟练处理大量的数据，能够对数据的结构进行优化，提高数据处理的效率；

第三，要有审核的数学专业功底，根据数据集进行建模，能够对模型进行优化，并利用相关的算法进行计算，计算之后能够对数据进行解读。

当然，仅仅有以上三类知识和技能也是不够的，数据的呈现需要一定的设计技巧，需要用可视化的语言将观点表达出来，能够有效地传递信息。特别是在企业中，并不是所有人都是数据专家，甚至可以说所有人都不是数据专家。只能把精于对数据处理的那部分员工成为数据专业人士。所以需要对数据进行深度加工，然后以别人能够理解得了的方式来呈现，才能让数据挖掘结果得到认可

企业管理者为什么要有数据思维？

企业管理者对大数据和数据化管理的态度现状：

不同企业的中高层领导对大数据和数据化管理的感觉是不同的。真正希望利用大数据和数据化管理来提高本职岗位绩效的，往往是民营企业的中高层管理者。而且这个欲求的强烈程度与年龄无关，只与所处在的环境和个人心态有关。在某些国企或者事业单位，很多处于管理层的人基本都是多年才熬出来的。他们没有任何外部竞争的压力，大数据对于他们来说，只是处于好奇的阶段，只与大数据对自己有什么影响、对企业有什么影响，他们并不关心。

所以，给他们讲大数据，讲数据化管理，最多只能讲些故事或者与他们切身相关的例子而已；而对于民营企业的管理层，他们积极寻求在大数据时代的机会，希望在笔者的培训中能够找到帮助他们改善管理、提高竞争力的方法，甚至希望在这个领域能够有新的商业机会，所以他们对大数据更有兴趣。

现在的企业管理已经不是原来的传统的企业管理，数字化基础上的管理已经是现在企业管理的基本形式。如果没有数据思维，管理者在数据和事实面前会感到窘迫，并感到自己的权威受到挑战。所以管理者应该随趋势，与时俱进，用数据思维来武装自己，让自己的管理决策更加科学与合理，以便更加理性地处理商业环境下的各种关系。

随着数据技术的发展，企业面临的外部环境将更加复杂，需要处理的数据也会越来越多。如果企业还是在传统的思维模式，在市场竞争中必然会有落后于用数据来快速决策、高效处理问题的竞争对手。企业不重视数据，只会让自己在商业竞争中处于被动的位置。

参考文献[1] 赵兴峰. 企业数据化管理变革[M]. 电子工业出版社, 2016.[2] 毕然, 袁晓洁. 大数据分析的道与术[M]. 电子工业出版社, 2016.[3] 黄成明. 数据化管理[M]. 电子工业出版社, 2014.

什么是大数据？

　　大数据是指：“无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。”

　　那么，大数据究竟需要什么样的人才呢？

　　1、大数据系统研发工程师：

　　负责大数据系统的研发，包括大规模非结构化数据业务模型构建、大数据存储、数据库构设、优化数据库构架、解决数据库中心设计等，同时，还要负责数据集群的日常运作和系统的监测等。

　　2、大数据应用开发工程师：

　　负责搭建大数据应用平台以及开发分析应用程序，研发各种基于大数据技术的应用程序及行业解决方案。从不同的源头抽取数据，转换并导入数据仓库以满足企业的需要，将分散的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库，成为联机分析处理、数据挖掘的基础，为提取各类型的需要数据创造条件。

　　3、大数据分析师

　　从事数据挖掘工作，运用算法来解决和分析问题，让数据显露出真相，并推动数据解决方案的不断更新。

　　4、数据可视化工程师

　　负责在收集到的高质量数据中，利用图形化的工具及手段的应用，清楚地揭示数据中的复杂信息，将其可视化，帮助用户更好地进行大数据应用开发。

　　5、数据安全研发人才

　　负责企业内部大型服务器、存储、数据安全管理工作，并对网络、信息安全项目进行规划、设计和实施。

　　为了更好地培养大数据人才，尽可能填补大数据行业人才缺口，兄弟连开设了Java+大数据课程，培养大数据开发方向的技术人才。

如果你说大数据就是数据大，或者侃侃而谈4个V，也许很有深度的谈到BI或预测的价值，又或者拿Google和Amazon举例，技术流可能会聊起hadoop和Cloud Computing，不管对错，只是无法勾勒对大数据的整体认识，不说是片面，但至少有些管窥蠡测、隔衣瘙痒了。……也许，“解构”是最好的方法。

大数据

首先，我认为大数据就是互联网发展到现今阶段的一种表象或特征而已，没有必要神话它或对它保持敬畏之心，在以云计算为代表的技术创新大幕的衬托下，这些原本很难收集和使用的数据开始容易被利用起来了，通过各行各业的不断创新，大数据会逐步为人类创造更多的价值。

数据

其次，想要系统的认知大数据，必须要全面而细致的分解它，我着手从三个层面来展开：

第一层面是理论，理论是认知的必经途径，也是被广泛认同和传播的基线。我会从大数据的特征定义理解行业对大数据的整体描绘和定性；从对大数据价值的探讨来深入解析大数据的珍贵所在；从对大数据的现在和未来去洞悉大数据的发展趋势；从大数据隐私这个特别而重要的视角审视人和数据之间的长久博弈。

第二层面是技术，技术是大数据价值体现的手段和前进的基石。我将分别从云计算、分布式处理技术、存储技术和感知技术的发展来说明大数据从采集、处理、存储到形成结果的整个过程。

第三层面是实践，实践是大数据的最终价值体现。我将分别从互联网的大数据，政府的大数据，企业的大数据和个人的大数据四个方面来描绘大数据已经展现的美好景象及即将实现的蓝图。

那么大数据是什么？投资者眼里是金光闪闪的两个字：资产。比如，Facebook上市时，评估机构评定的有效资产中大部分都是其社交网站上的数据。

投资者

如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。

Target 超市以20多种怀孕期间孕妇可能会购买的商品为基础，将所有用户的购买记录作为数据来源，通过构建模型分析购买者的行为相关性，能准确的推断出孕妇的具体临盆时间，这样Target的销售部门就可以有针对的在每个怀孕顾客的不同阶段寄送相应的产品优惠卷。

Target的例子是一个很典型的案例，这样印证了维克托·迈尔-舍恩伯格提过的一个很有指导意义的观点：通过找出一个关联物并监控它，就可以预测未来。Target通过监测购买者购买商品的时间和品种来准确预测顾客的孕期，这就是对数据的二次利用的典型案例。如果，我们通过采集驾驶员手机的GPS数据，就可以分析出当前哪些道路正在堵车，并可以及时发布道路交通提醒；通过采集汽车的GPS位置数据，就可以分析城市的哪些区域停车较多，这也代表该区域有着较为活跃的人群，这些分析数据适合卖给广告投放商。

大数据预测

不管大数据的核心价值是不是预测，但是基于大数据形成决策的模式已经为不少的企业带来了盈利和声誉。

大数据是什么？其实很简单，大数据其实就是海量资料巨量资料，这些巨量资料来源于世界各地随时产生的数据，在大数据时代，任何微小的数据都可能产生不可思议的价值。大数据有4个特点，为别为：Volume（大量）、Variety（多样）、Velocity（高速）、Value（价值），一般我们称之为4V。

所谓4V，具体指如下4点：

1．大量。大数据的特征首先就体现为“大”，从先Map3时代，一个小小的MB级别的Map3就可以满足很多人的需求，然而随着时间的推移，存储单位从过去的GB到TB，乃至现在的PB、EB级别。随着信息技术的高速发展，数据开始爆发性增长。社交网络（微博、推特、脸书）、移动网络、各种智能工具，服务工具等，都成为数据的来源。淘宝网近4亿的会员每天产生的商品交易数据约20TB；脸书约10亿的用户每天产生的日志数据超过300TB。迫切需要智能的算法、强大的数据处理平台和新的数据处理技术，来统计、分析、预测和实时处理如此大规模的数据。

2．多样。广泛的数据来源，决定了大数据形式的多样性。任何形式的数据都可以产生作用，目前应用最广泛的就是推荐系统，如淘宝，网易云音乐、今日头条等，这些平台都会通过对用户的日志数据进行分析，从而进一步推荐用户喜欢的东西。日志数据是结构化明显的数据，还有一些数据结构化不明显，例如图片、音频、视频等，这些数据因果关系弱，就需要人工对其进行标注。

3．高速。大数据的产生非常迅速，主要通过互联网传输。生活中每个人都离不开互联网，也就是说每天个人每天都在向大数据提供大量的资料。并且这些数据是需要及时处理的，因为花费大量资本去存储作用较小的历史数据是非常不划算的，对于一个平台而言，也许保存的数据只有过去几天或者一个月之内，再远的数据就要及时清理，不然代价太大。基于这种情况，大数据对处理速度有非常严格的要求，服务器中大量的资源都用于处理和计算数据，很多平台都需要做到实时分析。数据无时无刻不在产生，谁的速度更快，谁就有优势。

4.价值。这也是大数据的核心特征。现实世界所产生的数据中，有价值的数据所占比例很小。相比于传统的小数据，大数据最大的价值在于通过从大量不相关的各种类型的数据中，挖掘出对未来趋势与模式预测分析有价值的数据，并通过机器学习方法、人工智能方法或数据挖掘方法深度分析，发现新规律和新知识，并运用于农业、金融、医疗等各个领域，从而最终达到改善社会治理、提高生产效率、推进科学研究的效果。

在大数据时代，每个人都会享受到大数据所带来的便利。买东西可以足不出户；有急事出门可以不用再随缘等出租车；想了解天下事只需要动动手指。虽然大数据会产生个人隐私问题，但总的来说，大数据还是在不断的改善我们的生活，让生活更加方便

若是对大数据是什么仍然还有疑问，可以留言或者关注私信一起交流。

随着互联网IT行业的发展，越来越多的人选择入坑互联网，大数据开发工程师是一个很好的选择。

大数据是什么意思？

大数据分析是指对规模巨大的数据进行分析。大数据可以概括为5个V， 数据量大(Volume)、速度快(Velocity)、类型多(Variety)、价值（Value）、真实性(Veracity)。 大数据分析师：简单的来讲是一群能通过数据分析技术和方法从海量数据里面挖掘和找出数据潜在价值或商业价值的人。

大数据分析师秉承着总结凝练最先进的商业数据分析实践为使命，明晰各类数据分析从业者的知识体系为职责。本课程就是为了这个目标而量身订做的。旨在加强全球范围内正规化、科学化、专业化的大数据及数据分析人才队伍建设。旨在全面培养能在互联网、零售、金融、电信、医学、旅游等行业专门从事数据的采集、清洗、处理、分析并能制作业务报告、提供决策的新型数据分析人才。

但是很多没有基础的同学都会选择先去培训机构培训，今天容大教育小编先来给大家讲一下零基础学习大数据可以学会吗。

近年来，随着互联网的迅猛发展，大数据以爆炸方式增长，数据量已经从TB级别跃升到PB乃至ZB级别。（1TB=1024GB1PB=1024TB，1EB=1024PB）全球数据总量增长率将维持在50%左右；到2020年，全球的数据总量将达到40ZB。随着一系列政策的出台，大数据国家战略正在加速落地，大数据产业发展机遇空前。

现在许多传统行业的人士包括大学生群体多数瞄向了IT产业，如web全栈、人工智能、云计算等，在了解大数据培训课程期间也在担忧大数据会不会太难，自己没有基础能不能学会等疑问，那么下面给大家分析一下。

一、学习大数据培训课程是否有难度？

对于陌生领域通过学习掌握都是有难度的，就好比打新款游戏也一样，刚开始我们也总是操作不当，大数据也一样，刚开始我们要学习其语言、语法，因为他是计算机语言，需要一定的时间适应、摸索，等我们掌握基础之后就会感受到它的乐趣。

二、零基础是否能学会大数据培训课程

我们不得不承认，所有在职的大数据工程师、大数据讲师都是从零基础开始的，我们获取技术也是从职高院校、大学学各行各业的技术循序渐进开始的，那么大数据也一样，可以通过自学或者选择培训机构的方式选择进行学习，大多数培训机构在大数据培训课程设计上都是针对零基础由浅到深进行设计教学模块，培训机构的使命也是如此，通过自己的教学团队把技术传授给想学习的童鞋，不然培训机构便失去了其存在的意义。

因此，零基础是可以学会并且也可以学好大数据培训课程的，需要强调的一点是，进了培训机构并不意味着我们可以高枕无忧，依然需要我们拿出100%的精力刻苦研读，不断实践操作才会有长足的进步。

以上就是容大教育大数据在线学习小编给大家分享的文章，希望对小伙伴们有所帮助。

前沿技术普及系列·写在前面

不知道大家有没有和象牙妹儿一样的感觉，就是最近1年很多AI产品铺天盖地的来到了我们的生活，比如某些家的智能陪伴音响、翻译棒、智能机器人、AR拍照手机等等。

这里面背后的前沿技术大数据、云计算、区块链、物联网、 5G、数字化…前几年甚至现在听着还很遥远，却已有不少在冲击着商业的世界，渗透进我们的生活！

如何拨开层层浓雾，抵达未来的彼岸？如何把握技术的钥匙，启开未来商业世界的大门!

大象互联网圈发起主办的第二届中国【郑州】开发者大会不但关注技术·商业的融合，也关注着前沿技术的分享。

因此，从今天起，大象互联网圈公众号将目光聚焦在大数据、云计算、物联网IOT、人工智能AI、区块链、VR/AR等板块，一一从概念层、目前行业发展状况、企业实际应用层、技术层、岗位前景等为大家带来干货的普及，快来和象牙儿妹一块围观吧！

本文由“壹伴编辑器”提供技术支持

正文

如果你说大数据就是数据大，或者侃侃而谈4个V，也许很有深度的谈到BI或预测的价值，又或者拿Google和Amazon举例，技术流可能会聊起hadoop和Cloud Computing，不管对错，只是无法勾勒对大数据的整体认识，不说是片面，但至少有些管窥蠡测，也许“解构”是最好的方法。

首先，大数据就是互联网发展到现今阶段的一种表象或特征而已，没有必要神话它或对它保持敬畏之心，在以云计算为代表的技术创新大幕的衬托下，这些原本很难收集和使用的数据开始容易被利用起来了，通过各行各业的不断创新，大数据会逐步为人类创造更多的价值。

其次，想要系统的认知大数据，必须要全面而细致的分解它，本系列文章我们着手从概念、技术、实践三个层面来展开，本篇文章我们先介绍概念层。

本文由“壹伴编辑器”提供技术支持

大数据的定义

大数据（Big Data）概念是1998年由SGI首席科学家John Masey在USENIX大会上提出的。他当时发表了一篇名为Big Data and the Next Wave of Infrastress的论文，使用了大数据来描述数据爆炸的现象。但大数据真正得到业界关注，则是其后多年的事情了。

大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

本文由“壹伴编辑器”提供技术支持

大数据的分类

互联网上的大数据很难清晰的界定分类界限，我们先看看BAT的大数据：

百度拥有两种类型的大数据：用户搜索表征的需求数据；爬虫和阿拉丁获取的公共web数据搜索巨头百度围绕数据而生。阿里巴巴拥有交易数据和信用数据。这两种数据更容易变现，挖掘出商业价值。除此之外阿里巴巴还通过投资等方式掌握了部分社交数据、移动数据，如微博和高德。

腾讯拥有用户关系数据和基于此产生的社交数据。这些数据可以分析人们的生活和行为,从里面挖掘出政治、社会、文化、商业、健康等领域的信息，甚至预测未来。

在信息技术更为发达的美国，除了行业知名的类似Google，Facebook外，已经涌现了很多大数据类型的公司，它们专门经营数据产品，比如：

Metamarkets：这家公司对Twitter、支付、签到和一些与互联网相关的问题进行了分析，为客户提供了很好的数据分析支持。

Tableau：他们的精力主要集中于将海量数据以可视化的方式展现出来。Tableau为数字媒体提供了一个新的展示数据的方式。他们提供了一个免费工具，任何人在没有编程知识背景的情况下都能制造出数据专用图表。

ParAccel：他们向美国执法机构提供了数据分析，比如对15000个有犯罪前科的人进行跟踪，从而向执法机构提供了参考性较高的犯罪预测。他们是犯罪的预言者。

QlikTech：QlikTech旗下的Qlikview是一个商业智能领域的自主服务工具，能够应用于科学研究和艺术等领域。为了帮助开发者对这些数据进行分析，QlikTech提供了对原始数据进行可视化处理等功能的工具。

本文由“壹伴编辑器”提供技术支持

大数据的4V特征

即Variety(多样化)、Volume(大量化)、Velocity（快速化）、Value(价值密度低)。如下图所示。

其中，Variety表示来源多和格式多，数据可以来源于搜索引擎、社交网络、通话记录、传感器等等，这些数据要么以结构化形式存储，要么以非结构化数据存储；Volume表示数据量比较大，从TB级别，跃升到PB级别。

尤其是在移动互联时代，视频、语言等非结构化数据快速增长；Velocity表示数据存在时效性，需要快速处理，并得到结果出来，这一点也是和传统的数据挖掘技术有着本质的区别；Value表示大量不相关信息，不经过处理则价值较低，属于价值密度低的数据。

本文由“壹伴编辑器”提供技术支持

大数据处理流程

都有以下几个过程：数据采集、数据清洗、数据建模、数据加工、数据展现。如下图所示。

举个例子，做饭通常都要包括“买菜~洗菜~配菜~炒菜”这几个必须环节，无论你是开饭店还是家里一日三餐，做饭的规模大小会有不同，但流程却是一样的。而这几个环节其实正好对应了数据人的日常工作内容：买菜（数据采集）~洗菜（数据清洗）~配菜（数据建模）~炒菜（数据加工）-上菜（数据展示）。

在大数据时代，由于数据种类多，数据大，从结构化的数据到非结构化的数据，数据采集的形式也变得更加复杂而多样。

当存储技术的发展变得步履蹒跚，赶不上数据发展的速度时，分布式存储成为了必然选择，非结构型数据也对存储格式提出了新的要求。

层出不穷的数据源也使得数据量产生了井喷似的迅猛增长。此时分布式存储与NoSQL的诞生回应了这样的需求，解决了大数据存储的根本难题。

本文由“壹伴编辑器”提供技术支持

大数据思维

关于大数据思维即我们该如何去理解大数据，十余年潜心研究数据科学的技术权威维克托·迈尔-舍恩伯格认为要注意三点：

需要全部数据样本而不是抽样关注效率而不是精确度关注相关性而不是因果关系。

阿里巴巴的王坚对于大数据也有一些独特的见解，比如：

今天的数据不是大，真正有意思的是数据变得在线了，这个恰恰是互联网的特点非互联网时期的产品，功能一定是它的价值，今天互联网的产品，数据一定是它的价值你千万不要想着拿数据去改进一个业务，这不是大数据，你一定是去做了一件以前做不了的事情

特别是最后一点，我是非常认同的，大数据的真正价值在于创造，在于填补无数个还未实现过的空白。

有人把数据比喻为蕴藏能量的煤矿。煤炭按照性质有焦煤、无烟煤、肥煤、贫煤等分类，而露天煤矿、深山煤矿的挖掘成本又不一样。与此类似，大数据并不在“大”，而在于“有用”，价值含量、挖掘成本比数量更为重要。

本文由“壹伴编辑器”提供技术支持

大数据的价值

如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。

Target 超市以20多种怀孕期间孕妇可能会购买的商品为基础，将所有用户的购买记录作为数据来源，通过构建模型分析购买者的行为相关性，能准确的推断出孕妇的具体临盆时间，这样Target就可以有针对的在每个怀孕顾客的不同阶段寄送相应的产品优惠卷。

Wal-Mart作为零售行业的巨头，他们的分析人员会对每个阶段的销售记录进行了全面的分析，有一次他们无意中发现虽不相关但很有价值的数据，在美国的飓风来临季节，超市的蛋挞和抵御飓风物品竟然销量都有大幅增加。

于是他们做了一个明智决策，就是将蛋挞的销售位置移到了飓风物品销售区域旁边，看起来是为了方便用户挑选，但是没有想到蛋挞的销量因此又提高了很多。

这些例子真实的反映在各行各业，探求数据价值取决于把握数据的人，关键是人的数据思维；与其说是大数据创造了价值，不如说是大数据思维触发了新的价值增长。

未来在大数据领域最具有价值的是两种事物：1-拥有大数据思维的人，这种人可以将大数据的潜在价值转化为实际利益；2-还未有被大数据触及过的业务领域。这些是还未被挖掘的油井，金矿，是所谓的蓝海。

本文由“壹伴编辑器”提供技术支持

大数据的风险

提到大数据人们生活造成的干扰，你或许对隐私泄露早有耳闻。当你在不同的网站上注册了个人信息后，可能这些信息已经被扩散出去了。

当你莫名其妙的接到各种邮件，电话，短信的滋扰时，你不会想到自己的电话号码，邮箱，生日，购买记录，收入水平，家庭住址，亲朋好友等私人信息早就被各种商业机构非法存储或贱卖给其它任何有需要的企业或个人了。

更可怕的是，这些信息你永远无法删除，它们永远存在于互联网的某些你不知道的角落。除非你更换掉自己的所有信息，但是这代价太大了。

目前，中国并没有专门的法律法规来界定用户隐私，处理相关问题时多采用其他相关法规条例来解释。但随着民众隐私意识的日益增强，合法合规地获取数据、分析数据和应用数据，是进行大数据分析时必须遵循的原则。

因此在大数据的背景下，很多人都在积极的抵制无底线的数字化，这种大数据和个体之间的博弈还会一直继续下去……

专家给予了我们一些如何有效保护大数据背景下隐私权的建议：

减少信息的数字化隐私权立法数字隐私权基础设施（类似DRM数字版权管理）人类改变认知（接受忽略过去）创造良性的信息生态语境化。

本篇关于大数据的理论层面分析就介绍到这，下一篇我们将对大数据价值体现的手段和前进的基石——大数据技术深入进行展开分析。

END

第二届中国【郑州】开发者大会

线上报名通道全面开放

本次大会将开设从数字化到大数据落地专场，现已开放报名通道，门票分为免费票和VIP票两种，其中VIP票权益非常丰富，票价为199元且仅限200张，下面是两种票的权益对比：

大家好，今天带大家了解大数据。对于外行来说，大数据名词听起来很高端、大气。却很抽象，让人无法理解。但作为编程人员、数据库管理员，大数据是需要详细了解的。这将会成为你们未来的发展方向。

首先简介一下大数据能干什么？大家都知道，我们在淘宝购物。需要注册帐号，然后选购商品、加入购物车、付款发货、货物的物流信息等等。这些信息在电脑里被称为数据。产生的数据都会存储到淘宝的服务器里。每天数以亿计的数据，被存储到淘宝服务器里。由于这些数据很庞大，所以被称为大数据。再根据基础大数据，在后台进行智能分析。就能分析出指定用户的购物喜好。某些产品的销售量等等信息。然后通过挖掘大数据的结果，向用户推送指定商品。这就是大数据时代，给你我带来的便利。

由于大数据里有海量的数据，存储和分析这些数据最主要就是要解决效率的问题。如何快速存储和分析海量的数据？目前都采用了一些什么技术？带着这些问题。我来讲一下，需要充电学习的方面。首先java语言是必须精通掌握的基础，用于大数据开发。接下来必须了解网络编程，mysql等数据库。再进一步学习，就需要了解集群技术。因为海量的数据需要采用多个数据库来进行存储和处理。即分布式存储。目前解决的方案，是采用hadoop架构。Hadoop实现一个分布式存储，具有高容错性、高吞吐量来访问应用程序的数据，适合超大数据集的应用程序。Hadoop的高吞吐，海量数据处理的能力使人们可以方便地处理海量数据。但hadoop不擅长实时计算，另一项大数据技术storm由此而生。他具有实时的数据处理能力。比如你昨天在淘宝买了一双鞋，今天你想买一顶帽子。而大数据分析的结果还是昨天的，系统不断的在向你推荐鞋子。而不去考虑你今天的需求。使用了storm技术，就会实时的分析你的需求，系统就会根据结果，向你推荐帽子。大数据的另一项技术Apache spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架。用于配合hadoop和storm技术处理大数据。通过并行化地计算，加快的大数据的处理。

大数据的另一方向就是机器学习，要想得到一个高效的机器学习系统。就需要先用少量的数据去训练它。在少量的数据下机器学习系统不出错。再加大学习量，最终就能通过反复测试上线。大数据下的机器学习需要很多学习样本，在大量的学习样本下。机器可以类似于人工一样筛选，分析处理得到有用的数据，最终将结果反馈给用户。机器学习要掌握R语言、python和mahout技术。机器学习应用前景很广，不只是大数据可以使用。可能会成为未来程序员必修的课程。

专业知识，不容错过

━━━━━━

背景

从亚马逊到Facebook，再到谷歌和微软，全球最顶尖、最有影响力的技术公司都将目光转向了人工智能（AI）。本文将介绍AI、机器学习以及深度学习，其中着重介绍深度学习是如何工作的，以及深度学习为何直到今天才开始成熟，最后，介绍开源的深度学习框架。

“人工智能（AI）”这个词由达特茅斯大学助理教授John McCarthy在1956年提出，作为一种统称，AI可用于指代可体现出智能行为的硬件或软件。按照McCarthy教授的说法，这是一种“可以制造出智能的机器，尤其是智能的计算机程序的科学和工程。”

机器学习

机器学习（ML）是AI的一个子集。所有机器学习都是AI，但并非所有AI都是机器学习。当今人们对AI的兴趣主要体现在对机器学习技术的关注中，使得这一技术快速得到显著进步。

机器学习算法可通过训练进行学习。最开始，可以为算法提供输出结果已知的样本数据，并将实际结果与预测结果的差异进行对比，随后对所输出内容的权重进行调优，借此改善预测结果的精确度，知道最终获得优化。因此机器学习算法的界定特征就在于通过经验结果进行改善所取得的质量。我们提供的数据越多就能创建出越好的预测引擎。

目前机器学习方法已经超过15种，每种都可以使用不同的算法结构通过收到的数据对预测进行优化。作为其中的一种方法，“深度学习”在很多全新领域实现了突破性的结果，下文将详细介绍。算法其实还有很多，其他算法虽然不像深度学习那样获得了最为广泛的关注，但也有自己的价值，因为可以使用与更广泛的用例中。除了深度学习，其它最实用的机器学习算法还包括：“Random forests(随机深林)”，通过穿件大量决策树对预测进行优化；“Bayesian networks(贝叶斯网络)”，使用基于概率的方法分析变量和变量之间的关系；“支持向量机（Vector machine）”,可通过多种分类样本并创建模型将新的输入内容分配给某一类。每种方法各有利弊，并能混合使用。针对特定问题选择哪种算法，主要取决于各种因素，包括可用数据集的本质特征等。实际上开发者通常趋向于通过多种实验确定最佳算法。

机器学习技术的用例因具体需求和想象力而各不相同。只要有合适的数据，我们就可以为无数用途构建所需的算法，例如：根据购买记录推荐顾客可能愿意购买的产品，预测汽车组装流水线的机器手什么时候会故障，预测邮件地址是否输入有误，估算某笔信用卡存在欺诈情况的可能性等。

深度学习

深度学习（Deep Learning）的概念由加拿大多伦多大学教授Geoffrey Hinton等人于2006年提出，它本质上是一种神经网络算法，其原理是通过模拟人脑进行分析学习，算法训练时可以不用人工干预，因此它也属于一种无监督机器学习算法。从深度学习的概念提出至今，已历经十年多时间，期间，无论是国际互联网巨头Google、微软、百度，还是全世界各大学术研究机构，都投入了巨大的人力、财力用于理论和工业级应用的探索，并在字符识别（OCR）、图像分类、语音识别、无人自动驾驭、自然语言处理等众多领域内取得了突破性的进展，极大地推动了人工智能（AI）的发展。

2012年斯坦福大学的Andrew Ng和Jeff Dean教授共同主导的Google Brain项目通过使用深度学习让系统能够自动学习并识别猫，这项目研究引起了学术界何工业界极大的轰动，激起了全世界范围研究深度学习的热潮。2016年3月，Google旗下DeepMind公司开发的AlphaGo以4：1的总比分战胜了世界围棋冠军、职业九段选手李世石，这让人们对人工智能（AI）的认知越到一个新的阶段。

深度学习在众多领域的成功应用，离不开学术界及工业界对该技术的开放态度，在深度学习发展初始，相关代码就被开源，使得深度学习“飞入寻常百姓家”，大大降低了学术界研究及工业界使用的门槛。本节对当前主流的开源深度学习框架发展趋势进行分析。

深度学习是如何工作的

鉴于其重要性，我们有必要对深度学习的工作原理进行介绍。深度学习需要使用人造“神经网络”，这是一种相互连接的“神经元”的集合。人造神经元可以接受一种或多种输入。神经元会针对输入结果执行数学运算，并产生可输出的结果。输出的结果取决于每类输入的“权重”以及神经元的“输入-输出函数”配置。输入-输出函数各异。神经元可以是：1.一种线性单位，输出结果与输入总权重成比例；2.一种阈值单位，输出结果为两个级别中的一种，取决于总输入是否高于某一特定值；3. 一种S型代为，输出结果频繁变化，而不像输入那样呈现线性变化的态势。

多个神经元相互连接组成神经网络，一个神经元输出可以成为另一个神经元的输入，如下图所示。

神经网络可通过组织整理呈现为多层神经元（这也是“深度”这个词的由来）。其中“输入层”负责接收由网络处理的信息，例如一组图片。“输出层”负责提供结果。输入和输出层之间还有“隐藏层”，大部分活动均在这一层中发生。通常来说，神经网络上每一层神经元的输出内容均可成为下一层神经元的输入内容之一。如下图所示。

以图像识别算法举例说明。假设要识别图片中的人脸。将数据装入神经网络后，第一层负责识别局部对比模式，例如图片边缘，这是一种底层特征。随着图片在整个网络中流动，逐渐提取出高层特征，例如从边缘到鼻子，再从鼻子到面孔，如下图所示。

在输出层面，根据训练效果，神经网络会就图片是每种特定类型的可能性给出概率（人脸：97%；气球：1%；树叶：2%）。

通常来说，神经网络的训练过程需要大量已经进行过分类的样本。随后算法会通过检测出的错误和神经元之间的连接权重进行调整，借此改善效果。优化过程的重复性极高，训练完成后即可部署系统并对未分类图片进行评估。

上文描述的是一种很简单的神经网络，实际上神经网络的结构可能各异，并且大部分都非常复杂。各种常见变体包括：同层神经元之间的额不同连接，每层神经元数量的变化，以及将神经元的输出结果流向前一层网络（递归神经网络）的连接。

神经网络的设计和完善需要投入相当多的技能。例如针对特定应用调整网络结构，提供事宜的训练数据集，根据进展调整网络结构，以及多种方法的混合使用等。

为何深度学习直到今天才开始成熟

由于新算法的陆续完善，所需要数据的大量丰富，用于训练的硬件日益强大，以及云服务对开发者的逐渐催化，AI的实际应用效果在近些年有了大幅改进。

1. 算法的改进

虽然深度学习算不上一种新技术，早在1965年就有人提出了第一个实际有效的多层神经网络规范，但最近十年深度学习算法的革新催生了截然不同的结果。

识别图像中物体的能力随着卷积神经网络(CNN,Convolutional Neural Network)的发展产生了突飞猛进的提高。受到动物视觉脑皮层工作原理启发设计而来的CNN中，神经网络中的每一层均可从当判断特定模式是否存在所用的刷选器。2015年，微软基于CNN的计算机视觉系统在对图片中物体进行识别方面实现了比人类更高的准确度（计算机：95.1%；人类：94.9%）。

与此同时，随着递归神经网络（RNN，Recurrent Neural Network）的诞生，语音和手写识别方面也取得飞速进展。不同于卷积神经网络仅向下馈送的运作方式，RNN可通过反馈连接让数据呈环路流动。RNN还出现了一种更强大的新类型：长短期记忆（LSTM，Long Short Term Memory）模型。在额外的连接和内存细胞的帮助下，RNN可以记住自己在数前部操作之前看到的数据，并使用这些数据对后续需要关注的内容进行解释：这一特性对语音识别产生了巨大的帮助，因为对下一个词的理解通常会受到之前所处理词汇的影像。从2012年开始，谷歌就在使用LSTM驱动Android中的语音识别系统。

2. 专用硬件

图像处理器（GPU, GraphicsProcessing Unit）是一种特殊设计的电子电路，可大幅缩短为深度学习训练神经网路所需的时间。

现代化的GPU最初诞生于二十世纪九十年代末，当时主要是为了3D游戏和3D开发应用程序进行加速。在3D环境中平移和缩放镜头需要重复用到一种名为矩阵计算的数据运算过程，串行架构的微处理器，包括当今大部分计算机所用的CPU很不适合用来处理此类任务。为了更高效地执行举证计算，GPU通常会使用大规模并行架构来制造（Nvidia M40包含3072个内核）。

神经网络的训练会设计大量矩阵计算。因此人们发现原本针对3D游戏设计的GPU其实很适合用来对深度学习过程加速。这样做获得了巨大的收益：一颗GPU即可让神经网络的训练时间缩短5倍，针对一些较大规模的问题甚至可实现10倍甚至更高的加速。在配合针对深度学习框架进行优化的软件开发工具包之后，甚至还可以进一步加快训练速度。

3. 海量的数据

深度学习所用的神经网络通常需要用大量的数据集进行训练，样本数量从数千起步，甚至可高达数百万。好在数据的创建速度和可用型也经历了指数形式的增长。今天，随着我们大数据时代，人类平均每天会生成2.2EB（23亿GB）数据，全球数据总量中有90%是过去24个月创建的。

4. 云服务

开发者对机器学习的应用还受到云端机器学习基础架构和业界领先云供应商所提供服务的推动。谷歌、亚马逊、微软，以及IBM均提供了云端基础架构，这也是的机器学习能力的开发成本和难度大幅降低。

此外他们还提供了正在飞速发张的一系列云端机器学习服务，开发者可将其（从图像识别语音翻译）直接用于自己的应用程序内。谷歌的机器学习服务针对下列领域提供了易于访问的服务：视觉（物体识别、显性内容检测、人脸检测、图像情绪分析）；语音（语音识别和语音到文字转换）文字分析（实体识别、情绪分析、语言检测和翻译）；以及职员工作检索（机会呈现和基于资历匹配）。

开源深度学习框架

下面将对目前一些优秀的开源深度学习框架进行介绍，包括基于GPU的单机开源深度学习框架和融合了GPU的开源分布式深度学习框架。

1. 单机开源深度学习框架

目前拥有众多的学术机构如国际顶级名校加州大学伯克利分校，以及互联网巨头如Google、微软等开源的深度学习工具，比较成熟的基于GPU的单机开源深度学习框架有：

Theano：深度学习开源工具的鼻祖，由蒙特利尔理工学院开发于2008年将开源。框架使用Python语言开发。与许多学术界和工业界有影响力的深度学习框架都构建在Theano之上，并逐步形成了自身的生态系统，这其中就包含了著名了Keras，Lasagne和Blocks。

Torch：Facebook和Twitter主推的一款开源深度学习框架，Google和多个大学援救机构也在使用Torch。出于性能的考虑，Torch使用一种比较小众的语言(Lua)作为其开发的语言，目前在音频、图像及视频处理方面有着大量的应用。大名鼎鼎的AlphaGo便是基于Torch开发的，只不过在Google开源TensorFlow之后，AlphaGo将迁移到TensorFlow上

TensorFlow：Google开源的一筐深度学习工具，使用C++语言开发，上层提供Python API。在开源之后，在工业界和学术界引起了极大的震动，因为TensorFlow曾经是著名Google Brain计划的一部分，Google Brain项目的成功曾经吸引了众多科学家和研究人员王深度学习这个“坑”里面跳，这也是当今深度学习如此繁荣的重要原因，足见TensorFlow的影响力。TensorFlow一直在往分布式方向发展，特别是在Spark平台上迁移。

2. 分布式开源深度学习框架

Google研究院JeffyDean在2012发表了一篇《Large Sacle DistributedDeep Networks》 对分布式环境下的深度学习算法设计原理进行了阐述，给出了深度学习在分布式环境下的两种不同的思路：规模并行化（Model parallelism）和数据并行化（Model Parellelism）。模型并行化将训练的模型分割并发送到各Worker节点上；数据并行化数据进行切分，然后将模型副本发送到各Worker节点，通过参数服务器（Parameter Server）对训练的参数进行更新。

目前开源分布式深度学习框架大多数采用是数据并行化的方式进行设计。目前有两大类：框架自身具备分布式模型训练能力：构建在Hadoop生态体系内，通过分布式文件系统（HDFS）、资源调度系统（Yarn）及Spark计算平台进行深度学习模型训练。其中框架自身具备分布式模型训练能力的开源深度学习框架有：

DSSTNE:亚马逊开源的一套深度学习工具，英文全名为Deep Sacalable Sparse Tensor Network Engine(DSSTNE),由C++语言实现，解决稀疏数据场景下的深度学习问题。值得一提的是，亚马逊在是否走开源的道路上一直扭扭捏捏，开源DSSTNE，似乎也是在Google、Facebook等巨头抢占开源深度学习领域高迪之后的无奈之举。

Paddle：百度开源的并行分布式开源深度学些框架，由C++语言实现并提供Pyhton API。Paddle框架已经经过百度内部多个产品线检验，包括搜索光宝中的点击率预估、图像分类、光学字符识别、搜索排...

数据的英文是“data”,其实这是复数形式的“数据”，它的单数形式是“datum”——英文解释是“a fact or piece of information”,即一个事实或一条信息。所以，Data的字面意思是很多事实或信息的混合体。

数据是什么？

我们平时看到的数字和字符、字母，都有可能是数据。

例如：下图的6个0，或是4个1和2个a，请问它是数据吗？

假设给上面图中的例子设个特殊的前置场景。假设第一组的6个0其实是时、分、秒的简写，“000000”表示00点00分00秒，“112349”则表示11点23分49秒，那么它是不是数据呢？假设第二组的出现的4个1和2个a其实是一组密码，“1111”代表一个约定地点，“aa”代表一个约定事件，这组数字和字母的意义就有了相应的解读，那么它是不是数据呢？

符号如果想被认定为数据，就必须承载一定的信息。信息很可能因场景而定，因解读者的认知而定，所以，符号是否能作为数据使用，解读者的主观视角具有决定性的作用。解读者是否能够正确解读信息，将直接导致相应的符号是否能够被认定为数据。

数据无处不在。在网络上、在报纸上、书籍上。在家用电脑的磁盘上，在我们的脑海里，数据大量且广泛的存在。围绕数据，人类已经做了很多数据科学的研究和应用工作，其中最为基础的就是数据的存储、传输。数据的价值在于数据上承载的信息，信息的价值在于消除不确定性的成本及其直接和间接的作用，而这一系列的价值使得我们对数据的价值予以空前的重视。

随着互联网时代的到来，颠覆了传统行业的盈利模式，大家都把注意力集中在了互联网上。前几年大数据时代的来临，为各行各业提供了更加开阔的数据用作分析。

百科对于大数据是这样解释的：麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。

大数据大数据，核心仍然是‘数据’。在学习大数据技术前，我们首先应该明白大数据的‘数据的本质’。

首先，不论是企业行为或是政府决策，亦或者个人文化和心智修养，判断世间万物，甚至包括洞察宏大的宇宙变化和时空转换，都可以也应该嵌入数据化去思考，若是无法理解这一点，那么就要思考自身是否适合往大数据方向发展。

其次，研究并开发利用绝大部分数据大多是无用且有害的，这个过程既枯燥而且也不确定得来数据的价值。但是，可以利用一些好的办法和简单的规律，使数据活用起来，否则，学习发展大数据将失去本该有的意义。

最后，从事大数据工作的各类人才在进行数据化思考时，一定要时刻想到、意识到‘关联’二字。关联一是要找出数据与数据之间的关联性，二是要处理好的数据从自动生成到传输存储，三是要加工挖掘再到形成有价值的东西流通交易，最后再回到对源数据生成及其采集流程的有针对性地再造。这一循环各环节缺一不可，以此建立人与人之间合作信任的长效可持续机制。

大数据不是独奏，而是不断连接、无处不在的数据

前几天有私信给我要大数据学习资料，我连夜整理了一些有深度的教程和参考资料，从入门到高级，文件已经上传好，正在学习大数据的可以免费下载学习，文件下载方式：

首先把代码撸起来！首先把代码撸起来！首先把代码撸起来！哈哈！编程是们手艺活。什么意思？得练啊！