洞察与大数据之间是什么关系？大数据解决不了的问题可以用洞察来解决吗？

大数据与洞察之间不是相互替代关系。前者是后者的原材料，后者是用前者生产出的产品，二者之间并不矛盾。

大约从2012起，中国兴起了一股大数据热潮。在各方的炒作下，大数据被包装得无所不能，成为解决各种问题的万能良药。于是乎，人们都在谈论大数据，仿佛不懂大数据就会被时代抛弃了一样。很多企业盲目上了大数据系统，有的甚至斥巨资来追赶这股热潮，还有的大幅削减在传统洞察方面的投资，转投到大数据上。2016年以来，热潮迅速退去，人们才发现，号称搞大数据的，大部分是在裸泳，不少甚至在以“黑数据”冒充“大数据”在骗钱。于是，交了学费、尝了苦头的企业，产生了另一种认识，即大数据否定不能解决问题，开始对各种大数据持怀疑和态度了。

其实这里存在一个认识误区，就是把知识的各个层次混淆了，把数据与洞察混为一谈。严谨一点说，知识有四个层次，即：数据，即产生洞察的原材料；信息，即经过加工和处理，形成的对事物属性的描述；知识，即经过人类大脑的加工，融入人类的价值判断，对事物的优劣、是非的认识；洞察，则是对知识的升华，具有指向性，可以告诉人们如何选择，或者怎样的选择会导致怎样的结果。由于人们在现实生活中通常并不做这种区分，把大数据与大数据应用、大数据洞察，也就不足为怪了。

无论大数据热潮中炒作者把大数据说得多么神，他们所能做的，基本是停留在数据和信息层的，特别强调数量的大，是对数据的获取、结构化、清洗、描述而已。这样的所谓“大数据”，当然没有多少实际用处，解决不了什么实际决策问题。我们眼里的大数据，则是数量（Volume）、多样性（Variety）、激增性（Velocity）、价值性（Value）的统一，是把各种来源、各种形式的大量且在不断快速增长的数据，经过数据技术的分析挖掘，融入知识、理论模型，从而形成知识和洞察的过程和应用。

不得不说，现存的大数据产品和服务，尽管在实用价值上有了很大进步，但输出结果普遍存在机械性、内部一致性问题或曰逻辑自洽问题。背后的原因，主要是过度依赖数据可供性和技术，缺少了对数据背后商业意义与商业逻辑的理解，机械地把现象间的共发当作因果，甚至不考虑时间先后。这就是我们强调数据、技术、知识三位一体结合的原因，其中的知识，就是指对数据背后商业意义和商业逻辑的理解，包括决策的理论与模型。

张文双参加”第四届‘一带一路’园区建设国际合作峰会暨第十五届中国企业发展论坛营商环境峰会”同向与会代表介绍了动因大数据与传统大数据的本质区别,他说:“我们把消费者通过社交媒体、自媒体平台表达意见、态度、价值取向产生大数据的称作表达大数据,其特点是芜杂、不聚焦;把他们在电商、服务平台通过交易、出行、搜索、浏览等操作形成的大数据称作痕迹大数据,这种大数据具有事后性和碎片性;而动因大数据的价值在探究表达、痕迹背后的态度、心理及场景因素,具有强烈的主动性、目的性、预示性,更好地诠释现象背后的深层关系,解读原因,预测未知。他相信,动因大数据将在表达大数据和痕迹大数据基础上,形成大数据的第三极。这三种大数据相互支撑,相互补充,才是大数据的完整图景。（作者：张文双）

作者简介：

张文双，云图元睿（上海）科技有限公司董事长，主要创始人。经济学专家，营销管理专家，曾任WPP集团旗下国际研究集团中国区副总裁、董事 ，全球研发机构产品评审委员会（PET）成员、营销科学集团（MSG）中国区负责人，战略管理委员会核心成员。美国营销协会（AMA）会员。2017年与合伙人联合创建云图起势（上海）科技有限公司 及云图元睿（上海）科技有限公司。现任云图元睿（上海）科技有限公司董事长、CEO 。

主要研究咨询领域：市场细分战略，新产品研发战略，品类管理战略，品牌资产评估与管理，顾客资产评估与管理，人才资产评估与管理，多源数据整合与挖掘，高级统计分析与建模。（源自：百度百科）

现在的每一个人都是被数据绑架了的，如果表达这样的观点的话，会有人反驳吗？我想应该是没有的，因为我们现在就是处在一个大数据的时代里面。我们每天使用的是我们的智能手机，智能手机里面有一个功能叫做云功能。这不是新鲜的词汇了吧，这就相当于为你自己的所有信息做了一个收集，而且你的手机的智能性会根据你每天的浏览状态和消耗状态的情况为你智能匹配出属于你的内容。

真的是实现了一句话，叫做世界上不会有两片相同的树叶。只不过是改头换面了一下，因为每个人的数据绝对是不一样的。我们的数据是有什么用的呢，要知道我们这些创造的数据那是相当有用的。就像是我们知道的很多商业的大亨，他们都是十分的看重我们的数据的，因为在他们的眼里我们的数据都是可以转化金钱的可能性，对这就是数据的强大性。

我们一般来说，我们每天接受到的推送真的接受过精密的计算的，这就要论算法的强大性。当我们的数据量被工程师接收到之后，就会通过细致的分析，最后产生一份详尽的报告。这样的报告就会反馈给我们的手机，现在的手机应该都可以自己计算了吧！总之就是属于你的手机真的是越来越像你自己，因为里面记录了太多属于你的痕迹。

所以说，为什么我们的马云、，马化腾这样的人物会踏上我们的中国首富，正是利用了数据的强大性。可以有效的分析自己的目标人群在哪里，可以知道自己的隐形的客户是谁，可以为自己的下一步的商业推广指明方向，所以APP上就会有越来越多的客户。这就是线上的一些推广策略，一定是要精准定位的，才可以有效的使用自己公司的人力。

就像马云的公司里面，招到的都是一些高精尖的人才。有一个男孩在几分钟的时间之内，迅速的攻破了阿里的防护网络，简直就是要惊掉下巴的节奏，因为我们知道的，阿里的安全维护也是做得相当好的，也是有很多人才都在做这些工作，但是这个男孩这么厉害，最后去哪了呢，不用说，当然是被马云招到自己公司了。这样一个厉害的数据人才，马云一定是不会放过的。

我们生活中所有使用的APP都有类似的功能，尤其在快递业越来越发达的今天，好像时不时就是买个快递，订个外卖，所以好像我们的信息越来越透明化了。但是，这样自己的信息被别人知道不会很危险吗？是的，是很危险的，尤其是近段时间，相信我们也听说了很多的事情，无一不是和信息的流出有关系。

所以，在这个大数据时代，我们一定要注意保护自己的信息。因为，你的信息基本上就是可以代表你这个人，当每个人都是由无数的代码组成的话，如果你不注意保护自己的信息，最后你就变成透明的了，是很可怕的。

像许多口号一样，“大数据”的概念带有多种定义。从GIS的角度来看，大数据描述了数量庞大的数据集，无论是数量还是复杂性，它们都需要先进的数据、管理，处理、分析工具和技能。如此庞大的数据集可能需要大量的工作，但额外的努力可以带来巨大的回报。地理空间大数据提供详细信息和上下文信息，可跨多个学科和应用程序提供即时和长期价值。

地理空间大数据可以包括来自各种传感器和数据收集方法的信息。可以使用手持式或测量级GNSS，专用现场计算机甚至智能手机收集具有相关属性的点和特征。与其他技术相比，这些数据集很小，但它们提供了非常高的精度和细节，可以快速更新。移动测绘系统结合激光雷达，成像，GNSS和其他传感器来捕获大量3D信息。然后将数据融合以开发综合模型和数据库。从机载和卫星平台收集的数据范围从图像和激光雷达到多光谱遥感。

收集地理空间大数据的能力继续增长。根据Euroconsult 2014年的一份报告，预计在2023年结束的十年中将有350颗新的地球观测卫星。更接近地面的是，无人机系统（UAS）提供灵活，经济的工具来收集图像。地面3D扫描仪和摄影在细节要求或有限能见度发挥作用的区域收集全面的信息。

试图利用地理空间大数据的巨大数量和多样性就像从消防水管中饮用。为了处理大量数据，现代软件将图像处理，点云管理和摄影测量技术集成到现有的地理空间工作流程中。新的专业解决方案，如自动3D建模和特征识别，通过从大图像和点云中提取专业信息，进一步提高了大数据的价值。

大数据在GIS中的作用

大多数人认为GIS是地图的基础。但它远不止于此。GIS可以作为大数据提供的位置，属性和信息的相关，可视化和分析的平台。通过将资产的位置与其他属性相关联，可以更好地管理该资产。关键在于收集和管理信息。

在大范围内，GIS专业人员可以从多个来源获取数据。例如，考虑地理空间技术在分析农村和城市环境中森林健康方面的作用。原始数据可以来自卫星遥感图像以及机载激光雷达和摄影。来自手持GIS数据采集器的数据提供了详细信息，可用作航空数据的检查点和地面实况。融合和分析后，综合数据可提供有关城市冠层，树木类型，损坏，健康评估以及与树木覆盖相关的热量和能量使用评估的信息。在农村地区，林农可以使用这些信息来评估树木的大小，健康状况和潜在的收获价值。

大数据还改善了GIS的时间组件。初始数据收集允许用户检查特定时间点的特征和条件。后续收集提供了分析资产随时间变化的行为的信息。诸如TrimbleeCognition高级数据分析软件之类的变更检测软件可以检查大型数据集，以自动识别新的或更改的功能。地理空间数据的快速采集和自动处理为时间敏感的应用提供了新的效率，包括工程，土地管理，运输，农业，建筑，远程信息处理等。

大数据的新来源

许多可以从航空和卫星数据中受益的组织没有能力自己收集它们。因此，他们经常求助于机载摄影和图像处理的服务提供商。来自Landsat等卫星系统的图像可以免费获得，但可能缺乏许多GIS应用所需的分辨率。

新选项Trimble Data Marketplace使用户能够查看和选择可用于给定位置的各种地理空间数据。市场策划来自各种公共和私人来源的数据，包括政府图表和地形模型，Landsat图像和高分辨率商业卫星照片。频繁更新图像使用户能够对自然或构建的功能进行基于时间的分析。

不断扩大的大数据可用性和使用为地理空间专业人员带来了新的机遇。随着技术的发展，GIS将增加处理来自越来越多来源的更多数据的能力。例如，UAS为组织提供了从自己的环境中收集数据的可能性。他们可以将数据注入其他大数据集，以实现可视化和高度自定义的分析。

越来越多的学科中的客户正在认识到地理信息的价值，并寻求将其整合到他们的运营中。不断增长的需求将提高收集和共享地理空间和相关信息的效率。

地理空间专业人员拥有选择和整合最适合生成所需信息和结果的数据的技能和工具。通过与客户和利益相关者密切合作，地理空间专业人员可以成为客户信息流的可信赖顾问和关键部分。

在我们日益进步的科技生活之中，我们每天都在运用着科技的产物，方便着我们的生活。他们在我们生活中无处不在，可能很多地方你们都没有意识到，但貌似我们现在的生活离不开它。科技的产物。标志着这个时代的进步，也标志着这个时代处在一个什么状态。它不仅丰富了我们的物质生活，对于我们的精神生活也提升了不少。我们的生活离不开科技，我们的时代离不开他的进步，要发展到发达的国家，科技发展应该被重视的一个项目。因此我们国家在尝试着不断创新，鼓励创新，因为创新中永远会有新的东西产生。让所有的不可能变成可能。让所有开始只能在神话里出现的东西变成了现实。我想这就是科技的作用。

这一段时间大数据这个名词显得那么的引人注意，但大数据到底是个什么东西呢？小编也只是有所了解而已。经过了几番查询，大概弄懂了它的基本意思。大数据的基本概念是：大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。总的来说，大数据就是那些用软件和人工一些方法无法统计出来的一些数据的一个总集。而用大数据的方法处理，可以将这些东西一一分析处理出来。觉得小编说了那么多屁话。还是没有说出大数据是什么东西？这可能是一个只可意会不可言传的东西。在教科书上也没有他十分明确的一个定义。但相比之下，他有四个比较重要的特点，人们因此一直在利用了他。因为大数据也没有一个明确的规定。相比之下，只要符合这四个特性，我们就可以称它为大数据。

第一个高容量，敢称为大数据，那么它的大就得有一定的级别了，大容量是它的一个特点。基本上都是TB来开头的，现在很多基本上都是PB级别的，要是用GB去称的话，可能不怎么好意思叫做大数据了，若是硬要说它是的话，那小编也只能笑一下，不说话。因此，大数据离不开那个大，大容量是他的特点之一。

第二个多样化大数据来自很多方面，他要的数据和信息含量是非常庞大的分析的大数据是一般软件和app所不能代替的。要分析的东西量很大。而且不是单一的量。因此他必须有多样化的一个特点。这样才能将数据处理出来，并且完整的整理好。

第三个便是他的高速运行了，既然他的许多方面能高于传统的统计。那么自然有着它的优点。他不仅仅能统计出许多人类想都不敢想了一些庞大数据。人们接受它的另一个特点就是高速。大数据模式里面的高速运算和高速统计的方法使她显得格外的厉害。既然被称作高速，那么它的速度有多快呢？人类的欲望是不止不休的。要满足现在人们的要求那肯定质量不能低了。速度必须达到一秒能处理上亿个数据的速度。意思就是，上亿的东西一秒就能查出来。速度要是再快一点，上千亿的数据也只需要一秒钟就能查询出来。这就是它的高速。

第四个它的价值。既然能被人接受还被那么多人广泛的运用，那么它的价值肯定少不了。就好比一个仓库，只有在里面存了货才能称作仓库。大数据也是这样他们能很清楚的分类。将许多有用的和没用的东西都明确的分出类别来，这个能力也是相当厉害了。若是能将许多有用的有价值的东西全部理出来，那可是一笔不小的功劳。在上亿上乃至上千亿的数据里找到有价值的东西。而且只需要一秒。不知道网友们觉得大数据是不是个十分有用的东西呢？

我想只有具备了以上四个条件的基本特征，才好意思称为大数据吧。他的能力是有目共睹的。小编就将它形象地理解一下。生活中许多地方都运用了大数据这个功能只是大家不知道而已。就像我们身边的淘宝一样马云的团队十分会利用大数据这个东西。当我们想买东西的时候，浏览了一下淘宝网页。我大数据就会开始分析你想要的东西什么类别。在之后你每次登录淘宝之前。他们都会有推荐，推荐的都是你曾经想要的一些东西和你看过的一些东西，很多人都在疑惑他怎么知道我会想要这个，他是怎么做到的？这个就是大数据的功劳，这个对于他们来说大数据宝贝。不光是阿里巴巴。其他许多新闻网页都是这样。就这样抓住了消费，怎么能爱好，就算消费者在不想找，它也会很轻松的把你想要的东西推送到你面前来。就对许多抵不住诱惑的消费者来说又是一波消费了。可谓是大数据对商家们可是有大用处。

这就是科技的产物。数据分析是现在时代的一个走向。若是用好了他，对人类的贡献将是功不可没。好了，小编今天的故事就到这里了，想要获得更多资讯，记得关注小编哦

黑发不知勤学早

白首方悔读书迟

在今天的这个社会你一定听过的时髦词语有：人工智能、大数据、互联网思维…，而本书《大数据时代》是2012年出版的，忆往昔，2012的时候小米手机1第一次正式网络售卖，那时的我刚踏入大学的校门，那时的你也绝不可能想象到几年后社会发展的如此之快，各种数据、各种共享经济席卷而来。虽然已经6年多过去了，但今天读这本书会发现，书中的思维依然值得我们学习。

另，这本书不是一本IT行业的技术书，并没有涉及到具体处理大数据的技术，而是一本开拓思维的、帮我们认识和了解大数据的指导性书籍。

本书作者是维克托·迈尔-舍恩伯格，为了说明这个作者牛X，简单贴一些他的成就：

学术成果有一百多篇论文公开发表在《科学》《自然》等著名学术期刊上，他同时也是哈佛大学出版社、麻省理工出版社、通信政策期刊、美国社会学期刊等多家出版机构的特约评论员。 世界知名企业信赖的信息权威与顾问。他的咨询客户包括微软、惠普和IBM等全球顶级企业；而他自己早在1986年与1995年就担任两家软件公司的总裁兼CEO，由他的公司开发的病毒通用程序，成为当时奥地利最畅销的软件产品。 众多机构和国家政府高层的信息政策智囊。他一直专注于信息安全与信息政策与战略的研究，是欧盟专家之一，也是世界经济论坛、马歇尔计划基金会等重要机构的咨询顾问。

此书目录的结构清晰明了，第一部分主要是讲大数据时代的思维，第二部分讲了很多大数据在商业中的具体应用案例。体现作者水平的是第三部分，作者考虑到了大数据也是有两面性的，数据不可能主宰一切，故在第三部分讨论了大数据发展中带给人们的问题以及人们的应对措施。

了解大数据之前先要明白两个概念——数字化与数据化。

数字化：把模拟数据转换为0,1表示的二进制码。

一个例子就是，电脑、手机处理的数据都是数字化的0,1数据，而现实世界的温度、压力的实际存在形式是连续变化的模拟数据。数模转换是通过传感器、数/模、模/数转换器实现两者之间的相互转化。

数据化：将现象转变为可制表分析的量化形式的过程。所谓的数据挖掘、数据分析就是对数据化后的数据处理。

其中，数字化是数据化的前提。

对我来说，此书的帮助就是拓展了新的思维方式，认识到大数据时代的3个特点：

1.不是随机样本，而是群体数据

小样本时代： 样本远小于总体

大数据时代： 样本等于总体

正因为，样本数据量的增多，才挖掘到了数据间新的关系。对这么多样本数据的采集得益于今天技术的发展，电子化驱动的世界中，手机的信息、汽车上的传感器、微博空间的消息…都可以被记录并保存下来用于分析。

2.不是精确性，而是混杂性

因为小样本时代，最基本的要求就是保持收集数据的准确性，以利于分析并得出正确结论。而大数据时代，数据量的巨大和数据格式的不统一，必然会夹杂混乱或错误的数据，但为了利用大数据的优点必然要接受错误数据的存在。

这让我想起了一句话“模糊的精确比精确的模糊更好”。大数据让我们不再期待精确性，也无法实现精确性。

3.不是因果关系，而是相关关系

两个不同的逻辑方式对数据处理的过程也不一样：

因果关系： 为什么。

相关关系： 是什么。

例子：沃尔玛是世界上最大的零售商。2004年沃尔玛分析它的商品数据发现，每当季节性飓风来临之前，不仅手电筒销售量增加了，而且蛋挞的销量也增加了。因此当季节性风暴来临时，沃尔玛会把库存的蛋挞放在靠近飓风用品的位置，方便顾客购买。

上面这个例子说明，对于大数据分析得到的结论，我们往往暂时发现不了或者找不到数据间的因果关系。但大数据的现实结论又摆在眼前，所以在大数据的时代，除了我们潜意识里常用的因果关系外，我们要重视相关关系这一逻辑。

大数据的核心是什么？——预测。

我们处理大数据就是为了预测，预测城市里哪条道路现在不堵车、预测汽车零件是否该维修替换了、预测人们网上购物的个性化需求以推荐合适的商品…

虽然大数据的预测通常被视为人工智能的一部分，或一种机器学习，但这种定义有误导性。我们是通过用大量过往数据蕴藏的关系来对未来同类型事情进行预测，并不是教机器像人一样思考，更不是指望大数据像“神”一样预测未来的一切。所以，大数据的预测是一定条件下、有限的预测。

大数据的更好的发展需要三个方面的提升：思维、技术、数据。

数据本身并无价值，只有使用才会体现其价值。对于三者的关系，我认为技术是外在的实现手段，而数据是所有的基础。但在早期阶段，技术和思维是最有提高价值的，也是我们现在可以抓住的机会。

大数据发展的弊端：

1.隐私问题

2.预测判断以及惩罚人类的潜在行为，与伦理相悖

隐私问题随着商业公司和我们对数据的重视必然会有一定冲突。但这个问题远不如第二个问题严重。试想一下，大数据通过收集你以往做的事和说过的话，判断出80%的概率你将会有违法行为，故警察到家里把你逮捕。这是多么可怕！大数据预测和惩罚人们，并不是因为“所作的事情”，而是因为“将要做的事情”，而将要做的事情是机器判断出来的，我们并没有发生的行为。

对于这一个问题，我们必然要思考人与数据的关系。我的思考是，人是高度复杂的，数据是由人产生的，我们可以借助大数据的力量优化我们的社会，提高我们的工作生活效率，但应避免对数据的过度依赖，成为数据的“奴隶”。数据没有思维能力，更没有创新能力，数据造不出改变世界苹果，而人可以。

人的未来必须保留部分空间，否则大数据会扭曲人类最本质的东西——理性思维和自由选择。书中的一句话很好“人类最伟大之处正是算法和硅片没有揭示也无法揭示的东西，因为数据无法捕捉到这些”。

最后问你一个问题，你认为“日久见人心”是一种大数据思维吗？

END

诗词赏析 | 读书感悟 |

—不悔书堂—

“大数据”时下一个热门的词语，近几年来，关于大数据的著作和文章铺天盖地，似乎也在共同在传递一个信息：越来越多的行业、人士开始关注并实际探索大数据的应用，我们正在一起描绘着大数据巨大效用的蓝图，但在实践的路上，我们都孩子起步阶段小步前行。

大数据根基于互联网，数据仓库、数据挖掘、云计算等互联网技术的发展为大数据应用奠定基础。对于任何一个大数据的从业者或初接触者，或者都会有个共同的感触：大数据很有用！但大数据是什么呢？

今天就给大家讲解一下：

对于大数据的定义，我们来引用3个比较差用的大数据定义：

1）Gartner：需要信息处理模式才能具有更强的决策力，洞察发现力和流程优化能力的海量、高增长率很多样化的信息资产。

2）IDC：海量的数据规模（Volunme）、快速的数据流转和数据体系（Velocity）、多样的数据类型（Variety）、巨大的数据价值（Value）。

3）Wiki：或称巨量数据、海量数据、大资料，指所涉及的数据量规模巨大到无法通过人工，在合理时间内达到截取、管理、处理、并整理成为人类所能解读的信息。

其他关于大数据的定义也大抵类型，我们可以用几个关键词对大数据做一个界定。

首先，“大规模”，这种规模可以从两个维度来衡量，一是时间序列累积大量的数据，二是在深度上更加细化的数据。

其次，“多样化”，可以是不同的数据格式，如文字、图片、视频等，可以是不同的数据类别，如入口数据，经济数据等，还可以有不同的数据来源，如互联网、传感器等。

最后，“动态化”，数据是不停变化的，可以随着时间快速增加大量数据，也可以是在空间上不断移动变化的数据。

这三 个关键词对大数据从形象上做了界定。

但是还需要一个关键能力，就是“处理速度快”。如果这么大规模、多样化又动态变化的数据有了，但需要很长的时间去处理分析，那不叫大数据。从另一个角度，要实现这些数据快速处理，靠人工肯定是没办法实现的，因此，需要借助于机器实现。

最终，我们借助机器，通过对这些数据进行快速的处理分析，获取想要的信息或者应用的整套体系，才能称为大数据。

我们可以用下面的图示给大数据定义：

这下，就知道什么是大数据了吧

文如题，今天我们重点来介绍一下大数据的四个”V”，其实这四个“V”也影射出了大数据行业的特点，如果连大数据的特点都不知道，那就要是去参加大数据培训的话，那可就有点尴尬了。

第一，多样化（variety）。这里包含两个方面，一个是数据来源多样化，就是我们采集的数据通过不同的渠道，不同平台产生的多样化；还有就是数据的结构数据多样，有结构化的和结构化的等等。

第二，就是大量化（volume），这个我们比较好了解，毕竟名字就带着这个意思。互联网的发展规模，我们每天通过它产生的数据也是与日俱增，现在我们可能一年里产生的数据量，都能和之前的史上数据相匹敌了，大量化实至名归啊。

而第三个“V”，叫做速度化（velocity）。这里面涉及到大数据的整个流程，比如数据的增长速度，还有我们对数据的处理速度，很多类型的数据我们已经能够做到时时反馈了，刚刚收集到马上就能反过来影响我们的生活。

而最后一个相对于前三个来说有点陌生，叫做价值密度低（value）。也就是大数据虽然数量巨大，但是也不是越多越好的，其中有很多都是没意义的，有用的数据就被淹没在这海量的没用数据之中了，而这一点也是大数据技术的工作难点之一，要将那些海量无用的、复杂的数据做深度的分析，从其中挖掘那些对我们来说是有价值的数据。

说完这些，再来回忆我们之前对大数据的认知，是不是有些迷茫的点变得清晰了，对大数据也有了一个更深的理解了吧。这回我们再去大数据培训，心里也有了底气了。如果你想了解更多大数据知识，记得点赞，分享我的文章，虽然篇幅不是很长，但是会对大家有所帮助，小编在这里谢过啦！

前沿技术普及系列·写在前面

不知道大家有没有和象牙妹儿一样的感觉，就是最近1年很多AI产品铺天盖地的来到了我们的生活，比如某些家的智能陪伴音响、翻译棒、智能机器人、AR拍照手机等等。

这里面背后的前沿技术大数据、云计算、区块链、物联网、 5G、数字化…前几年甚至现在听着还很遥远，却已有不少在冲击着商业的世界，渗透进我们的生活！

如何拨开层层浓雾，抵达未来的彼岸？如何把握技术的钥匙，启开未来商业世界的大门!

大象互联网圈发起主办的第二届中国【郑州】开发者大会不但关注技术·商业的融合，也关注着前沿技术的分享。

因此，从今天起，大象互联网圈公众号将目光聚焦在大数据、云计算、物联网IOT、人工智能AI、区块链、VR/AR等板块，一一从概念层、目前行业发展状况、企业实际应用层、技术层、岗位前景等为大家带来干货的普及，快来和象牙儿妹一块围观吧！

本文由“壹伴编辑器”提供技术支持

正文

如果你说大数据就是数据大，或者侃侃而谈4个V，也许很有深度的谈到BI或预测的价值，又或者拿Google和Amazon举例，技术流可能会聊起hadoop和Cloud Computing，不管对错，只是无法勾勒对大数据的整体认识，不说是片面，但至少有些管窥蠡测，也许“解构”是最好的方法。

首先，大数据就是互联网发展到现今阶段的一种表象或特征而已，没有必要神话它或对它保持敬畏之心，在以云计算为代表的技术创新大幕的衬托下，这些原本很难收集和使用的数据开始容易被利用起来了，通过各行各业的不断创新，大数据会逐步为人类创造更多的价值。

其次，想要系统的认知大数据，必须要全面而细致的分解它，本系列文章我们着手从概念、技术、实践三个层面来展开，本篇文章我们先介绍概念层。

本文由“壹伴编辑器”提供技术支持

大数据的定义

大数据（Big Data）概念是1998年由SGI首席科学家John Masey在USENIX大会上提出的。他当时发表了一篇名为Big Data and the Next Wave of Infrastress的论文，使用了大数据来描述数据爆炸的现象。但大数据真正得到业界关注，则是其后多年的事情了。

大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

本文由“壹伴编辑器”提供技术支持

大数据的分类

互联网上的大数据很难清晰的界定分类界限，我们先看看BAT的大数据：

百度拥有两种类型的大数据：用户搜索表征的需求数据；爬虫和阿拉丁获取的公共web数据搜索巨头百度围绕数据而生。阿里巴巴拥有交易数据和信用数据。这两种数据更容易变现，挖掘出商业价值。除此之外阿里巴巴还通过投资等方式掌握了部分社交数据、移动数据，如微博和高德。

腾讯拥有用户关系数据和基于此产生的社交数据。这些数据可以分析人们的生活和行为,从里面挖掘出政治、社会、文化、商业、健康等领域的信息，甚至预测未来。

在信息技术更为发达的美国，除了行业知名的类似Google，Facebook外，已经涌现了很多大数据类型的公司，它们专门经营数据产品，比如：

Metamarkets：这家公司对Twitter、支付、签到和一些与互联网相关的问题进行了分析，为客户提供了很好的数据分析支持。

Tableau：他们的精力主要集中于将海量数据以可视化的方式展现出来。Tableau为数字媒体提供了一个新的展示数据的方式。他们提供了一个免费工具，任何人在没有编程知识背景的情况下都能制造出数据专用图表。

ParAccel：他们向美国执法机构提供了数据分析，比如对15000个有犯罪前科的人进行跟踪，从而向执法机构提供了参考性较高的犯罪预测。他们是犯罪的预言者。

QlikTech：QlikTech旗下的Qlikview是一个商业智能领域的自主服务工具，能够应用于科学研究和艺术等领域。为了帮助开发者对这些数据进行分析，QlikTech提供了对原始数据进行可视化处理等功能的工具。

本文由“壹伴编辑器”提供技术支持

大数据的4V特征

即Variety(多样化)、Volume(大量化)、Velocity（快速化）、Value(价值密度低)。如下图所示。

其中，Variety表示来源多和格式多，数据可以来源于搜索引擎、社交网络、通话记录、传感器等等，这些数据要么以结构化形式存储，要么以非结构化数据存储；Volume表示数据量比较大，从TB级别，跃升到PB级别。

尤其是在移动互联时代，视频、语言等非结构化数据快速增长；Velocity表示数据存在时效性，需要快速处理，并得到结果出来，这一点也是和传统的数据挖掘技术有着本质的区别；Value表示大量不相关信息，不经过处理则价值较低，属于价值密度低的数据。

本文由“壹伴编辑器”提供技术支持

大数据处理流程

都有以下几个过程：数据采集、数据清洗、数据建模、数据加工、数据展现。如下图所示。

举个例子，做饭通常都要包括“买菜~洗菜~配菜~炒菜”这几个必须环节，无论你是开饭店还是家里一日三餐，做饭的规模大小会有不同，但流程却是一样的。而这几个环节其实正好对应了数据人的日常工作内容：买菜（数据采集）~洗菜（数据清洗）~配菜（数据建模）~炒菜（数据加工）-上菜（数据展示）。

在大数据时代，由于数据种类多，数据大，从结构化的数据到非结构化的数据，数据采集的形式也变得更加复杂而多样。

当存储技术的发展变得步履蹒跚，赶不上数据发展的速度时，分布式存储成为了必然选择，非结构型数据也对存储格式提出了新的要求。

层出不穷的数据源也使得数据量产生了井喷似的迅猛增长。此时分布式存储与NoSQL的诞生回应了这样的需求，解决了大数据存储的根本难题。

本文由“壹伴编辑器”提供技术支持

大数据思维

关于大数据思维即我们该如何去理解大数据，十余年潜心研究数据科学的技术权威维克托·迈尔-舍恩伯格认为要注意三点：

需要全部数据样本而不是抽样关注效率而不是精确度关注相关性而不是因果关系。

阿里巴巴的王坚对于大数据也有一些独特的见解，比如：

今天的数据不是大，真正有意思的是数据变得在线了，这个恰恰是互联网的特点非互联网时期的产品，功能一定是它的价值，今天互联网的产品，数据一定是它的价值你千万不要想着拿数据去改进一个业务，这不是大数据，你一定是去做了一件以前做不了的事情

特别是最后一点，我是非常认同的，大数据的真正价值在于创造，在于填补无数个还未实现过的空白。

有人把数据比喻为蕴藏能量的煤矿。煤炭按照性质有焦煤、无烟煤、肥煤、贫煤等分类，而露天煤矿、深山煤矿的挖掘成本又不一样。与此类似，大数据并不在“大”，而在于“有用”，价值含量、挖掘成本比数量更为重要。

本文由“壹伴编辑器”提供技术支持

大数据的价值

如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。

Target 超市以20多种怀孕期间孕妇可能会购买的商品为基础，将所有用户的购买记录作为数据来源，通过构建模型分析购买者的行为相关性，能准确的推断出孕妇的具体临盆时间，这样Target就可以有针对的在每个怀孕顾客的不同阶段寄送相应的产品优惠卷。

Wal-Mart作为零售行业的巨头，他们的分析人员会对每个阶段的销售记录进行了全面的分析，有一次他们无意中发现虽不相关但很有价值的数据，在美国的飓风来临季节，超市的蛋挞和抵御飓风物品竟然销量都有大幅增加。

于是他们做了一个明智决策，就是将蛋挞的销售位置移到了飓风物品销售区域旁边，看起来是为了方便用户挑选，但是没有想到蛋挞的销量因此又提高了很多。

这些例子真实的反映在各行各业，探求数据价值取决于把握数据的人，关键是人的数据思维；与其说是大数据创造了价值，不如说是大数据思维触发了新的价值增长。

未来在大数据领域最具有价值的是两种事物：1-拥有大数据思维的人，这种人可以将大数据的潜在价值转化为实际利益；2-还未有被大数据触及过的业务领域。这些是还未被挖掘的油井，金矿，是所谓的蓝海。

本文由“壹伴编辑器”提供技术支持

大数据的风险

提到大数据人们生活造成的干扰，你或许对隐私泄露早有耳闻。当你在不同的网站上注册了个人信息后，可能这些信息已经被扩散出去了。

当你莫名其妙的接到各种邮件，电话，短信的滋扰时，你不会想到自己的电话号码，邮箱，生日，购买记录，收入水平，家庭住址，亲朋好友等私人信息早就被各种商业机构非法存储或贱卖给其它任何有需要的企业或个人了。

更可怕的是，这些信息你永远无法删除，它们永远存在于互联网的某些你不知道的角落。除非你更换掉自己的所有信息，但是这代价太大了。

目前，中国并没有专门的法律法规来界定用户隐私，处理相关问题时多采用其他相关法规条例来解释。但随着民众隐私意识的日益增强，合法合规地获取数据、分析数据和应用数据，是进行大数据分析时必须遵循的原则。

因此在大数据的背景下，很多人都在积极的抵制无底线的数字化，这种大数据和个体之间的博弈还会一直继续下去……

专家给予了我们一些如何有效保护大数据背景下隐私权的建议：

减少信息的数字化隐私权立法数字隐私权基础设施（类似DRM数字版权管理）人类改变认知（接受忽略过去）创造良性的信息生态语境化。

本篇关于大数据的理论层面分析就介绍到这，下一篇我们将对大数据价值体现的手段和前进的基石——大数据技术深入进行展开分析。

END

第二届中国【郑州】开发者大会

线上报名通道全面开放

本次大会将开设从数字化到大数据落地专场，现已开放报名通道，门票分为免费票和VIP票两种，其中VIP票权益非常丰富，票价为199元且仅限200张，下面是两种票的权益对比：

什么是大数据？

大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。大数据技术，是指从各种各样类型的数据中，快速获得有价值信息的能力。适用于大数据的技术，包括大规模并行处理（MPP）数据库，数据挖掘电网，分布式文件系统，分布式数据库，云计算平台，互联网，和可扩展的存储系统。

大数据有何作用？

第一，对大数据的处理分析正成为新一代信息技术融合应用的结点。移动互联网、物联网、社交网络、数字家庭、电子商务等是新一代信息技术的应用形态，这些应用不断产生大数据。云计算为这些海量、多样化的大数据提供存储和运算平台。通过对不同来源数据的管理、处理、分析与优化，将结果反馈到上述应用中，将创造出巨大的经济和社会价值。大数据具有催生社会变革的能量。但释放这种能量，需要严谨的数据治理、富有洞见的数据分析和激发管理创新的环境(Ramayya Krishnan,卡内基·梅隆大学海因兹学院院长)。

第二，大数据是信息产业持续高速增长的新引擎。面向大数据市场的新技术、新产品、新服务、新业态会不断涌现。在硬件与集成设备领域，大数据将对芯片、存储产业产生重要影响，还将催生一体化数据存储处理服务器、内存计算等市场。在软件与服务领域，大数据将引发数据快速处理分析、数据挖掘技术和软件产品的发展。

第三，大数据利用将成为提高核心竞争力的关键因素。各行各业的决策正在从“业务驱动” 转变“数据驱动”。对大数据的分析可以使零售商实时掌握市场动态并迅速做出应对；可以为商家制定更加精准有效的营销策略提供决策支持；可以帮助企业为消费者提供更加及时和个性化的服务；在医疗领域，可提高诊断准确性和药物有效性；在公共事业领域，大数据也开始发挥促进经济发展、维护社会稳定等方面的重要作用。

第四，大数据时代科学研究的方法手段将发生重大改变。例如，抽样调查是社会科学的基本研究方法。在大数据时代，可通过实时监测、跟踪研究对象在互联网上产生的海量行为数据，进行挖掘分析，揭示出规律性的东西，提出研究结论和对策。

了解了大数据的概念和作用，我们先来看一下商业巨头们如何利用大数据吧。

一、谷歌公司（google Inc）

第一个 ：ReCAPTCHA案例。

这个虽然是被谷歌收购的，但是，具有典型的谷歌思维。为了解决垃圾邮件和网络机器人的问题，冯.安发明了验证码的解决方案。如果只限于此，也就没有特别可以称道的，但是他意识到每天有这么多人要浪费10秒钟的时间输入这堆恼人的字母，而随后大量的信息被随意地丢弃时，他开始寻找能使人的计算能力得到更有效利用的方法。 他想到了一个继任者，恰如其分地将其命名为ReCaptcha。和原有随机字母输入不同，人们需要从计算机光学字符识别程序无法识别的文本扫描项目中读出两个单词并输入。其中一个单词其他用户也识别过，从而可以从该用户的输入中判断注册者是人;另一个单词则是有待辨识和解疑的新词。为了保证准确度，系统会将同一个模糊单词发给五个不同的人，直到他们都输入正确后才确定这个单词是对的。在这里，数据的主要用途是证明用户是人，但它也有第二个目的：破译数字化文本中不清楚的单词。ReCaptcha的作用得到了认可，2009年谷歌收购了冯·安的公司，并将这一技术用于图书扫描项目，再后来，谷歌街景也开始使用这项技术。把验证码和OCR需求巧妙结合起来，这展示了思维的威力，实现了ReCaptcha技术提供者和使用者的双赢，技术提供者利用OCR识别获得了自己的受益，使用者不需要任何付费(互联网免费思维)，也愿意使用，对于用户其实也没有影响，没有增加额外的工作。上研究生的时候，就研究OCR汉字识别问题，识别率始终是个问题，对于手写就更低了，要花费大量人力来解决，并且，人工识别工作是非常无聊，没有办法来保障质量。再想起12306的验证码，更令人无语了。我们浪费了多少资源?我们有多少资源可用充分来利用?

第二个：拼写检查纠错的案例。

我们都经常使用微软的Word，其中就有拼写检查纠错功能，微软实现这个功能，采用的是传统的软件思维，也就是利用规则和词库来解决，这个需要不断耗费人力进行规则和词库的升级，对于不同的语言，耗费更是巨大。谷歌解决这个方法，用的相对巧妙，在搜索的时候，当你输入一个错误的词时，会给一个提示，要找的是不是建议的词，如果用户确认后，谷歌就进行记录处理，后面，再经过一些算法处理，经过大量的数据学习，各个拼写检查纠错就越来越好，并且，这个后续维护成本很低， 效果越来越好。其实，谷歌翻译也使用了类似的思路，虽然前期算法，包括大数据处理花费了比较多，后续，基本实现了自动化，系统会越来越强，维护升级成本很低，项目就变成可持续发展。

第三个：对流感的预测

2009年，一种新型的流感病毒h1n1在全球迅速传播开来。美国，和世界上所有的国家一样，要求医生们发现案例市告知疾病控制与预防中心。但是，人们并不是在第一时间去医院检查，而是会有一段时间的延迟，消息要传达到疾控中心也要时间，从而造成一定的滞后性。

在该病毒爆发的几周前，谷歌公司的工程师们在《自然》杂志上发表了一篇论文。文中解释了谷歌为什么能够预测冬季流感的传播：不仅是全美范围内，而且具体到特定的地区和州。

谷歌如何做到的呢？数据。

谷歌通过观察人们在网上的搜索记录来完成这个预测，谷歌保存了多年来所有的搜索记录，每天都会超过30亿条的搜索指令。如此庞大的数据资源才能支撑谷歌完成这项工作。

二、facebook。

Facebook（脸书）是美国的一个社交网络服务网站 ，创立于2004年2月4日，总部位于美国加利福尼亚州帕拉阿图，2012年3月6日发布Windows版桌面聊天软件Facebook Messenger ，主要创始人马克·扎克伯格。它是世界排名领先的照片分享站点，截至2013年11月每天上传约3.5亿张照片、截至2012年5月，拥有约9亿用户。Facebook的总部设在硅谷的门洛帕克（Menlo Park）——1 Hacker Way 从2006年9月11日起，任何用户输入有效电子邮件地址和自己的年龄段，即可加入。在2015年8月28日，单日用户数突破10亿。

fancebook，拥有这庞大数据，同时它也不会浪费这些数据。Facebook通过用户社交网络图得知人们的喜好、

说完了，我们转过头看一下我们国内。

大数据现今在国内也是蓬勃发展，让我让数据说话！

大数据企业发展态势

态势一：2017年，我国大数据企业依旧整体呈现“金字塔”状的实力分布，从金字塔上层来看，我国大数据企业发展指数高于50的企业数量占比仅为7.4%，与去年相比，中高区间的龙头企业发展指数均有不同程度的提升，体现出“强者恒强”的发展势头。2017年，随着新晋企业数量增多、初创企业发展活力不断提升，金字塔根基更趋稳固；专精特新的独角兽企业发展势头迅猛，成为我国大数据企业发展的中坚力量。

态势二：2017年，我国大数据企业基础画像指数呈现较为明显的三重集团趋势，可以分为领军企业（数量占比9.23%，指数跨度从62.50到10.46）、中坚企业（数量占比29.49%，指数跨度从9.89到1.00）、上升企业（数量占比为50.16%，指数跨度从0.98到0.001）三类企业。从构成占比上看，2017年，我国大数据领军企业占比基本维持不变，而中坚企业占比显著增加，上升企业比例对比2016年有较为明显的减少。

态势三：2017年，我国大数据企业技术研发指数呈现“龙头领先、中小微主体跟进”总体趋势，技术研发指数超过10的龙头企业数量占比为9.85%，低于10的企业占比达到90.15%。大数据企业技术研发指数平均值为4.06，同比2016增长了3.18%，其中，以华为、中兴等通信企业和BAT等互联网企业为代表的TOP20龙头企业的技术研发指数同比2016年增长了5.73%。

态势四：2017年，我国大数据企业市场拓展指数呈现出“龙头带动、全面壮大”的分布格局，我国大数据企业市场拓展指数小于30的企业数量占到92.88%，指数超过30的大数据企业占比为7.12%。与2016年相比，龙头企业依旧强势引领大数据市场，中间企业及长尾企业亦积极拓展市场版图，行业整体呈稳步发展态势。

态势五：2017年，大数据企业尤其是骨干企业发展集聚态势进一步强化，绝大多数企业集聚在北京、天津、山东、江苏、浙江、上海、广东、福建等东部沿海信息技术产业基础较好的省市。与2016年相比，东北、中西部等重点城市，以及乌鲁木齐、呼和浩特等地的大数据企业集聚化趋势日益明显。

态势六：2017年，我国产业环节大数据企业聚焦数据采集、数据存储、数据预处理、数据分析、数据可视化、数据流通，跨度从19.48到6.87，发展指数相对比较均衡，数据分析环节企业发展指数水平相对突出，发展指数达到19.48，数据大数据分析挖掘环节必将涌现出更多的独角兽企业。与2016年相比，大数据分析环节指数增长3.8，其他环节指数均有不同程度下降。

态势七：2017年，我国重点行业大数据产业企业聚焦政务、工业、健康医疗、交通、农业、金融、教育、能源等17个行业领域，企业平均发展指数为23.36，最高的安防大数据企业发展指数达到35.71，最低的能源大数据企业发展指数为16.89。与2016年相比，主要行业大数据企业平均发展指数同比增加了0.25，大多数行业发展指数都稳中有进，除安防领域初步定型，同比2016年降低了4.01，其他重点行业领域指数均有不同程度上升。

态势八：2017年，我国特色细分领域大数据企业主要分为三大阵营，与2016年相比，三大阵容的特色细分领域发生了明显变化。一是从事人工智能相关的龙头企业处于第一阵营，平均发展指数维持在21左右；二是从事工控安全、数据库、区块链、征信分析、商业智能BI、数据中心IDC、数据营销、基因测序等10类细分领域大数据相关业务的龙头企业处于第二阵营，平均发展指数处于13.97到17.78之间；三是以虚拟现实、开源技术和车联网为代表的第三阵营，整体发展指数相对略低，处于12左右。

进过调研分析，我们可以作出预判

2018年我国大数据产业发展的主要趋势有：

1、产业将持续保持快速增长态势。预计2018年我国大数据核心产业规模将突破5700亿元。

2、融合渗透效应向更深层次延伸。延伸方向既包括经济运行、社会生活等应用领域，也包括物联网、人工智能等关联技术。

3、制造业数字转型作用日益凸显。以大数据驱动制造业数字化转型的新模式、新业态将不断涌现。

4、技术创新仍是产业发展主基调。大数据领域核心关键技术将加速突破，跨学科、跨领域交叉融合技术研究将成为发展重点。

5、产业集聚特色化发展态势逐步显现。国家大数据综合试验区建设的不断深入，一批省级大数据产业集聚区将进一步优化资源配置、形成集聚效应、发挥辐射带动作用。

6、产业生态体系迈入成熟完善阶段。大数据相关政策将加快落地实施，更多创新性政策将加快出台，大数据产业发展环境将进一步优化。

区域大数据产业发展态势：

态势一：2017年，国家大数据综合试验区依然引领产业发展，其所在区域的大数据产业发展总指数在全国大数据产业发展总指数的占比达37.54%。试验区内各省市指数较去年增幅均值为6.23，高于全国增幅均值的5.78，大数据产业发展速度高于全国平均水平。

态势二：2017年，大数据产业集聚发展效应进一步凸显，长三角地区、珠三角地区、中西部地区和东北地区大数据产业集聚发展格局基本形成。

态势三：2017年，北京、江苏、广东、浙江、上海等五省市成为大数据产业发展第一梯队，其大数据发展总指数在全国大数据发展总指数的占比高达26.52%，领先的优势地位明显。浙江省大数据产业发展指数较去年增长12.71，成为全国大数据产业发展指数增幅最高城市。

态势四：2017年，我国东部、西部、中部、东北四个分区产业发展差异化明显。东部地区整体发展水平最高，大数据产业发展指数增幅均值为7.39，远超全国平均水平5.78，天津、河北、海南排名上升；西部地区未来仍有巨大发展空间，重庆大数据产业发展指数较去年增长10.12，增幅仅次于浙江省位列全国第二，宁夏、内蒙古二地成后起之秀；中部地区整体发展速度高于西部和东北，山西发力大数据产业，排名明显提升。东北地区辽宁继续蝉联区域榜首，辐射带动作用逐步凸显。

态势五：2017年，各省市大数据产业发展环境均呈现向好态势，各省市的发展环境平均指数为10.9，较去年提高32.9%，18个省市的发展环境指数高于平均值，占比达到58%，而发展环境指数在去年平均值以上的省市高达30个；同时，江苏、重庆、安徽等地由于组织机制进一步完善、区域信息化水平加速提升等因素影响，较去年排名增速明显。

态势六：2017年，全国各省市大数据产业发展水平均有提升，大数据产业发展总指数为363.9，较去年提升16.8%；

但受数据集聚开放水平、大数据产业规模、大数据企业主体等多种因素共同影响，各省...

什么是大数据？大数据就是指在一定时间范围内无法使用传统数据库工具对其进行捕捉、管理、计算、分析和处理的数据集合，大数据有以下四个特性：海量的数据规模（Volumn），数据类型繁多（Variety），数据流转速度极快（Velocity）以及价值密度较低（Value），我们就说说这四大特性。

海量的数据规模

我们接触最多最敏感的数据那就是我们手机所购买的流量，最常见的数据计量单位为K、M和G，他们的关系为1G=1024M，1M=1024KB。也许你也听过TB，1TB=1024G，这个数据单位对我们来世已经相当庞大了，我们的笔记本最大的容量也就在1TB这个级别，但是在大数据眼里最小的数据也得10TB起，比TB级还大的数据计量单位还有吗？有，而且还很多，1PB=1024TB，1EB=1024PB，1ZB=1024EB，1YB=1024ZB......我们已经无法感知这么大的数据量了。截止到2011 年，互联网用户数已达到20 亿； RFID 标签在2005 年的保有量仅有13亿个，但是到2010 年这个数字超过了300 亿；2006 年资本市场的数据比2003 年增长了17.5倍；日前新浪微博上每天上传的微博数超过1 亿条；Facebook 每天处理10TB 的数据；世界气象中心积累了220TB 的Web 数据，9PB 其他类型数据……

极快的数据流转

数据具有一定的时效性，是不停的变化的，可以随时间数据量逐渐增大，也可在空间上不断移动变化的数据。如果我们采集到的数据不经过流转，最终会过期作废。客户的体验在分秒级别，海量的数据，带来的第一个问题就是大大延长了各类报表生成时间，我们能否在极端的时间内提取最有价值的信心呢？数据在1秒内得不到流转处理，就会给客户带来较差的使用体验，若我们的数据处理软件达不到“秒”处理，所带来的商业价值就会大打折扣。

价值密度低

尽管大数据的数据量巨大，但是有价值的信息极少，我们要通过分析才能将大数据从数据到价值的转变，这些工作量极其庞大，所以云计算是一个很好的解决途径。以监控视频为例，一小时的视频，在不间断的监控过程中，可能有用的数据仅仅只有一两秒。

数据种类繁多

数据的格式是多样化的，如文字、图片、视频、音频、地理位置信息等，也可以是不同的数据类别，也可以有不容的来源，如传感器、互联网。首先用户是一个复杂的个体，单一的行为数据是不足以描述用户的各种行为，多元化的信息采集处理就像拼图一样，逐渐勾勒出我们身体的骨架，增添上我们的血肉。我们在淘宝、京东购物时，总会在下面的推荐区推荐我们想要的东西，比如我们去频繁的搜索浏览某件商品，这是他们就会采集我们浏览的数据，从中挖去有价值的信息，推送给我们。所以说这样的模式给一种体验，那就是这些app越来越懂我们的爱好和需求。

大数据未来会渗透在很多领域，大数据与云计算，机器学习与人工智能，物联网，区块链等。