当今技术领域普遍存在的巨大变化为大数据打开了大门，以改善各行业的业务并促进经济发展。它的作用已经提升到一定程度，从所收集的信息中提取价值已被证明对小型和大型公司都是非常宝贵的。大数据帮助那些在使世界变得更美好的地方负有重要责任的组织更好地完成工作。

大数据在早期并不那么“大”。当时，只有大型企业能够利用它，因为他们是唯一能够负担得起技术的企业。此外，其广泛的服务范围需要更精确的数据，这需要数据分析系统。

从那时起，大数据以极快的速度发展。自从云技术和互联网诞生以来，这甚至允许小企业从中受益。大数据云消除了对精心设置和昂贵的数据专家的需求，因为现在可以使用互联网连接远程访问他们所需的所有信息。

在人工智能，云和物联网的帮助下，即使是大数据的复杂性，也可以由那些愿意将其用于组织优势的人来处理。大数据分析已经超越了热门的IT趋势标签，现在已经成为公司业务的一部分。它将很快取代黄金成为人类最宝贵的资产之一。

为了让您了解最新信息，请查看最热门的大数据趋势，以推动行业未来发展。

快速增长的物联网网络

由于称为物联网（IoT）的技术，我们的智能手机被用于控制我们的家用电器变得越来越普遍。随着Google智能设备（如Google智能设备和微软Cortana）在家庭中流动以实现特定任务的自动化，不断增长的物联网热潮正在吸引公司投资于该技术的开发。

更多组织将抓住机会提供更好的物联网解决方案。这将带来更多收集大量数据的方法，以及管理和分析数据的方法。业界的反应是推动更多能够收集，分析和处理数据的新设备。

可访问的人工智能

人工智能现在更常用于帮助大公司和小公司改善其业务流程。人工智能程序现在可以执行任务，使其比人类更快，更精确，减少错误并改善整体流程。这使人们能够更好地专注于更关键的任务，并进一步提高服务质量。

好消息是，每个人都可以访问运行AI应用程序的预构建机器，以满足不断增长的需求，从而为同一行业的公司提供公平的竞争环境。如果个人组织找到将其整合到业务流程中的最有效方式，则可能会获得优势。

预测分析的兴起

大数据分析一直是企业获得竞争优势并实现目标的关键战略。他们使用必要的分析工具来处理大数据并确定某些事件发生的原因。现在，通过大数据进行预测分析可以帮助预测未来可能发生的情况。

毫无疑问，这种策略在帮助分析收集的信息以预测消费者行为方面非常有效。这允许公司在他们做之前了解客户的下一步行动，以确定他们必须采取的措施。分析还可以提供更多数据上下文，以帮助了解其背后的原因。

黑暗数据迁移到云端

尚未转化为数字格式的信息称为暗数据，它是一个目前尚未开发的巨大储层。预计这些模拟数据库将被数字化并迁移到云，因此它们可用于对企业有利的预测分析。

首席数据官将有更大的作用

现在大数据越来越成为执行业务战略的重要部分，首席数据官正在其组织中发挥更重要的作用。预计他们将在引导公司走向正确方向方面采取更积极的立场。这一趋势为寻求职业发展的数据营销人员打开了大门。

量子计算

使用我们目前使用的当前技术，分析和解释大量数据可能需要花费大量时间。如果我们能在短短几分钟内同时处理数十亿的数据，我们就可以大大缩短处理时间，让公司有机会做出及时的决策，以达到更理想的效果。

这项艰巨的任务只能通过量子计算实现。尽管处于起步阶段，但目前正在量子计算机上进行实验，以帮助不同行业的实践和理论研究。很快，谷歌，IBM和微软等大型科技公司将开始测试量子计算机，将它们集成到业务流程中。

更智能，更严格的网络安全

在过去涉及黑客攻击和系统攻击的丑闻中，组织变得越来越偏执。这促使他们专注于加强信息机密性。物联网也是所有收集数据的一个原因; 网络安全是一个问题。为了应对这种永无止境的威胁，大数据公司倾向于帮助组织使用数据分析作为预测和检测网络安全威胁的工具。

大数据可以通过安全日志数据集成到网络安全策略中，可用于提供有关过去威胁的信息。这可以帮助公司预防和减轻未来黑客和数据泄露的影响。

开源解决方案

有许多可用的公共数据解决方案，例如开源软件，它们已经在加速数据处理方面取得了相当大的进步。它们现在具有允许实时访问和响应数据的功能。出于这个原因，预计它们将在2018年蓬勃发展并且需求量很大。

毫无疑问，开源软件更便宜，因为它可以帮助您的企业降低运营成本。但是，如果您愿意给他们一个机会，您需要知道一些缺点。

边缘计算

边缘计算设置为在处理数据时将云留在尘埃中。由于物联网的发展趋势，许多公司正在转向连接设备以收集更多客户或流程数据。这创造了对技术创新的需求，旨在减少从数据收集到云，其分析和需要采取的行动的滞后时间。

边缘计算可提供更好的性能，因为流入和流出网络的数据更少，云计算成本更低。如果公司选择删除从物联网收集的不必要数据，公司也可以从存储和基础设施成本中受益。此外，边缘计算可以加速数据分析，为公司提供充足的时间做出反应。

更智能的聊天机器人

由智能人工智能提供支持，公司现在正在部署聊天机器人来处理客户查询，以提供更加个性化的交互，同时消除对实际人员的需求。

大数据与提供更愉快的客户体验有很大关系，因为机器人处理大量数据，以根据客户在查询中输入的关键字提供相关答案。在交互过程中，他们还能够从对话中收集和分析有关客户的信息。此流程可以帮助营销人员制定更简化的策略，以实现更好的转化。

----

所有这些跨不同行业的技术飞跃都以大数据的形式奠定了坚实的基础。进步将继续通过更智能的流程帮助创造一个更美好的社会。但要最终从这些趋势中受益，您必须充分了解它们的使用方式以及它们如何帮助您实现业务目标。

这只是一个开始，因为大数据将继续作为您在业务和技术方面所经历的变革的催化剂。现在由您决定如何有效地适应这些变化并帮助您自己的业务蓬勃发展。

在我们日益进步的科技生活之中，我们每天都在运用着科技的产物，方便着我们的生活。他们在我们生活中无处不在，可能很多地方你们都没有意识到，但貌似我们现在的生活离不开它。科技的产物。标志着这个时代的进步，也标志着这个时代处在一个什么状态。它不仅丰富了我们的物质生活，对于我们的精神生活也提升了不少。我们的生活离不开科技，我们的时代离不开他的进步，要发展到发达的国家，科技发展应该被重视的一个项目。因此我们国家在尝试着不断创新，鼓励创新，因为创新中永远会有新的东西产生。让所有的不可能变成可能。让所有开始只能在神话里出现的东西变成了现实。我想这就是科技的作用。

这一段时间大数据这个名词显得那么的引人注意，但大数据到底是个什么东西呢？小编也只是有所了解而已。经过了几番查询，大概弄懂了它的基本意思。大数据的基本概念是：大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。总的来说，大数据就是那些用软件和人工一些方法无法统计出来的一些数据的一个总集。而用大数据的方法处理，可以将这些东西一一分析处理出来。觉得小编说了那么多屁话。还是没有说出大数据是什么东西？这可能是一个只可意会不可言传的东西。在教科书上也没有他十分明确的一个定义。但相比之下，他有四个比较重要的特点，人们因此一直在利用了他。因为大数据也没有一个明确的规定。相比之下，只要符合这四个特性，我们就可以称它为大数据。

第一个高容量，敢称为大数据，那么它的大就得有一定的级别了，大容量是它的一个特点。基本上都是TB来开头的，现在很多基本上都是PB级别的，要是用GB去称的话，可能不怎么好意思叫做大数据了，若是硬要说它是的话，那小编也只能笑一下，不说话。因此，大数据离不开那个大，大容量是他的特点之一。

第二个多样化大数据来自很多方面，他要的数据和信息含量是非常庞大的分析的大数据是一般软件和app所不能代替的。要分析的东西量很大。而且不是单一的量。因此他必须有多样化的一个特点。这样才能将数据处理出来，并且完整的整理好。

第三个便是他的高速运行了，既然他的许多方面能高于传统的统计。那么自然有着它的优点。他不仅仅能统计出许多人类想都不敢想了一些庞大数据。人们接受它的另一个特点就是高速。大数据模式里面的高速运算和高速统计的方法使她显得格外的厉害。既然被称作高速，那么它的速度有多快呢？人类的欲望是不止不休的。要满足现在人们的要求那肯定质量不能低了。速度必须达到一秒能处理上亿个数据的速度。意思就是，上亿的东西一秒就能查出来。速度要是再快一点，上千亿的数据也只需要一秒钟就能查询出来。这就是它的高速。

第四个它的价值。既然能被人接受还被那么多人广泛的运用，那么它的价值肯定少不了。就好比一个仓库，只有在里面存了货才能称作仓库。大数据也是这样他们能很清楚的分类。将许多有用的和没用的东西都明确的分出类别来，这个能力也是相当厉害了。若是能将许多有用的有价值的东西全部理出来，那可是一笔不小的功劳。在上亿上乃至上千亿的数据里找到有价值的东西。而且只需要一秒。不知道网友们觉得大数据是不是个十分有用的东西呢？

我想只有具备了以上四个条件的基本特征，才好意思称为大数据吧。他的能力是有目共睹的。小编就将它形象地理解一下。生活中许多地方都运用了大数据这个功能只是大家不知道而已。就像我们身边的淘宝一样马云的团队十分会利用大数据这个东西。当我们想买东西的时候，浏览了一下淘宝网页。我大数据就会开始分析你想要的东西什么类别。在之后你每次登录淘宝之前。他们都会有推荐，推荐的都是你曾经想要的一些东西和你看过的一些东西，很多人都在疑惑他怎么知道我会想要这个，他是怎么做到的？这个就是大数据的功劳，这个对于他们来说大数据宝贝。不光是阿里巴巴。其他许多新闻网页都是这样。就这样抓住了消费，怎么能爱好，就算消费者在不想找，它也会很轻松的把你想要的东西推送到你面前来。就对许多抵不住诱惑的消费者来说又是一波消费了。可谓是大数据对商家们可是有大用处。

这就是科技的产物。数据分析是现在时代的一个走向。若是用好了他，对人类的贡献将是功不可没。好了，小编今天的故事就到这里了，想要获得更多资讯，记得关注小编哦

我想好多人对大数据还没有一个完整的概念，认为大数据距离自己是很遥远的一件事情，其实呢，大数据离我们并不遥远，并且大数据就在我们的身边，与我们的生活是息息相关呢，那么什么是大数据呢？在百度百科，对大数据的定义如下：

大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

首先，可以肯定一点，大数据肯定是海量的，另外这些数据的价值需要进行处理，整理，分析，挖掘其潜在价值，如果只是一堆海量的数据在哪里放着，也将是毫无价值的，需要经过分析，整理，决策，这样才能产生巨大的价值，如果我们将海量的数据叫做资源，将分析，整理，决策叫做计算，也就是资源+计算产生了巨大的价值，如果没有资源就谈不上计算了，如果只有资源，没有计算也是毫无价值的。

在高速发展的的现代社会里，我们周围充斥着大数据，在全球范围内每秒钟都会有海量的数据产生，并且24小时不间断的持续产生着，接下来就举例说明我们平时周围所能看到的一些大数据吧！

每日的车流量

比如说在城市里，车来车往，小轿车的数量多如牛毛，电子监控设备也是不计其数，每时每刻都会产生大量的数据，这些电子监控设备都会不停的采集这些城市交通数据，每一辆车的车型，车牌号，出现的地理位置，以及路过的时间都不会逃出这些监控设备的法眼。对这些数据的分析就能得到一些有价值的事情，比如哪个地段交通事故频发，需要采取进一步的安全措施，哪个地方违章频发，需要进一步分析什么原因造成的等等。

上下班地铁站

在一些大都市，地铁对每一个上班族来说，肯定是在熟悉不过的事情，地铁的人流量大家也是深有体会的，通过一个小小的公交卡片就能非常快捷方便收集到每一个地铁站，每个时间段的客流量，根据这些客流量也能准确的计算出平时的出现高峰期，以及从而做出正确的决策，比如在哪个时间段，那个站点需要进行人流的控制来缓解交通出行的压力。

每日的阅读数据

现在基本上每个人都有一部智能手机，不论是商场，还是在家里，还是在其他任何地方，相信好多低头族都在不停的刷着手机，也在每时每刻的的产生着海量数据。

每日的购物数据

各种各样的电商网站，各种各样的物品，都在时时刻刻的产生着海量的数据，自从有了互联网，每分钟的交易数与传统的生意相比提高了成千上万倍（远远不止成千上万）。

这些种种活动背后都是有海量的数据产生，上面提到了，作为大数据核心两点就是资源和计算，只有这两点结合起来才能产生巨大的价值，那么大数据的具体处理流程应该什么样一个过程呢？为什么说一个过程中，因为大数据不再是像传统的小量数据，实时产生计算结果，他是一个流程化的过程，一般分成以下几个环节。

数据的收集/采集

这是第一个步聚，数据的产生都是由这个环节引起的，这个环节只是简单的收集数据，不考虑数据的重复性及有效性，就是简单的数据录入

数据的处理及格式转换

这部的主要工作就是将数据加工处理及对数据的有效性及重复性校验，及格式上进行转换，转换成事先设计好的格式，从而方便数据向固定的存储介质上进行存储

数据的存储

上面说的存储介质可能是数据库或文件存储系统等或者是几种存储方式的结合，将采集到的数据进行有效处理从而沉淀下来。

数据的统计分析

对存储的起来的数据进行多个维度进行分析，得出相应的结论，这些维度都是一些技术人员或者业务专家共同探讨制定出来的，按照这些维度能得出来好多有价值的结果！

数据的挖掘

通过对分析到各个维度得出的情况来挖掘他们背后的各种联系，得出相应的策略，从而并很快的实施下去。

大家好，我是“上世是朵花”。如果你有什么好的看法或者观点可以在评论区展现你的才华，互动交流，如果想进一步了解我，那就关注我吧！

｜作者：希小婧&南七道 编辑：南七道

“这两年在大数据领域，纯粹讲概念没有技术的公司都死完了。融资过很多的钱的企业虽然还存活着，但大多过的也很难受。”一位大数据领域的资深创业者，对创界网(ID:ChuangDaily)说出了整个业内的真实现状。

从2016年开始，就有人喊大数据的寒冬来了，但依然有很多资本进入大数据这个领域。到2017年《网络安全法》实施，曾经被称为大数据天堂的野蛮生长时代结束，行业进入调整期。进入2018年，洗牌持续加剧，凛冬真正来临了。

大数据公司的寒冬真的来了

在当下，大数据领域的公司基本是三分天下：BAT华为等巨头系、TalkingData华云数据Dataeye等创业系、和电信、移动、联通等国有系。

2013年到2016年，是大数据相关公司的春天，在这几年，创业公司很容易拿到融资，从几百万到数亿不等，有业内人调侃说：“行业风口期，只要在电脑上打开一个Excel表格就敢说自己是大数据公司，就有可能融到资。”不完全统计，仅在2017年的上半年，就有63家大数据创业公司获得了融资，总融资超过68亿人民币。其中获得上亿元融资的企业有17家。更有人乐观估计，在2020年，整个产业会超过13000亿。

从2016年下半年开始，大数据行业的公司数量就开始逐渐压缩和减少，其中D轮融资超过4亿的百分点等公司开始大幅裁员，据说将超过600人的团队压缩到了300以内。2017新年刚过，亚信数据同样步入调整步伐，负责新领域探索的部门全部砍掉，据说还会有第二轮裁员。

除此之外，大数据公司在融资方面也遭遇难题，除了极个别的头部公司获得了大数额的投资，例如百融金服在今年4月完成了由中国国新基金领投，老股东红杉资本中国基金增持的10亿元人民币的C轮融资外，其他大多数的公司特别是初创团队获得融资的非常少，也有不少公司的融资记录还停留在前几年，比如集奥聚合的融资还停在2014年的B轮。

上海某基金的合伙人对创界网(ID:ChuangDaily)说，他们基金在14-15年投资了12个大数据项目，到了16年投资了4个，17年1个，18年完全停止了投资。主要是观望。而在投资的17各项目中，已经倒闭的有5个，占近30%。转型的有7个，剩下的5个，还在继续熬着。“几乎全军覆没。”说完之后他长叹了一口气。

国内大数据细分领域的头部公司Dataeye创始人汪祥斌指出，即使是估值很高的一些头部项目，现在大多日子也不好过。行业现在最主要的就是谋求商业变现。根据爱分析发布的《2018中国大数据行业报告》显示，我国多家金融、政务大数据公司收入突破亿元大关，看上去一片繁华。但是由于大数据的基础建设需要长期投入，能做到收支平衡已经是不错的情况。少部分公司如Dataeye另辟蹊径，探索海外，已经实现了初步盈利。

还有部分的大数据公司，继续流血融资。多位从业者表示，由于之前概念炒的太火导致现在的大数据公司估值太高、项目太贵，目前整个行业都面临溢价过高这一问题。据说某一头部大数据公司在最新一轮融资中，上市的互联网巨头投资方觉得估值太高，直接打了对折，虽然最后还是融资了，但已经无心对外公布融资金额。

实际上到目前为止大数据领域，没有真正形成规模化变现或者利润很高的公司，面对如今热潮的褪去，当初给投资人开出的溢价无法兑现，后续融资压力很大。即使有收入，在行业营收较好的大数据金融还有政务公司，都面临回款这一硬伤。某大数据公司，和一银行签了一笔100万订单，三年过去了，还有一半的款没有结算。

大数据行业靠着概念就能拿到钱的风光早已一去不复返了，现在的大数据行业面临不可逆转的生死劫。

为什么大数据行业如此萧条？

大数据野蛮生长的时代已经结束，面对行业现在的艰难，追根溯源，是因为行业建设周期长、缺乏底层核心的技术、萎靡的经济大环境等综合原因造成的。

核心的大数据底层技术缺失

即使经过6年发展，我们依然缺乏大数据的核心技术。Dataeye创始人汪祥斌对创界网(ID:ChuangDaily)说，国内所有标榜做大数据的公司，用的基本上都是美国的hadoop底层核心技术，一旦全部切断，那么国内没有一家数据公司能存活下来。

据悉，目前有关大数据底层的核心模块全部来自于美国公司，包括腾讯、阿里在内的所有公司都在用它提供的技术。包括分布式的数据库在内，国内公司在这方面几乎没有原创技术，只有阿里逐渐在大数据开源社区贡献了一些技术。

国内的大数据公司，目前更多是在应用层面进行创造。这是当下国内互联网创业者最擅长的，能短期见效的、变现的应用层面的东西，比如说做数据统计、分析、挖掘等应用层面的技术。这是中国创业者在大数据行业的优势和强项。由于底层技术的缺失，根基不牢，一旦整个行业发展遭遇动荡，产业链上的创业者可能都会被波及，很难长远发展。

数据大而不精的尴尬现状

以广告投放为例，外界都以为大数据公司掌握大量数据，可以做到精准投放来增强产品购买率，在理论上来说没错，但其实只是一个理想状态。实际情况下，一个人的消费是由诸多维度的信息共同组成的。要实现信息采集、画像分析、用户推送、交易转化，需要掌握各种大量信息数据，然后在恰当的时间地点把东西推给合适的用户。比如一个喜欢浏览汽车的用户，如果在他面试或者开会的时间进行推送，很有可能就达不到传播目的，更不用谈转化。

实际上，国内每家数据公司其实都是一个数据孤岛，拥有的只是一个很片面的数据，并非一个全景化数据。虽然每家数据公司都标榜自己是全景化数据，但实际上并非如此。在大数据整个行业里，即使是腾讯这样的巨头也不敢说它的数据是全景化的。

行业建设周期长短期难获利

在国内，投资人普遍有一个通病，就是不能接受长线投资，这点在大数据领域体现的特别明显，很多投资人入局都是抱着一年翻倍、三年推出、四年上市这种心思来的，自然导致了大数据领域早前的概念成风、虚火旺盛现象。用资本的热度和周期去考核大数据行业的变现时间，本身就是一个错误。在大数据行业，数据积累和开发是有一定周期的，只有积累到一定数量，才有可能变现，但这没法一蹴而就。行业的发展是需要足够成长周期的，需要时间的积累和足够的耐心。

因为投资急躁，加上部分大数据领域创业公司的急于变现，甚至是投机取巧，企业当然无法安心扎根于技术，行业自然乱象丛生，加上《网络安全法》等数据法律健全，必然造成了一批大数据公司被淘汰。

经济下行投资环境日益艰难

进入到18年，由于经济大环境越来越不乐观，连巨头腾讯的股票都暴跌40%，很多基金连完成新的一轮募资都很困难，自身难保。剩下有钱的基金更加趋于谨慎。作为需要长期投资的大数据领域，融资更是越来越难。2018年以来，有关大数据公司融资的消息几乎是凤毛麟角。现在几乎到了“闻大数据色变”的地步，在投资人眼中已把大数据与“忽悠”、“骗子”一词挂钩。如此严峻的形势，估计还会持续2-3年。

出身腾讯系的创业者，Dataeye创始人汪祥斌称，他们早在3年前，就对行业的变化有了判断。早已经向日韩等国家开拓业务，和本土企业在当地成立公司，而这些企业都是在业内深耕了20年左右。同时公司也正在孵化AI团队，进一步开发一些核心算法，让产品适应更多的国家和地区。接下来，他们还会做基础的数据技术，相关的一些开放式的数据挖掘、封闭式的数据挖掘等。由于布局及时，避开了国内行业的红海，Dataeye预计会在今年实现更高的利润。

海外大数据市场逆势发展

与国内大数据公司面临困境的状况完全相反的是，海外的大数据行业正处在行业高速发展的两极状态。除了中国团队和企业走往海外。欧美等本土大数据公司开始批量上市。根据美国2016年大数据全景图，可以看到美国目前众多大数据相关公司和团队，行业非常细分，并且整个生态链都很健全。

在当下，国内的部分投资机构想投拥有核心基础技术的大数据公司，都会去硅谷，而国内优秀的大数据人才也向硅谷流失，因为那里更适合行业和个人发展。

与国内资本寒冬形成对比的是，在美国市场上，今年有大量美国大数据公司成功IPO。包括SurveyMonkey、Domo、Dropbox、DocuSign和ZScaler等多家公司。刚过去的10月6日，美国的一家大数据公司Elasticsearch$(ESTC)$也在美股成功上市，它是一家做数据搜索的公司，刚开始只是一个开源社区，然后慢慢变成一个成功的商业公司。上市当日股价直线拉升，最高点涨幅达122%。

《权力的游戏》里，主角们提及最多的就是“凛冬将至”，大数据正在经历前所未有的寒冬。但正如2000年左右互联网泡沫爆炸之后，走出了阿里谷歌一样，包括大数据行业也必然经历这个发展周期。历经渡劫的大数据行业，才能像社交、电商行业那样，成长出真正的独角兽。

黑发不知勤学早

白首方悔读书迟

在今天的这个社会你一定听过的时髦词语有：人工智能、大数据、互联网思维…，而本书《大数据时代》是2012年出版的，忆往昔，2012的时候小米手机1第一次正式网络售卖，那时的我刚踏入大学的校门，那时的你也绝不可能想象到几年后社会发展的如此之快，各种数据、各种共享经济席卷而来。虽然已经6年多过去了，但今天读这本书会发现，书中的思维依然值得我们学习。

另，这本书不是一本IT行业的技术书，并没有涉及到具体处理大数据的技术，而是一本开拓思维的、帮我们认识和了解大数据的指导性书籍。

本书作者是维克托·迈尔-舍恩伯格，为了说明这个作者牛X，简单贴一些他的成就：

学术成果有一百多篇论文公开发表在《科学》《自然》等著名学术期刊上，他同时也是哈佛大学出版社、麻省理工出版社、通信政策期刊、美国社会学期刊等多家出版机构的特约评论员。 世界知名企业信赖的信息权威与顾问。他的咨询客户包括微软、惠普和IBM等全球顶级企业；而他自己早在1986年与1995年就担任两家软件公司的总裁兼CEO，由他的公司开发的病毒通用程序，成为当时奥地利最畅销的软件产品。 众多机构和国家政府高层的信息政策智囊。他一直专注于信息安全与信息政策与战略的研究，是欧盟专家之一，也是世界经济论坛、马歇尔计划基金会等重要机构的咨询顾问。

此书目录的结构清晰明了，第一部分主要是讲大数据时代的思维，第二部分讲了很多大数据在商业中的具体应用案例。体现作者水平的是第三部分，作者考虑到了大数据也是有两面性的，数据不可能主宰一切，故在第三部分讨论了大数据发展中带给人们的问题以及人们的应对措施。

了解大数据之前先要明白两个概念——数字化与数据化。

数字化：把模拟数据转换为0,1表示的二进制码。

一个例子就是，电脑、手机处理的数据都是数字化的0,1数据，而现实世界的温度、压力的实际存在形式是连续变化的模拟数据。数模转换是通过传感器、数/模、模/数转换器实现两者之间的相互转化。

数据化：将现象转变为可制表分析的量化形式的过程。所谓的数据挖掘、数据分析就是对数据化后的数据处理。

其中，数字化是数据化的前提。

对我来说，此书的帮助就是拓展了新的思维方式，认识到大数据时代的3个特点：

1.不是随机样本，而是群体数据

小样本时代： 样本远小于总体

大数据时代： 样本等于总体

正因为，样本数据量的增多，才挖掘到了数据间新的关系。对这么多样本数据的采集得益于今天技术的发展，电子化驱动的世界中，手机的信息、汽车上的传感器、微博空间的消息…都可以被记录并保存下来用于分析。

2.不是精确性，而是混杂性

因为小样本时代，最基本的要求就是保持收集数据的准确性，以利于分析并得出正确结论。而大数据时代，数据量的巨大和数据格式的不统一，必然会夹杂混乱或错误的数据，但为了利用大数据的优点必然要接受错误数据的存在。

这让我想起了一句话“模糊的精确比精确的模糊更好”。大数据让我们不再期待精确性，也无法实现精确性。

3.不是因果关系，而是相关关系

两个不同的逻辑方式对数据处理的过程也不一样：

因果关系： 为什么。

相关关系： 是什么。

例子：沃尔玛是世界上最大的零售商。2004年沃尔玛分析它的商品数据发现，每当季节性飓风来临之前，不仅手电筒销售量增加了，而且蛋挞的销量也增加了。因此当季节性风暴来临时，沃尔玛会把库存的蛋挞放在靠近飓风用品的位置，方便顾客购买。

上面这个例子说明，对于大数据分析得到的结论，我们往往暂时发现不了或者找不到数据间的因果关系。但大数据的现实结论又摆在眼前，所以在大数据的时代，除了我们潜意识里常用的因果关系外，我们要重视相关关系这一逻辑。

大数据的核心是什么？——预测。

我们处理大数据就是为了预测，预测城市里哪条道路现在不堵车、预测汽车零件是否该维修替换了、预测人们网上购物的个性化需求以推荐合适的商品…

虽然大数据的预测通常被视为人工智能的一部分，或一种机器学习，但这种定义有误导性。我们是通过用大量过往数据蕴藏的关系来对未来同类型事情进行预测，并不是教机器像人一样思考，更不是指望大数据像“神”一样预测未来的一切。所以，大数据的预测是一定条件下、有限的预测。

大数据的更好的发展需要三个方面的提升：思维、技术、数据。

数据本身并无价值，只有使用才会体现其价值。对于三者的关系，我认为技术是外在的实现手段，而数据是所有的基础。但在早期阶段，技术和思维是最有提高价值的，也是我们现在可以抓住的机会。

大数据发展的弊端：

1.隐私问题

2.预测判断以及惩罚人类的潜在行为，与伦理相悖

隐私问题随着商业公司和我们对数据的重视必然会有一定冲突。但这个问题远不如第二个问题严重。试想一下，大数据通过收集你以往做的事和说过的话，判断出80%的概率你将会有违法行为，故警察到家里把你逮捕。这是多么可怕！大数据预测和惩罚人们，并不是因为“所作的事情”，而是因为“将要做的事情”，而将要做的事情是机器判断出来的，我们并没有发生的行为。

对于这一个问题，我们必然要思考人与数据的关系。我的思考是，人是高度复杂的，数据是由人产生的，我们可以借助大数据的力量优化我们的社会，提高我们的工作生活效率，但应避免对数据的过度依赖，成为数据的“奴隶”。数据没有思维能力，更没有创新能力，数据造不出改变世界苹果，而人可以。

人的未来必须保留部分空间，否则大数据会扭曲人类最本质的东西——理性思维和自由选择。书中的一句话很好“人类最伟大之处正是算法和硅片没有揭示也无法揭示的东西，因为数据无法捕捉到这些”。

最后问你一个问题，你认为“日久见人心”是一种大数据思维吗？

END

诗词赏析 | 读书感悟 |

—不悔书堂—

“大数据”时下一个热门的词语，近几年来，关于大数据的著作和文章铺天盖地，似乎也在共同在传递一个信息：越来越多的行业、人士开始关注并实际探索大数据的应用，我们正在一起描绘着大数据巨大效用的蓝图，但在实践的路上，我们都孩子起步阶段小步前行。

大数据根基于互联网，数据仓库、数据挖掘、云计算等互联网技术的发展为大数据应用奠定基础。对于任何一个大数据的从业者或初接触者，或者都会有个共同的感触：大数据很有用！但大数据是什么呢？

今天就给大家讲解一下：

对于大数据的定义，我们来引用3个比较差用的大数据定义：

1）Gartner：需要信息处理模式才能具有更强的决策力，洞察发现力和流程优化能力的海量、高增长率很多样化的信息资产。

2）IDC：海量的数据规模（Volunme）、快速的数据流转和数据体系（Velocity）、多样的数据类型（Variety）、巨大的数据价值（Value）。

3）Wiki：或称巨量数据、海量数据、大资料，指所涉及的数据量规模巨大到无法通过人工，在合理时间内达到截取、管理、处理、并整理成为人类所能解读的信息。

其他关于大数据的定义也大抵类型，我们可以用几个关键词对大数据做一个界定。

首先，“大规模”，这种规模可以从两个维度来衡量，一是时间序列累积大量的数据，二是在深度上更加细化的数据。

其次，“多样化”，可以是不同的数据格式，如文字、图片、视频等，可以是不同的数据类别，如入口数据，经济数据等，还可以有不同的数据来源，如互联网、传感器等。

最后，“动态化”，数据是不停变化的，可以随着时间快速增加大量数据，也可以是在空间上不断移动变化的数据。

这三 个关键词对大数据从形象上做了界定。

但是还需要一个关键能力，就是“处理速度快”。如果这么大规模、多样化又动态变化的数据有了，但需要很长的时间去处理分析，那不叫大数据。从另一个角度，要实现这些数据快速处理，靠人工肯定是没办法实现的，因此，需要借助于机器实现。

最终，我们借助机器，通过对这些数据进行快速的处理分析，获取想要的信息或者应用的整套体系，才能称为大数据。

我们可以用下面的图示给大数据定义：

这下，就知道什么是大数据了吧

文如题，今天我们重点来介绍一下大数据的四个”V”，其实这四个“V”也影射出了大数据行业的特点，如果连大数据的特点都不知道，那就要是去参加大数据培训的话，那可就有点尴尬了。

第一，多样化（variety）。这里包含两个方面，一个是数据来源多样化，就是我们采集的数据通过不同的渠道，不同平台产生的多样化；还有就是数据的结构数据多样，有结构化的和结构化的等等。

第二，就是大量化（volume），这个我们比较好了解，毕竟名字就带着这个意思。互联网的发展规模，我们每天通过它产生的数据也是与日俱增，现在我们可能一年里产生的数据量，都能和之前的史上数据相匹敌了，大量化实至名归啊。

而第三个“V”，叫做速度化（velocity）。这里面涉及到大数据的整个流程，比如数据的增长速度，还有我们对数据的处理速度，很多类型的数据我们已经能够做到时时反馈了，刚刚收集到马上就能反过来影响我们的生活。

而最后一个相对于前三个来说有点陌生，叫做价值密度低（value）。也就是大数据虽然数量巨大，但是也不是越多越好的，其中有很多都是没意义的，有用的数据就被淹没在这海量的没用数据之中了，而这一点也是大数据技术的工作难点之一，要将那些海量无用的、复杂的数据做深度的分析，从其中挖掘那些对我们来说是有价值的数据。

说完这些，再来回忆我们之前对大数据的认知，是不是有些迷茫的点变得清晰了，对大数据也有了一个更深的理解了吧。这回我们再去大数据培训，心里也有了底气了。如果你想了解更多大数据知识，记得点赞，分享我的文章，虽然篇幅不是很长，但是会对大家有所帮助，小编在这里谢过啦！

什么是大数据？大数据就是指在一定时间范围内无法使用传统数据库工具对其进行捕捉、管理、计算、分析和处理的数据集合，大数据有以下四个特性：海量的数据规模（Volumn），数据类型繁多（Variety），数据流转速度极快（Velocity）以及价值密度较低（Value），我们就说说这四大特性。

海量的数据规模

我们接触最多最敏感的数据那就是我们手机所购买的流量，最常见的数据计量单位为K、M和G，他们的关系为1G=1024M，1M=1024KB。也许你也听过TB，1TB=1024G，这个数据单位对我们来世已经相当庞大了，我们的笔记本最大的容量也就在1TB这个级别，但是在大数据眼里最小的数据也得10TB起，比TB级还大的数据计量单位还有吗？有，而且还很多，1PB=1024TB，1EB=1024PB，1ZB=1024EB，1YB=1024ZB......我们已经无法感知这么大的数据量了。截止到2011 年，互联网用户数已达到20 亿； RFID 标签在2005 年的保有量仅有13亿个，但是到2010 年这个数字超过了300 亿；2006 年资本市场的数据比2003 年增长了17.5倍；日前新浪微博上每天上传的微博数超过1 亿条；Facebook 每天处理10TB 的数据；世界气象中心积累了220TB 的Web 数据，9PB 其他类型数据……

极快的数据流转

数据具有一定的时效性，是不停的变化的，可以随时间数据量逐渐增大，也可在空间上不断移动变化的数据。如果我们采集到的数据不经过流转，最终会过期作废。客户的体验在分秒级别，海量的数据，带来的第一个问题就是大大延长了各类报表生成时间，我们能否在极端的时间内提取最有价值的信心呢？数据在1秒内得不到流转处理，就会给客户带来较差的使用体验，若我们的数据处理软件达不到“秒”处理，所带来的商业价值就会大打折扣。

价值密度低

尽管大数据的数据量巨大，但是有价值的信息极少，我们要通过分析才能将大数据从数据到价值的转变，这些工作量极其庞大，所以云计算是一个很好的解决途径。以监控视频为例，一小时的视频，在不间断的监控过程中，可能有用的数据仅仅只有一两秒。

数据种类繁多

数据的格式是多样化的，如文字、图片、视频、音频、地理位置信息等，也可以是不同的数据类别，也可以有不容的来源，如传感器、互联网。首先用户是一个复杂的个体，单一的行为数据是不足以描述用户的各种行为，多元化的信息采集处理就像拼图一样，逐渐勾勒出我们身体的骨架，增添上我们的血肉。我们在淘宝、京东购物时，总会在下面的推荐区推荐我们想要的东西，比如我们去频繁的搜索浏览某件商品，这是他们就会采集我们浏览的数据，从中挖去有价值的信息，推送给我们。所以说这样的模式给一种体验，那就是这些app越来越懂我们的爱好和需求。

大数据未来会渗透在很多领域，大数据与云计算，机器学习与人工智能，物联网，区块链等。

前沿技术普及系列·写在前面

不知道大家有没有和象牙妹儿一样的感觉，就是最近1年很多AI产品铺天盖地的来到了我们的生活，比如某些家的智能陪伴音响、翻译棒、智能机器人、AR拍照手机等等。

这里面背后的前沿技术大数据、云计算、区块链、物联网、 5G、数字化…前几年甚至现在听着还很遥远，却已有不少在冲击着商业的世界，渗透进我们的生活！

如何拨开层层浓雾，抵达未来的彼岸？如何把握技术的钥匙，启开未来商业世界的大门!

大象互联网圈发起主办的第二届中国【郑州】开发者大会不但关注技术·商业的融合，也关注着前沿技术的分享。

因此，从今天起，大象互联网圈公众号将目光聚焦在大数据、云计算、物联网IOT、人工智能AI、区块链、VR/AR等板块，一一从概念层、目前行业发展状况、企业实际应用层、技术层、岗位前景等为大家带来干货的普及，快来和象牙儿妹一块围观吧！

本文由“壹伴编辑器”提供技术支持

正文

如果你说大数据就是数据大，或者侃侃而谈4个V，也许很有深度的谈到BI或预测的价值，又或者拿Google和Amazon举例，技术流可能会聊起hadoop和Cloud Computing，不管对错，只是无法勾勒对大数据的整体认识，不说是片面，但至少有些管窥蠡测，也许“解构”是最好的方法。

首先，大数据就是互联网发展到现今阶段的一种表象或特征而已，没有必要神话它或对它保持敬畏之心，在以云计算为代表的技术创新大幕的衬托下，这些原本很难收集和使用的数据开始容易被利用起来了，通过各行各业的不断创新，大数据会逐步为人类创造更多的价值。

其次，想要系统的认知大数据，必须要全面而细致的分解它，本系列文章我们着手从概念、技术、实践三个层面来展开，本篇文章我们先介绍概念层。

本文由“壹伴编辑器”提供技术支持

大数据的定义

大数据（Big Data）概念是1998年由SGI首席科学家John Masey在USENIX大会上提出的。他当时发表了一篇名为Big Data and the Next Wave of Infrastress的论文，使用了大数据来描述数据爆炸的现象。但大数据真正得到业界关注，则是其后多年的事情了。

大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

本文由“壹伴编辑器”提供技术支持

大数据的分类

互联网上的大数据很难清晰的界定分类界限，我们先看看BAT的大数据：

百度拥有两种类型的大数据：用户搜索表征的需求数据；爬虫和阿拉丁获取的公共web数据搜索巨头百度围绕数据而生。阿里巴巴拥有交易数据和信用数据。这两种数据更容易变现，挖掘出商业价值。除此之外阿里巴巴还通过投资等方式掌握了部分社交数据、移动数据，如微博和高德。

腾讯拥有用户关系数据和基于此产生的社交数据。这些数据可以分析人们的生活和行为,从里面挖掘出政治、社会、文化、商业、健康等领域的信息，甚至预测未来。

在信息技术更为发达的美国，除了行业知名的类似Google，Facebook外，已经涌现了很多大数据类型的公司，它们专门经营数据产品，比如：

Metamarkets：这家公司对Twitter、支付、签到和一些与互联网相关的问题进行了分析，为客户提供了很好的数据分析支持。

Tableau：他们的精力主要集中于将海量数据以可视化的方式展现出来。Tableau为数字媒体提供了一个新的展示数据的方式。他们提供了一个免费工具，任何人在没有编程知识背景的情况下都能制造出数据专用图表。

ParAccel：他们向美国执法机构提供了数据分析，比如对15000个有犯罪前科的人进行跟踪，从而向执法机构提供了参考性较高的犯罪预测。他们是犯罪的预言者。

QlikTech：QlikTech旗下的Qlikview是一个商业智能领域的自主服务工具，能够应用于科学研究和艺术等领域。为了帮助开发者对这些数据进行分析，QlikTech提供了对原始数据进行可视化处理等功能的工具。

本文由“壹伴编辑器”提供技术支持

大数据的4V特征

即Variety(多样化)、Volume(大量化)、Velocity（快速化）、Value(价值密度低)。如下图所示。

其中，Variety表示来源多和格式多，数据可以来源于搜索引擎、社交网络、通话记录、传感器等等，这些数据要么以结构化形式存储，要么以非结构化数据存储；Volume表示数据量比较大，从TB级别，跃升到PB级别。

尤其是在移动互联时代，视频、语言等非结构化数据快速增长；Velocity表示数据存在时效性，需要快速处理，并得到结果出来，这一点也是和传统的数据挖掘技术有着本质的区别；Value表示大量不相关信息，不经过处理则价值较低，属于价值密度低的数据。

本文由“壹伴编辑器”提供技术支持

大数据处理流程

都有以下几个过程：数据采集、数据清洗、数据建模、数据加工、数据展现。如下图所示。

举个例子，做饭通常都要包括“买菜~洗菜~配菜~炒菜”这几个必须环节，无论你是开饭店还是家里一日三餐，做饭的规模大小会有不同，但流程却是一样的。而这几个环节其实正好对应了数据人的日常工作内容：买菜（数据采集）~洗菜（数据清洗）~配菜（数据建模）~炒菜（数据加工）-上菜（数据展示）。

在大数据时代，由于数据种类多，数据大，从结构化的数据到非结构化的数据，数据采集的形式也变得更加复杂而多样。

当存储技术的发展变得步履蹒跚，赶不上数据发展的速度时，分布式存储成为了必然选择，非结构型数据也对存储格式提出了新的要求。

层出不穷的数据源也使得数据量产生了井喷似的迅猛增长。此时分布式存储与NoSQL的诞生回应了这样的需求，解决了大数据存储的根本难题。

本文由“壹伴编辑器”提供技术支持

大数据思维

关于大数据思维即我们该如何去理解大数据，十余年潜心研究数据科学的技术权威维克托·迈尔-舍恩伯格认为要注意三点：

需要全部数据样本而不是抽样关注效率而不是精确度关注相关性而不是因果关系。

阿里巴巴的王坚对于大数据也有一些独特的见解，比如：

今天的数据不是大，真正有意思的是数据变得在线了，这个恰恰是互联网的特点非互联网时期的产品，功能一定是它的价值，今天互联网的产品，数据一定是它的价值你千万不要想着拿数据去改进一个业务，这不是大数据，你一定是去做了一件以前做不了的事情

特别是最后一点，我是非常认同的，大数据的真正价值在于创造，在于填补无数个还未实现过的空白。

有人把数据比喻为蕴藏能量的煤矿。煤炭按照性质有焦煤、无烟煤、肥煤、贫煤等分类，而露天煤矿、深山煤矿的挖掘成本又不一样。与此类似，大数据并不在“大”，而在于“有用”，价值含量、挖掘成本比数量更为重要。

本文由“壹伴编辑器”提供技术支持

大数据的价值

如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。

Target 超市以20多种怀孕期间孕妇可能会购买的商品为基础，将所有用户的购买记录作为数据来源，通过构建模型分析购买者的行为相关性，能准确的推断出孕妇的具体临盆时间，这样Target就可以有针对的在每个怀孕顾客的不同阶段寄送相应的产品优惠卷。

Wal-Mart作为零售行业的巨头，他们的分析人员会对每个阶段的销售记录进行了全面的分析，有一次他们无意中发现虽不相关但很有价值的数据，在美国的飓风来临季节，超市的蛋挞和抵御飓风物品竟然销量都有大幅增加。

于是他们做了一个明智决策，就是将蛋挞的销售位置移到了飓风物品销售区域旁边，看起来是为了方便用户挑选，但是没有想到蛋挞的销量因此又提高了很多。

这些例子真实的反映在各行各业，探求数据价值取决于把握数据的人，关键是人的数据思维；与其说是大数据创造了价值，不如说是大数据思维触发了新的价值增长。

未来在大数据领域最具有价值的是两种事物：1-拥有大数据思维的人，这种人可以将大数据的潜在价值转化为实际利益；2-还未有被大数据触及过的业务领域。这些是还未被挖掘的油井，金矿，是所谓的蓝海。

本文由“壹伴编辑器”提供技术支持

大数据的风险

提到大数据人们生活造成的干扰，你或许对隐私泄露早有耳闻。当你在不同的网站上注册了个人信息后，可能这些信息已经被扩散出去了。

当你莫名其妙的接到各种邮件，电话，短信的滋扰时，你不会想到自己的电话号码，邮箱，生日，购买记录，收入水平，家庭住址，亲朋好友等私人信息早就被各种商业机构非法存储或贱卖给其它任何有需要的企业或个人了。

更可怕的是，这些信息你永远无法删除，它们永远存在于互联网的某些你不知道的角落。除非你更换掉自己的所有信息，但是这代价太大了。

目前，中国并没有专门的法律法规来界定用户隐私，处理相关问题时多采用其他相关法规条例来解释。但随着民众隐私意识的日益增强，合法合规地获取数据、分析数据和应用数据，是进行大数据分析时必须遵循的原则。

因此在大数据的背景下，很多人都在积极的抵制无底线的数字化，这种大数据和个体之间的博弈还会一直继续下去……

专家给予了我们一些如何有效保护大数据背景下隐私权的建议：

减少信息的数字化隐私权立法数字隐私权基础设施（类似DRM数字版权管理）人类改变认知（接受忽略过去）创造良性的信息生态语境化。

本篇关于大数据的理论层面分析就介绍到这，下一篇我们将对大数据价值体现的手段和前进的基石——大数据技术深入进行展开分析。

END

第二届中国【郑州】开发者大会

线上报名通道全面开放

本次大会将开设从数字化到大数据落地专场，现已开放报名通道，门票分为免费票和VIP票两种，其中VIP票权益非常丰富，票价为199元且仅限200张，下面是两种票的权益对比：

什么是大数据？

大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。大数据技术，是指从各种各样类型的数据中，快速获得有价值信息的能力。适用于大数据的技术，包括大规模并行处理（MPP）数据库，数据挖掘电网，分布式文件系统，分布式数据库，云计算平台，互联网，和可扩展的存储系统。

大数据有何作用？

第一，对大数据的处理分析正成为新一代信息技术融合应用的结点。移动互联网、物联网、社交网络、数字家庭、电子商务等是新一代信息技术的应用形态，这些应用不断产生大数据。云计算为这些海量、多样化的大数据提供存储和运算平台。通过对不同来源数据的管理、处理、分析与优化，将结果反馈到上述应用中，将创造出巨大的经济和社会价值。大数据具有催生社会变革的能量。但释放这种能量，需要严谨的数据治理、富有洞见的数据分析和激发管理创新的环境(Ramayya Krishnan,卡内基·梅隆大学海因兹学院院长)。

第二，大数据是信息产业持续高速增长的新引擎。面向大数据市场的新技术、新产品、新服务、新业态会不断涌现。在硬件与集成设备领域，大数据将对芯片、存储产业产生重要影响，还将催生一体化数据存储处理服务器、内存计算等市场。在软件与服务领域，大数据将引发数据快速处理分析、数据挖掘技术和软件产品的发展。

第三，大数据利用将成为提高核心竞争力的关键因素。各行各业的决策正在从“业务驱动” 转变“数据驱动”。对大数据的分析可以使零售商实时掌握市场动态并迅速做出应对；可以为商家制定更加精准有效的营销策略提供决策支持；可以帮助企业为消费者提供更加及时和个性化的服务；在医疗领域，可提高诊断准确性和药物有效性；在公共事业领域，大数据也开始发挥促进经济发展、维护社会稳定等方面的重要作用。

第四，大数据时代科学研究的方法手段将发生重大改变。例如，抽样调查是社会科学的基本研究方法。在大数据时代，可通过实时监测、跟踪研究对象在互联网上产生的海量行为数据，进行挖掘分析，揭示出规律性的东西，提出研究结论和对策。

了解了大数据的概念和作用，我们先来看一下商业巨头们如何利用大数据吧。

一、谷歌公司（google Inc）

第一个 ：ReCAPTCHA案例。

这个虽然是被谷歌收购的，但是，具有典型的谷歌思维。为了解决垃圾邮件和网络机器人的问题，冯.安发明了验证码的解决方案。如果只限于此，也就没有特别可以称道的，但是他意识到每天有这么多人要浪费10秒钟的时间输入这堆恼人的字母，而随后大量的信息被随意地丢弃时，他开始寻找能使人的计算能力得到更有效利用的方法。 他想到了一个继任者，恰如其分地将其命名为ReCaptcha。和原有随机字母输入不同，人们需要从计算机光学字符识别程序无法识别的文本扫描项目中读出两个单词并输入。其中一个单词其他用户也识别过，从而可以从该用户的输入中判断注册者是人;另一个单词则是有待辨识和解疑的新词。为了保证准确度，系统会将同一个模糊单词发给五个不同的人，直到他们都输入正确后才确定这个单词是对的。在这里，数据的主要用途是证明用户是人，但它也有第二个目的：破译数字化文本中不清楚的单词。ReCaptcha的作用得到了认可，2009年谷歌收购了冯·安的公司，并将这一技术用于图书扫描项目，再后来，谷歌街景也开始使用这项技术。把验证码和OCR需求巧妙结合起来，这展示了思维的威力，实现了ReCaptcha技术提供者和使用者的双赢，技术提供者利用OCR识别获得了自己的受益，使用者不需要任何付费(互联网免费思维)，也愿意使用，对于用户其实也没有影响，没有增加额外的工作。上研究生的时候，就研究OCR汉字识别问题，识别率始终是个问题，对于手写就更低了，要花费大量人力来解决，并且，人工识别工作是非常无聊，没有办法来保障质量。再想起12306的验证码，更令人无语了。我们浪费了多少资源?我们有多少资源可用充分来利用?

第二个：拼写检查纠错的案例。

我们都经常使用微软的Word，其中就有拼写检查纠错功能，微软实现这个功能，采用的是传统的软件思维，也就是利用规则和词库来解决，这个需要不断耗费人力进行规则和词库的升级，对于不同的语言，耗费更是巨大。谷歌解决这个方法，用的相对巧妙，在搜索的时候，当你输入一个错误的词时，会给一个提示，要找的是不是建议的词，如果用户确认后，谷歌就进行记录处理，后面，再经过一些算法处理，经过大量的数据学习，各个拼写检查纠错就越来越好，并且，这个后续维护成本很低， 效果越来越好。其实，谷歌翻译也使用了类似的思路，虽然前期算法，包括大数据处理花费了比较多，后续，基本实现了自动化，系统会越来越强，维护升级成本很低，项目就变成可持续发展。

第三个：对流感的预测

2009年，一种新型的流感病毒h1n1在全球迅速传播开来。美国，和世界上所有的国家一样，要求医生们发现案例市告知疾病控制与预防中心。但是，人们并不是在第一时间去医院检查，而是会有一段时间的延迟，消息要传达到疾控中心也要时间，从而造成一定的滞后性。

在该病毒爆发的几周前，谷歌公司的工程师们在《自然》杂志上发表了一篇论文。文中解释了谷歌为什么能够预测冬季流感的传播：不仅是全美范围内，而且具体到特定的地区和州。

谷歌如何做到的呢？数据。

谷歌通过观察人们在网上的搜索记录来完成这个预测，谷歌保存了多年来所有的搜索记录，每天都会超过30亿条的搜索指令。如此庞大的数据资源才能支撑谷歌完成这项工作。

二、facebook。

Facebook（脸书）是美国的一个社交网络服务网站 ，创立于2004年2月4日，总部位于美国加利福尼亚州帕拉阿图，2012年3月6日发布Windows版桌面聊天软件Facebook Messenger ，主要创始人马克·扎克伯格。它是世界排名领先的照片分享站点，截至2013年11月每天上传约3.5亿张照片、截至2012年5月，拥有约9亿用户。Facebook的总部设在硅谷的门洛帕克（Menlo Park）——1 Hacker Way 从2006年9月11日起，任何用户输入有效电子邮件地址和自己的年龄段，即可加入。在2015年8月28日，单日用户数突破10亿。

fancebook，拥有这庞大数据，同时它也不会浪费这些数据。Facebook通过用户社交网络图得知人们的喜好、

说完了，我们转过头看一下我们国内。

大数据现今在国内也是蓬勃发展，让我让数据说话！

大数据企业发展态势

态势一：2017年，我国大数据企业依旧整体呈现“金字塔”状的实力分布，从金字塔上层来看，我国大数据企业发展指数高于50的企业数量占比仅为7.4%，与去年相比，中高区间的龙头企业发展指数均有不同程度的提升，体现出“强者恒强”的发展势头。2017年，随着新晋企业数量增多、初创企业发展活力不断提升，金字塔根基更趋稳固；专精特新的独角兽企业发展势头迅猛，成为我国大数据企业发展的中坚力量。

态势二：2017年，我国大数据企业基础画像指数呈现较为明显的三重集团趋势，可以分为领军企业（数量占比9.23%，指数跨度从62.50到10.46）、中坚企业（数量占比29.49%，指数跨度从9.89到1.00）、上升企业（数量占比为50.16%，指数跨度从0.98到0.001）三类企业。从构成占比上看，2017年，我国大数据领军企业占比基本维持不变，而中坚企业占比显著增加，上升企业比例对比2016年有较为明显的减少。

态势三：2017年，我国大数据企业技术研发指数呈现“龙头领先、中小微主体跟进”总体趋势，技术研发指数超过10的龙头企业数量占比为9.85%，低于10的企业占比达到90.15%。大数据企业技术研发指数平均值为4.06，同比2016增长了3.18%，其中，以华为、中兴等通信企业和BAT等互联网企业为代表的TOP20龙头企业的技术研发指数同比2016年增长了5.73%。

态势四：2017年，我国大数据企业市场拓展指数呈现出“龙头带动、全面壮大”的分布格局，我国大数据企业市场拓展指数小于30的企业数量占到92.88%，指数超过30的大数据企业占比为7.12%。与2016年相比，龙头企业依旧强势引领大数据市场，中间企业及长尾企业亦积极拓展市场版图，行业整体呈稳步发展态势。

态势五：2017年，大数据企业尤其是骨干企业发展集聚态势进一步强化，绝大多数企业集聚在北京、天津、山东、江苏、浙江、上海、广东、福建等东部沿海信息技术产业基础较好的省市。与2016年相比，东北、中西部等重点城市，以及乌鲁木齐、呼和浩特等地的大数据企业集聚化趋势日益明显。

态势六：2017年，我国产业环节大数据企业聚焦数据采集、数据存储、数据预处理、数据分析、数据可视化、数据流通，跨度从19.48到6.87，发展指数相对比较均衡，数据分析环节企业发展指数水平相对突出，发展指数达到19.48，数据大数据分析挖掘环节必将涌现出更多的独角兽企业。与2016年相比，大数据分析环节指数增长3.8，其他环节指数均有不同程度下降。

态势七：2017年，我国重点行业大数据产业企业聚焦政务、工业、健康医疗、交通、农业、金融、教育、能源等17个行业领域，企业平均发展指数为23.36，最高的安防大数据企业发展指数达到35.71，最低的能源大数据企业发展指数为16.89。与2016年相比，主要行业大数据企业平均发展指数同比增加了0.25，大多数行业发展指数都稳中有进，除安防领域初步定型，同比2016年降低了4.01，其他重点行业领域指数均有不同程度上升。

态势八：2017年，我国特色细分领域大数据企业主要分为三大阵营，与2016年相比，三大阵容的特色细分领域发生了明显变化。一是从事人工智能相关的龙头企业处于第一阵营，平均发展指数维持在21左右；二是从事工控安全、数据库、区块链、征信分析、商业智能BI、数据中心IDC、数据营销、基因测序等10类细分领域大数据相关业务的龙头企业处于第二阵营，平均发展指数处于13.97到17.78之间；三是以虚拟现实、开源技术和车联网为代表的第三阵营，整体发展指数相对略低，处于12左右。

进过调研分析，我们可以作出预判

2018年我国大数据产业发展的主要趋势有：

1、产业将持续保持快速增长态势。预计2018年我国大数据核心产业规模将突破5700亿元。

2、融合渗透效应向更深层次延伸。延伸方向既包括经济运行、社会生活等应用领域，也包括物联网、人工智能等关联技术。

3、制造业数字转型作用日益凸显。以大数据驱动制造业数字化转型的新模式、新业态将不断涌现。

4、技术创新仍是产业发展主基调。大数据领域核心关键技术将加速突破，跨学科、跨领域交叉融合技术研究将成为发展重点。

5、产业集聚特色化发展态势逐步显现。国家大数据综合试验区建设的不断深入，一批省级大数据产业集聚区将进一步优化资源配置、形成集聚效应、发挥辐射带动作用。

6、产业生态体系迈入成熟完善阶段。大数据相关政策将加快落地实施，更多创新性政策将加快出台，大数据产业发展环境将进一步优化。

区域大数据产业发展态势：

态势一：2017年，国家大数据综合试验区依然引领产业发展，其所在区域的大数据产业发展总指数在全国大数据产业发展总指数的占比达37.54%。试验区内各省市指数较去年增幅均值为6.23，高于全国增幅均值的5.78，大数据产业发展速度高于全国平均水平。

态势二：2017年，大数据产业集聚发展效应进一步凸显，长三角地区、珠三角地区、中西部地区和东北地区大数据产业集聚发展格局基本形成。

态势三：2017年，北京、江苏、广东、浙江、上海等五省市成为大数据产业发展第一梯队，其大数据发展总指数在全国大数据发展总指数的占比高达26.52%，领先的优势地位明显。浙江省大数据产业发展指数较去年增长12.71，成为全国大数据产业发展指数增幅最高城市。

态势四：2017年，我国东部、西部、中部、东北四个分区产业发展差异化明显。东部地区整体发展水平最高，大数据产业发展指数增幅均值为7.39，远超全国平均水平5.78，天津、河北、海南排名上升；西部地区未来仍有巨大发展空间，重庆大数据产业发展指数较去年增长10.12，增幅仅次于浙江省位列全国第二，宁夏、内蒙古二地成后起之秀；中部地区整体发展速度高于西部和东北，山西发力大数据产业，排名明显提升。东北地区辽宁继续蝉联区域榜首，辐射带动作用逐步凸显。

态势五：2017年，各省市大数据产业发展环境均呈现向好态势，各省市的发展环境平均指数为10.9，较去年提高32.9%，18个省市的发展环境指数高于平均值，占比达到58%，而发展环境指数在去年平均值以上的省市高达30个；同时，江苏、重庆、安徽等地由于组织机制进一步完善、区域信息化水平加速提升等因素影响，较去年排名增速明显。

态势六：2017年，全国各省市大数据产业发展水平均有提升，大数据产业发展总指数为363.9，较去年提升16.8%；

但受数据集聚开放水平、大数据产业规模、大数据企业主体等多种因素共同影响，各省...