大数据是信息化发展到一定阶段的产物。随着信息技术和人类生产生活深度融合，互联网快速普及，全球数据呈现爆发增长、海量集聚的特点，对经济发展、社会进步、国家治理、人民生活都产生了重大影响。习近平同志在中共中央政治局就实施国家大数据战略进行第二次集体学习时指出，大数据发展日新月异，我们应该审时度势、精心谋划、超前布局、力争主动，深入了解大数据发展现状和趋势及其对经济社会发展的影响，分析我国大数据发展取得的成绩和存在的问题，推动实施国家大数据战略，加快完善数字基础设施，推进数据资源整合和开放共享，保障数据安全，加快建设数字中国，更好服务我国经济社会发展和人民生活改善。这一重要讲话精神，为推动实施国家大数据战略指明了方向和任务。

我国大数据发展具有独特优势

综观世界，我国大数据发展具有独特优势。虽然很多国家把经济数字化作为实现创新发展的重要动能，在前沿技术研发、数据开放共享、隐私安全保护、人才培养等方面进行前瞻性布局，一些发达国家还相继出台了大数据发展规划，但没有一个国家能像中国这样将发展大数据上升为国家战略，并持续深入推动。2015年，党的十八届五中全会提出“实施国家大数据战略”；2016年，“十三五”规划纲要对全面促进大数据发展提出方向性目标和任务；2017年，党的十九大报告提出“推动互联网、大数据、人工智能和实体经济深度融合”。这种持续性的方向引导和顶层设计，使我国在大数据发展规划布局、政策支持、资金投入、技术研发、创新创业等方面均走在了世界前列。而且，我国在数据资源上具有规模化和多样化优势，在互联网和移动互联网数据应用上具有后发优势，涌现出一批基于大数据应用的创新企业。所有这些都表明，我国运用大数据推动创新发展具备比较好的基础和条件，也说明党和国家实施大数据战略的极端重要性和正确性。

但也要看到，我国大数据发展整体上仍处于起步阶段。虽然快速发展的格局基本形成，但在数据开放共享、核心技术突破、以大数据驱动发展等方面都面临重重挑战。在推动实施国家大数据战略中，实践路径仍不够清晰，对需求的认知还比较模糊；数据开放共享滞后，数据资源红利尚未得到充分释放；企业赢利模式不稳定，产业链坚韧性和完整性不足；核心技术尚未取得重大突破，应用仍处于较低水平；安全管理与隐私保护存在漏洞，制度体系仍不够完善；市场活跃程度不够，人才供给严重不足。这些突出问题是制约我国大数据发展的主要因素。目前，大数据发展正进入从概念推广到应用落地的关键时期，科学认识大数据、增强对大数据发展规律的把握能力十分重要和必要。

准确把握大数据价值产生的规律

从根本上说，制约我国大数据发展的问题在很大程度上源于认识和思维层面，即源于对大数据的内涵、大数据价值产生的机理和规律认识不清。大数据价值产生有其内在规律，只有深刻认识并掌握这些规律，才能提高科学运用大数据的能力。

数据量大是大数据具有价值的前提。当数据量不够大时，它们只是离散的“碎片”，人们很难读懂其背后的故事。随着数据量不断增加，达到并超过某个临界值后，这些“碎片”就会在整体上呈现出规律性，并在一定程度上反映出数据背后的事物本质。这表明，数据量大是数据具有价值的前提，大数据具有大价值。大数据的“大”是相对的，与所关注的问题相关。通常来说，分析和解决的问题越宏观，所需要的数据量就越大。

数据关联是大数据实现价值的基础。运用大数据解决的问题通常涉及多部门、多领域、多个体、多视角，单纯的数据量的积累不一定能让人认识事物的全局，只有将不同侧面、不同局部的数据汇聚起来并加以关联，才能产生对事物的整体性和本质性认识。数据汇聚使数据可能产生价值，数据关联使数据实现价值，因此必须推动数据开放共享。政府、企业是大数据的主要拥有者。要推动大数据转化为发展动能，就要保障数据供给和合理合法开放共享。

计算分析使大数据最终产生价值。大数据通常价值巨大但价值密度低，很难通过直接读取提炼价值。只有通过综合运用数学、统计学、计算机等工具进行大数据分析，才能使大数据产生价值，完成从数据到信息再到知识和决策的转换。大数据价值链包括数据采集、流通、储存、分析与处理、应用等环节，其中分析与处理是核心。如果只存储不分析，就相当于只买米不做饭，产生不了实际效益。当前，我国大数据产业在某些环节（如储存）过于集中，有产能过剩之虞，但在分析与处理环节的产能又严重不足，这应引起关注。还要看到，传统用于分析数据的统计学方法和数据挖掘方法对于大数据并不适用，必须重建大数据的统计学基础、计算基础与数据挖掘方法基础。

广泛使用使大数据效益倍增。大数据及其产品具有易复制、成本低、叠加升值、传播升值等特点，能够被广泛、重复、叠加使用，具有较高的边际效用和正外部性。同一组数据不仅可以在合理合法的前提下以较低成本提供给不同使用方，使单一数据服务多个主体；而且还可以针对不同目的、使用不同方法进行分析，使单一数据产生多样价值。因此，大数据能够一次投入、反复使用，产生倍增效益，有利于提升各行各业应用数据解决困难和问题的能力。

大数据是新型生产要素和重要的基础性战略资源，蕴藏着巨大价值，经过深入挖掘并加以应用，能够有力推动经济转型发展，重塑国家竞争优势，提升国家治理现代化水平。大数据是能够靠制度、积累、科技撬动的，因而可以成为欠发达地区异军突起的发展驱动力。大数据具有通用技术性，可以广泛而深入地应用于企业生产、政府管理和社会治理、民生改善等各个领域，产生难以估量的价值和效益。各级领导干部、企业家、创业者乃至全民都应形成大数据思维，提高自觉、合法、有效利用大数据的意识，增强利用数据推进各项工作的本领，使大数据在经济社会发展中发挥更大作用。

突破瓶颈，深入实施国家大数据战略

习近平同志关于“分析我国大数据发展取得的成绩和存在的问题，推动实施国家大数据战略”的重要论述表明，推动实施国家大数据战略必须坚持问题导向，审时度势、精心谋划、超前布局、力争主动，努力突破大数据发展瓶颈。

解决好宏观规划落地问题。“十三五”规划纲要和习近平同志在中共中央政治局第二次集体学习时的重要讲话，对实施大数据战略作出了宏观规划和顶层设计。各级政府部门应尽快制定实施细则，解决好宏观规划和顶层设计的落地问题。第一，既要补齐汇聚数据与分析数据的短板，又要谨防存储等环节产能过剩，防止出现重存储、轻分析的情况，促进大数据产业健康发展。第二，引导数据中心合理布局，充分发挥大数据国家工程实验室作用，整合分散的数据资源，推进重点领域大数据高效采集、有效整合。第三，推进数据资源整合和开放共享，确保数据资源供给。第四，把握“一带一路”建设机遇，有序推进数据跨境流动。

加强核心技术攻关。应集中力量协同攻关，突破大数据的十大技术瓶颈，包括数据供给层面的区块链技术、数据交换技术，数据处理层面的大数据存储管理技术、分布式计算技术、编程语言技术，数据分析层面的大数据基础算法、机器学习、数据智能技术，大数据应用层面的大数据可视化、真伪判定技术。加强大数据科学基础问题研究，围绕大数据科学理论体系、大数据计算系统与分析理论、大数据驱动的颠覆性应用等重大基础研究进行前瞻布局。加强现代信息技术的综合应用，推动互联网、大数据、人工智能同实体经济深度融合，谨防将现代信息技术孤立化、概念化。

在重点领域实现突破。巩固我国大数据发展优势，除了推动大数据产业创新发展，还必须在重点领域实现突破。一是鼓励电力、交通、金融、互联网、制造业等一批对国家经济影响巨大、数据丰富、相对容易共享的行业率先运用大数据加快发展，起到示范和带动作用。二是推动大数据在政府治理、民生服务领域实现重点突破，如推动法院、信访系统等积极应用大数据技术，提升政府决策和风险防范水平，推动从源头上预防社会矛盾，提高社会治理的精准性和有效性。三是在教育、医疗、住房、交通等民生服务领域布局一批大数据应用工程，促进相关领域转型升级，显著提升公共服务水平，增强人民群众获得感幸福感。

加快建设人才队伍。当前，有关大数据发展的人才需求旺盛，迫切需要加快相关领域人才队伍建设。一是通过组建大数据服务中心、激活大数据产业市场、加强教育培训等，鼓励数学、计算机科学、信息技术等领域的人才转型进入大数据领域。二是根据发展需求，完善配套措施，鼓励海外高端人才回国，积极引进大数据高层次人才和领军人才。三是构建多层次大数据人才培养体系，鼓励高校设立数据科学和数据工程相关专业，鼓励采取跨校联合培养方式开展跨学科大数据综合型人才培养。四是实行行业、学会、大学协同育人，培育大数据技术和应用创新型人才。

切实保障国家数据安全。大数据蕴含着巨量信息，随着大数据的广泛应用，国家数据安全逐渐成为国家安全的一项重要内容。保障国家数据安全，根本之策是建设自主可控的大数据安全体系。应以国家各类重要信息基础设施建设为突破口，推进国产芯片、国产网络设备、国产操作系统、国产数据库和国产云平台、云存储、云安全等关键软硬件产品大规模应用，分期分批实现关键软硬件的自主化。强化大数据技术在信息安全领域的创新应用，加强对关键安全技术的研发，抢占基于大数据的安全技术先机，形成自主核心技术优势，提高我国大数据安全技术水平，逐步形成大数据传输、存储、挖掘、发布以自主可控技术和设备为主的格局。还应加快法规制度建设，在法律框架下明确国家、集体、个人的数据权益，制定数据资源确权、开放、流通、交易相关制度，完善数据产权保护制度，有效维护人民利益、社会稳定、国家安全。

（作者分别为中国科学院院士、西安交通大学管理学院副教授）

大数据，英文名big data。因为传播已经成为习惯，我们并没有过多的去思考为什么用big data去描述，但是现在我们仔细回味一下，会发现大数据这个大为什么不用large为什么不用海量vast呢？归根结底我们可能就需要从语法上，来分析一下，它们三个之间的区别。big形容大小。更多的时候，是一种比较行为上的大，是种相对来说的感觉，而large和vast更多的时候形容的是的是一种形体上的巨大。

那么现在来推敲一下big data这个词，大数据这个大其实是一种相对的说法是相对于传统的数据体量来说的，过去任何时候的数据相对于现在来说都显得太过于渺小，而现在我们所说的大数据是一种量变最后达到了质变的概念。

数据这个词最早在媒体上风靡应该是2007年左右。往上追溯应该就是05年谷歌参加有美国官方举办的一个机器翻译大赛，最终由于使用了海量的相关数据而夺得第一，在那之后大数据这个概念渐渐的被业内人士所传播。那么到底什么是大数据呢？

大数据顾名思义，最表象的特征就是数据量够大。但是仅仅数据量够大，并不能构成大数据整体的含义。如果是海量杂乱无章，互之间没有关联的数据，即便再怎么定义，它也算不上是大数据。就譬如一个人体内的基因图谱，详细的基因图谱数据如果记录出来是一个很大体量的，但是没有意义。

大数据而且还有个概念，那就是多维度。在十年前，如果说国内哪一家公司最有资格说大数据的，那无疑是百度了。作为一个独占13亿用户专属的搜索公司来说，百度对于用户画像的记录，无疑是多维的。百度搜索，至今记录了无数用户每天在互联网上搜索的问题，或者说知识。在时间维度上用户对某些词汇搜索的频次高低这些都是数据。它可以通过对注册用户的甄别就可以知道搜索这个词汇或者是这个问题的用户是男生还是女生？年龄分布是是小孩、青年抑或是一个中年大叔？再到后来个人电脑开始普及，通过记录ip等信息，根据ip搜索的百度的问题的分类，可以判断中国各个区域，是南方富裕一点，还是北方富裕点？是江苏人更爱吃，还是闽南人更喜欢谈论吃？百度完全可以根据自己的数据生成得到国内各种关于此类的数据，普查之后所能得到的答案这就是因为百度所具有的数据是一个多维度的数据。他的数据收集过程，是一个长期的持续性的工作。

除了百度之外，腾讯的qq确实每年都会有一个关于qq的城市报告。它会根据qq的用户数据，甚至于至于活跃地点。在一个大的范围内青年QQ用户的占比，最终可以得到中国城市年轻度排行榜。可以根据这些数据判断，哪一个城市是，年轻人毕业之后最愿意去的。可以判断哪一个城市的，年轻人毕业之后，是回归率最高的。也可以判断哪一个城市的人才流失率更低，更容易留住外来人才。这些都是大数据多维度的应用。

大数据还有一个非常重要的特点，那就是全面性。经常在某些大型活动之前我们都会遇到。某些公司对于这件事情，会做出预测。然后最终的结果让我们大失所望。预测无疑是需要基于数据基础的预测，如果这个数据不够全面的话，最终的预测结果肯定相差甚大。

关于数据全面性有一个最经典的案例这是12年美国大选大选事件。一个名叫斯威尔的年轻人，利用大数据预测。成功预测出了51个州的选举果，要知道这在之前是从来没有发生过的事情。美国大选在之前就一直有专业的预测机构做预测，但是就连这种长期做数据，分析的公司都从来没有如此成功的预测过。那是因为斯威尔将网上所有关于选举的数据，包括新闻稿，以及facebook和推特上面人们关于选举的言论，所有的数据都做了甄选处理。这份数据反映的是网民全面几乎没有遗漏的想法，最终得到了某种程度上来说，比较具有完备性的数据，所以能够如此成功的预测13年美国大选的结果。

关于大数据的科普我们就到这里了，有任何问题可以留言咱一起交流，本文由玩机丧志原创，欢迎关注，带你一起长知识！

超大规模运营商被定义为巨大的公司，如亚马逊、苹果、Facebook和谷歌，需要大规模提供计算。很多人可能会认为这种高度专业化的数据中心数量有限，但最近Synergy Research的研究发现，2017年实际上是全球新的超大规模数据中心的一个“爆发年”——增加了90多个，而且2018年也没有丝毫放缓的迹象。

独角兽分布：美国遥遥领先 中国第二

据Synergy Research的一份最新报告，2017年全球范围内的超大规模数据中心已经超过390个，比一年前的300个增加了一大批。其中，谷歌尤其活跃。中国的腾讯和百度今年也建立了超大规模的数据中心。

尽管如此，绝大多数超大规模数据中心仍位于美国，占比44％遥遥领先全球其他国家和地区。中国位居第二，占8%。其次是日本和英国，分别占6%。澳大利亚、德国紧随其后，智能5%。

Synergy Research报告称，进入统计的24个超大规模公司平均每家拥有16个数据中心。对亚马逊、微软、IBM和谷歌等公司而言，每家公司在全球拥有的超大数据中心超过45个。就每个地区（北美，拉丁美洲，亚太地区和欧洲，中东和非洲）划分，至少有三个数据中心。

就数据中心的分布来看，报告还将甲骨文和阿里巴巴公司列为数据中心地理位置特别广泛的公司，其他公司的大部分数据中心都建在美国或中国。

定义标准：拥有几十万台服务器以上

“超大规模”的定义各不相同。但IDC表示，它至少需要5000个服务器和10,000平方英尺的可用空间，并且通常要大得多。Synergy的标准则高得多，将其定义为拥有“几十万台服务器——有时甚至是数百万台”。

由于超大规模数据中心的软硬件设计、配置、能耗和管理运维都有独特要求，这也提高了公司进入超大规模数据中心俱乐部的门槛。

这些运营商往往有自己运营的设备，以处理他们巨大的计算需求。通过设计自己的硬件和软件，这些公司可以控制计算体验的各个方面，以最大限度地提高效率，这对于处理这些组织的庞大规模至关重要。

要做到这一点，他们需要理解并能够操纵每一个可配置的元素，这些在购买现成的设备时通常是不可能的。由于这些独特的需求，建立这些数据中心的公司数量往往有限，通常是那些世界上最大的技术公司。

谷歌的数据中心分布

根据Synergy的数据，2017年底在建的项目就有69个。按照目前的速度，到2019年底全球超大规模数据中心的数量有望突破500个。

BAT等国内运营商的超大型数据中心布局

数据中心已经成为互联网业务发展的重要支撑。业界人士普遍认为，只有七家公司可以称之为超大规模运营商：谷歌、亚马逊、微软、Facebook、腾讯、百度以及阿里巴巴。集中部署在国内的，以腾讯、百度为主，阿里巴巴的数据中心之前集中于中国，但是现在已经在美国、香港、新加坡、日本和阿拉伯联合酋长国开放数据中心。

百度：百度最大的数据中心位于山西省阳泉市，百度云计算（阳泉）中心2014年正式投入使用；总建筑面积12万平方米，服务器设计装机规模超过16万台，据传承担80%的流量。另外百度在南京也拥有云计算数据中心。

阿里巴巴：近日，总投资180亿元的阿里江苏云计算数据中心项目在南通签约，建成后将成为阿里巴巴华东地区最大的云计算中心基地，承载30万台服务器。阿里巴巴云计算部门宣布将于2018年3月31日在印度孟买建成首个数据中心，另外一个将在雅加达建立。加上马来西亚建成的数据中心，阿里巴巴云数据中心将会增加到17个，覆盖多国家地区，亚太地区的数据中心建设步伐加快。

腾讯：腾讯云在国内自建数据中心14个，超大型数据中心4个。腾讯2017年之前在海外几乎没有布局数据中心，2017年上半年，对外公布继香港、多伦多、新加坡后，已经正式开放硅谷数据中心，新增4个数据中心，包括德国法兰克福、俄罗斯莫斯科、韩国首尔和印度孟买，以扩展腾讯云服务和人工智能业务。

另一方面，资料显示，中国BAT（百度、阿里巴巴、腾讯）三家互联网巨头所拥有的数据中心服务器数量之和，还不及美国亚马逊一家公司的一半，亚马逊AWS是全球最大的云计算厂商，亚马逊的数据中心有接近300万台的服务器，微软也有200万台。

同时，中国电信、中国联通和移动也是数据中心建设的主力军，但Synergy Research报告并未将其列入在内。

黑发不知勤学早

白首方悔读书迟

在今天的这个社会你一定听过的时髦词语有：人工智能、大数据、互联网思维…，而本书《大数据时代》是2012年出版的，忆往昔，2012的时候小米手机1第一次正式网络售卖，那时的我刚踏入大学的校门，那时的你也绝不可能想象到几年后社会发展的如此之快，各种数据、各种共享经济席卷而来。虽然已经6年多过去了，但今天读这本书会发现，书中的思维依然值得我们学习。

另，这本书不是一本IT行业的技术书，并没有涉及到具体处理大数据的技术，而是一本开拓思维的、帮我们认识和了解大数据的指导性书籍。

本书作者是维克托·迈尔-舍恩伯格，为了说明这个作者牛X，简单贴一些他的成就：

学术成果有一百多篇论文公开发表在《科学》《自然》等著名学术期刊上，他同时也是哈佛大学出版社、麻省理工出版社、通信政策期刊、美国社会学期刊等多家出版机构的特约评论员。 世界知名企业信赖的信息权威与顾问。他的咨询客户包括微软、惠普和IBM等全球顶级企业；而他自己早在1986年与1995年就担任两家软件公司的总裁兼CEO，由他的公司开发的病毒通用程序，成为当时奥地利最畅销的软件产品。 众多机构和国家政府高层的信息政策智囊。他一直专注于信息安全与信息政策与战略的研究，是欧盟专家之一，也是世界经济论坛、马歇尔计划基金会等重要机构的咨询顾问。

此书目录的结构清晰明了，第一部分主要是讲大数据时代的思维，第二部分讲了很多大数据在商业中的具体应用案例。体现作者水平的是第三部分，作者考虑到了大数据也是有两面性的，数据不可能主宰一切，故在第三部分讨论了大数据发展中带给人们的问题以及人们的应对措施。

了解大数据之前先要明白两个概念——数字化与数据化。

数字化：把模拟数据转换为0,1表示的二进制码。

一个例子就是，电脑、手机处理的数据都是数字化的0,1数据，而现实世界的温度、压力的实际存在形式是连续变化的模拟数据。数模转换是通过传感器、数/模、模/数转换器实现两者之间的相互转化。

数据化：将现象转变为可制表分析的量化形式的过程。所谓的数据挖掘、数据分析就是对数据化后的数据处理。

其中，数字化是数据化的前提。

对我来说，此书的帮助就是拓展了新的思维方式，认识到大数据时代的3个特点：

1.不是随机样本，而是群体数据

小样本时代： 样本远小于总体

大数据时代： 样本等于总体

正因为，样本数据量的增多，才挖掘到了数据间新的关系。对这么多样本数据的采集得益于今天技术的发展，电子化驱动的世界中，手机的信息、汽车上的传感器、微博空间的消息…都可以被记录并保存下来用于分析。

2.不是精确性，而是混杂性

因为小样本时代，最基本的要求就是保持收集数据的准确性，以利于分析并得出正确结论。而大数据时代，数据量的巨大和数据格式的不统一，必然会夹杂混乱或错误的数据，但为了利用大数据的优点必然要接受错误数据的存在。

这让我想起了一句话“模糊的精确比精确的模糊更好”。大数据让我们不再期待精确性，也无法实现精确性。

3.不是因果关系，而是相关关系

两个不同的逻辑方式对数据处理的过程也不一样：

因果关系： 为什么。

相关关系： 是什么。

例子：沃尔玛是世界上最大的零售商。2004年沃尔玛分析它的商品数据发现，每当季节性飓风来临之前，不仅手电筒销售量增加了，而且蛋挞的销量也增加了。因此当季节性风暴来临时，沃尔玛会把库存的蛋挞放在靠近飓风用品的位置，方便顾客购买。

上面这个例子说明，对于大数据分析得到的结论，我们往往暂时发现不了或者找不到数据间的因果关系。但大数据的现实结论又摆在眼前，所以在大数据的时代，除了我们潜意识里常用的因果关系外，我们要重视相关关系这一逻辑。

大数据的核心是什么？——预测。

我们处理大数据就是为了预测，预测城市里哪条道路现在不堵车、预测汽车零件是否该维修替换了、预测人们网上购物的个性化需求以推荐合适的商品…

虽然大数据的预测通常被视为人工智能的一部分，或一种机器学习，但这种定义有误导性。我们是通过用大量过往数据蕴藏的关系来对未来同类型事情进行预测，并不是教机器像人一样思考，更不是指望大数据像“神”一样预测未来的一切。所以，大数据的预测是一定条件下、有限的预测。

大数据的更好的发展需要三个方面的提升：思维、技术、数据。

数据本身并无价值，只有使用才会体现其价值。对于三者的关系，我认为技术是外在的实现手段，而数据是所有的基础。但在早期阶段，技术和思维是最有提高价值的，也是我们现在可以抓住的机会。

大数据发展的弊端：

1.隐私问题

2.预测判断以及惩罚人类的潜在行为，与伦理相悖

隐私问题随着商业公司和我们对数据的重视必然会有一定冲突。但这个问题远不如第二个问题严重。试想一下，大数据通过收集你以往做的事和说过的话，判断出80%的概率你将会有违法行为，故警察到家里把你逮捕。这是多么可怕！大数据预测和惩罚人们，并不是因为“所作的事情”，而是因为“将要做的事情”，而将要做的事情是机器判断出来的，我们并没有发生的行为。

对于这一个问题，我们必然要思考人与数据的关系。我的思考是，人是高度复杂的，数据是由人产生的，我们可以借助大数据的力量优化我们的社会，提高我们的工作生活效率，但应避免对数据的过度依赖，成为数据的“奴隶”。数据没有思维能力，更没有创新能力，数据造不出改变世界苹果，而人可以。

人的未来必须保留部分空间，否则大数据会扭曲人类最本质的东西——理性思维和自由选择。书中的一句话很好“人类最伟大之处正是算法和硅片没有揭示也无法揭示的东西，因为数据无法捕捉到这些”。

最后问你一个问题，你认为“日久见人心”是一种大数据思维吗？

END

诗词赏析 | 读书感悟 |

—不悔书堂—

小编分别给大家介绍了，谷歌、马云和百度的数据中心，很多朋友都惊叹到666，今天这期节目小编就给大家介绍一下，腾讯的数据中心带大家看看，你们的5位数QQ和天空套装被存放的地方。

作为一个依靠互联网生存的企业，腾讯对于数据的保护是重中之重的，因为一旦数据出现差错，这将使得企业无法正常运作，文中的数据中心位于贵州贵安，作为腾讯的心脏名字自然不能太落后。

据悉这个数据中心名叫，腾讯贵安7星数据中心，整个数据中心占地700多亩，建设在一个山体的底下，机房采用了独特的蒸发制冷技术，加上贵州干燥凉爽的温度，保证了服务器的温度不会太高，除次之外为了防止空气中的灰尘，腾讯还建造了独特的隔离屏挡，保证整个机房都是无尘的。

大家以为这就完啦？作为腾讯的数据中心，什么圣耀、恍惚和B套甚至5位数的QQ，对于腾讯来说都是宝贝，储存它们的箱子自然不能太落后，据悉整个数据中心建在山体的底部，为了建设它腾讯在山中，挖出了3万多平方米的空间，连核武器都能抵御。

算是国内安全级别最高的数据中心，当然如人脸识别和机器人巡逻队等功能，由于时间有限小编就不一一介绍了，但小编想说的是，就腾讯这个数据中心绝对高级，有这样的数据中心保护，现在大家还担心你们的装备会丢了吗？

大数据是什么？其实很简单，大数据其实就是海量资料巨量资料，这些巨量资料来源于世界各地随时产生的数据，在大数据时代，任何微小的数据都可能产生不可思议的价值。大数据有4个特点，为别为：Volume（大量）、Variety（多样）、Velocity（高速）、Value（价值），一般我们称之为4V。

所谓4V，具体指如下4点：

1．大量。大数据的特征首先就体现为“大”，从先Map3时代，一个小小的MB级别的Map3就可以满足很多人的需求，然而随着时间的推移，存储单位从过去的GB到TB，乃至现在的PB、EB级别。随着信息技术的高速发展，数据开始爆发性增长。社交网络（微博、推特、脸书）、移动网络、各种智能工具，服务工具等，都成为数据的来源。淘宝网近4亿的会员每天产生的商品交易数据约20TB；脸书约10亿的用户每天产生的日志数据超过300TB。迫切需要智能的算法、强大的数据处理平台和新的数据处理技术，来统计、分析、预测和实时处理如此大规模的数据。

2．多样。广泛的数据来源，决定了大数据形式的多样性。任何形式的数据都可以产生作用，目前应用最广泛的就是推荐系统，如淘宝，网易云音乐、今日头条等，这些平台都会通过对用户的日志数据进行分析，从而进一步推荐用户喜欢的东西。日志数据是结构化明显的数据，还有一些数据结构化不明显，例如图片、音频、视频等，这些数据因果关系弱，就需要人工对其进行标注。

3．高速。大数据的产生非常迅速，主要通过互联网传输。生活中每个人都离不开互联网，也就是说每天个人每天都在向大数据提供大量的资料。并且这些数据是需要及时处理的，因为花费大量资本去存储作用较小的历史数据是非常不划算的，对于一个平台而言，也许保存的数据只有过去几天或者一个月之内，再远的数据就要及时清理，不然代价太大。基于这种情况，大数据对处理速度有非常严格的要求，服务器中大量的资源都用于处理和计算数据，很多平台都需要做到实时分析。数据无时无刻不在产生，谁的速度更快，谁就有优势。

4.价值。这也是大数据的核心特征。现实世界所产生的数据中，有价值的数据所占比例很小。相比于传统的小数据，大数据最大的价值在于通过从大量不相关的各种类型的数据中，挖掘出对未来趋势与模式预测分析有价值的数据，并通过机器学习方法、人工智能方法或数据挖掘方法深度分析，发现新规律和新知识，并运用于农业、金融、医疗等各个领域，从而最终达到改善社会治理、提高生产效率、推进科学研究的效果。

在大数据时代，每个人都会享受到大数据所带来的便利。买东西可以足不出户；有急事出门可以不用再随缘等出租车；想了解天下事只需要动动手指。虽然大数据会产生个人隐私问题，但总的来说，大数据还是在不断的改善我们的生活，让生活更加方便

若是对大数据是什么仍然还有疑问，可以留言或者关注私信一起交流。

什么是大数据？大数据就是指在一定时间范围内无法使用传统数据库工具对其进行捕捉、管理、计算、分析和处理的数据集合，大数据有以下四个特性：海量的数据规模（Volumn），数据类型繁多（Variety），数据流转速度极快（Velocity）以及价值密度较低（Value），我们就说说这四大特性。

海量的数据规模

我们接触最多最敏感的数据那就是我们手机所购买的流量，最常见的数据计量单位为K、M和G，他们的关系为1G=1024M，1M=1024KB。也许你也听过TB，1TB=1024G，这个数据单位对我们来世已经相当庞大了，我们的笔记本最大的容量也就在1TB这个级别，但是在大数据眼里最小的数据也得10TB起，比TB级还大的数据计量单位还有吗？有，而且还很多，1PB=1024TB，1EB=1024PB，1ZB=1024EB，1YB=1024ZB......我们已经无法感知这么大的数据量了。截止到2011 年，互联网用户数已达到20 亿； RFID 标签在2005 年的保有量仅有13亿个，但是到2010 年这个数字超过了300 亿；2006 年资本市场的数据比2003 年增长了17.5倍；日前新浪微博上每天上传的微博数超过1 亿条；Facebook 每天处理10TB 的数据；世界气象中心积累了220TB 的Web 数据，9PB 其他类型数据……

极快的数据流转

数据具有一定的时效性，是不停的变化的，可以随时间数据量逐渐增大，也可在空间上不断移动变化的数据。如果我们采集到的数据不经过流转，最终会过期作废。客户的体验在分秒级别，海量的数据，带来的第一个问题就是大大延长了各类报表生成时间，我们能否在极端的时间内提取最有价值的信心呢？数据在1秒内得不到流转处理，就会给客户带来较差的使用体验，若我们的数据处理软件达不到“秒”处理，所带来的商业价值就会大打折扣。

价值密度低

尽管大数据的数据量巨大，但是有价值的信息极少，我们要通过分析才能将大数据从数据到价值的转变，这些工作量极其庞大，所以云计算是一个很好的解决途径。以监控视频为例，一小时的视频，在不间断的监控过程中，可能有用的数据仅仅只有一两秒。

数据种类繁多

数据的格式是多样化的，如文字、图片、视频、音频、地理位置信息等，也可以是不同的数据类别，也可以有不容的来源，如传感器、互联网。首先用户是一个复杂的个体，单一的行为数据是不足以描述用户的各种行为，多元化的信息采集处理就像拼图一样，逐渐勾勒出我们身体的骨架，增添上我们的血肉。我们在淘宝、京东购物时，总会在下面的推荐区推荐我们想要的东西，比如我们去频繁的搜索浏览某件商品，这是他们就会采集我们浏览的数据，从中挖去有价值的信息，推送给我们。所以说这样的模式给一种体验，那就是这些app越来越懂我们的爱好和需求。

大数据未来会渗透在很多领域，大数据与云计算，机器学习与人工智能，物联网，区块链等。

大数据行业发展如火如荼，国家政策利好，互联网大佬纷纷在大数据行业布局，我们想让自己的职业生涯在一个朝阳行业发展，肯定又要学习相关技术，让自己与时俱进，但是难就难在大数据是一个新兴事物，目前我国大学的专业里面还鲜少有这个专业，国家刚批的大数据专业，全国目前35个高校，但是从17年开始招生，2021年才有第一批毕业生进入职场，在四年期间，是大数据行业发展的飞速时期，没有行业发展是等着人才进入的，而是需要要虚位以待、蓄势待发，所以在没有高等教育准备好的大数据教育，如何高效的学习大数据，如何快速的与行业发展想契合，那么需要我们成为第一个吃螃蟹的人，作为一个随着大数据行业成长的职业人，首先要知道大数据是个啥？

大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

那来帮大家分析下：如何高效的学习大数据。

经常有初学者会问，自己想往大数据方向发展，该学哪些技术，学习路线是什么样的，觉得大数据很火，就业很好，薪资很高……首先，如果你确定了想往这个方面发展，先考虑自己的过去从业经历、专业、兴趣是什么。计算机专业——操作系统、硬件、网络、服务器？软件专业——软件开发、编程、写代码？还是数学、统计学专业——对数据和数字特别感兴趣？

那么你能找师傅带吗？

但凡有这种想法的人，或多或少都会存有侥幸之心，或者叫做“天真，单纯”。希望不花一分钱，就能更快速的学到更优质，更实用的技能。

关于这一点，我只想反问一句你：“如果你是大师，你凭什么愿意带我？”

其实这就是想告诉你大数据的三个发展方向，平台搭建/优化/运维/监控、大数据开发/设计/架构、数据分析/挖掘。

先说一下大数据的4V特征：

数据量大，TB->PB

数据类型繁多，结构化、非结构化文本、日志、视频、图片、地理位置等；

商业价值高，但是这种价值需要在海量数据之上，通过数据分析与机器学习更快速的挖掘出来；

处理时效性高，海量数据的处理需求不再局限在离线计算当中。

现如今，正式为了应对大数据的这几个特点，开源的大数据框架越来越多，越来越强，先列举一些常见的：

文件存储：Hadoop HDFS、Tachyon、KFS

离线计算：Hadoop MapReduce、Spark

流式、实时计算：Storm、Spark Streaming、S4、Heron

K-V、NOSQL数据库：HBase、Redis、MongoDB

资源管理：YARN、Mesos

日志收集：Flume、Scribe、Logstash、Kibana

消息系统：Kafka、StormMQ、ZeroMQ、RabbitMQ

查询分析：Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill、Flink、Kylin、Druid

分布式协调服务：Zookeeper

集群管理与监控：Ambari、Ganglia、Nagios、Cloudera Manager

数据挖掘、机器学习：Mahout、Spark MLLib

数据同步：Sqoop

任务调度：Oozie

······

第一步：初识Hadoop

1.1 学会百度与Google

不论遇到什么问题，先试试搜索并自己解决。

Google首选，翻不过去的，就用百度吧。

1.2 参考资料首选官方文档

特别是对于入门来说，官方文档永远是首选文档。

相信搞这块的大多是文化人，英文凑合就行，实在看不下去的，请参考第一步。

1.3 先让Hadoop跑起来

Hadoop可以算是大数据存储和计算的开山鼻祖，现在大多开源的大数据框架都依赖Hadoop或者与它能很好的兼容。

关于Hadoop,你至少需要搞清楚以下是什么：

· Hadoop 1.0、Hadoop 2.0

· MapReduce、HDFS

· NameNode、DataNode

· JobTracker、TaskTracker

· Yarn、ResourceManager、NodeManager

自己搭建Hadoop，请使用第一步和第二步，能让它跑起来就行。

建议先使用安装包命令行安装，不要使用管理工具安装。

另外：Hadoop1.0知道它就行了，现在都用Hadoop 2.0.

1.4 尝试使用Hadoop

· HDFS目录操作命令；

· 上传、下载文件命令；

· 提交运行MapReduce示例程序；

· 打开Hadoop WEB界面，查看Job运行状态，查看Job运行日志。

· 知道Hadoop的系统日志在哪里。

1.5了解它们的原理

MapReduce：如何分而治之；

HDFS：数据到底在哪里，什么是副本；

Yarn到底是什么，它能干什么；

NameNode到底在干些什么；

ResourceManager到底在干些什么；

1.6 自己写一个MapReduce程序

仿照WordCount例子，自己写一个（照抄也行）WordCount程序，

打包并提交到Hadoop运行。

不会Java的话，Shell、Python都可以，有个东西叫Hadoop Streaming。

如果能认真完成了以上几步，恭喜你，你的一只脚已经进来了。

第二步：更高效的WordCount

2.1 学点SQL吧

如果不懂数据库的童鞋先学习使用SQL句。

2.2 SQL版WordCount

在1.6中，你写（或者抄）的WordCount一共有几行代码？

如果用SQL的话：

SELECT word,COUNT(1) FROM wordcount GROUP BY word;

这便是SQL的魅力，编程需要几十行，甚至上百行代码，SQL一句就搞定；使用SQL处理分析Hadoop上的数据，方便、高效、易上手、更是趋势。不论是离线计算还是实时计算，越来越多的大数据处理框架都在积极提供SQL接口。

2.3 安装配置Hive

Hive算是数据仓库工具，安装不难，网上有很多教程，配置完成后，可以正常进入Hive命令行。

2.4 试试使用Hive

尝试在Hive中创建wordcount表，并运行2.2中的SQL语句。在Hadoop WEB界面中找到刚才运行的SQL任务。看SQL查询结果是否和1.4中MapReduce中的结果一致。

明明写的是SQL，为什么Hadoop WEB界面中看到的是MapReduce任务？

2.5 学会Hive的基本命令

创建、删除表；加载数据到表；下载Hive表的数据；并学习更多关于Hive的语法和命令。

0和Hadoop2.0的区别

MapReduce的原理（还是那个经典的题目，一个10G大小的文件，给定1G大小的内存，如何使用Java程序统计出现次数最多的10个单词及次数）；

HDFS读写数据的流程；向HDFS中PUT数据；从HDFS中下载数据；

自己会写简单的MapReduce程序，运行出现问题，知道在哪里查看日志；

会写简单的SELECT、WHERE、GROUP BY等SQL语句；

Hive SQL转换成MapReduce的大致流程；

Hive中常见的语句：创建表、删除表、往表中加载数据、分区、将表中数据下载到本地；

从上面的学习，你已经了解到，HDFS是Hadoop提供的分布式存储框架，它可以用来存储海量数据，MapReduce是Hadoop提供的分布式计算框架，它可以用来统计和分析HDFS上的海量数据，而Hive则是SQL On Hadoop，Hive提供了SQL接口，开发人员只需要编写简单易上手的SQL语句，Hive负责把SQL翻译成MapReduce，提交运行。

第三步：把别处的数据搞到Hadoop上

此处也可以叫做数据采集，把各个数据源的数据采集到Hadoop上。

3.1 HDFS PUT命令

put命令在实际环境中也比较常用，通常配合shell、python等脚本语言来使用。建议需熟练掌握。

3.2 HDFS API

HDFS提供了写数据的API，自己用编程语言将数据写入HDFS，put命令本身也是使用API。

实际环境中一般自己较少编写程序使用API来写数据到HDFS，通常都是使用其他框架封装好的方法。比如：Hive中的INSERT语句，Spark中的saveAsTextfile等。

可以尝试了解原理，试着写几个Demo。

3.3 Sqoop

Sqoop是一个主要用于Hadoop/Hive与传统关系型数据库Oracle/MySQL/SQLServer等之间进行数据交换的开源框架。

就像Hive把SQL翻译成MapReduce一样，Sqoop把你指定的参数翻译成MapReduce，提交到Hadoop运行，完成Hadoop与其他数据库之间的数据交换。

自己下载和配置Sqoop（建议先使用Sqoop1，Sqoop2比较复杂）。

了解Sqoop常用的配置参数和方法。

使用Sqoop完成从MySQL同步数据到HDFS；

使用Sqoop完成从MySQL同步数据到Hive表；

PS：如果后续选型确定使用Sqoop作为数据交换工具，那么建议熟练掌握，否则，了解和会用Demo即可。

3.4 Flume

Flume是一个分布式的海量日志采集和传输框架，因为“采集和传输框架”，所以它并不适合关系型数据库的数据采集和传输。Flume可以实时的从网络协议、消息系统、文件系统采集日志，并传输到HDFS上。因此，如果你的业务有这些数据源的数据，并且需要实时的采集，那么就应该考虑使用Flume。

下载和配置Flume。使用Flume监控一个不断追加数据的文件，并将数据传输到HDFS；

PS：Flume的配置和使用较为复杂，如果你没有足够的兴趣和耐心，可以先跳过Flume。

3.5 阿里开源的DataX

之所以介绍这个，是因为以前某公司客户目前使用的Hadoop与关系型数据库数据交换的工具，就是之前基于DataX开发的，个人感觉非常好用。现在DataX已经是3.0版本，支持很多数据源。你也可以在其之上做二次开发。

PS：有兴趣的可以研究和使用一下，对比一下它与Sqoop。

至此，你的“大数据平台”应该是这样的：

第四步：把Hadoop上的数据搞到别处去

前面介绍了如何把数据源的数据采集到Hadoop上，数据到Hadoop上之后，便可以使用Hive和MapReduce进行分析了。那么接下来的问题是，分析完的结果如何从Hadoop上同步到其他系统和应用中去呢？

其实此处的方法和第三步基本一致的。

4.1 HDFS GET命令

把HDFS上的文件GET到本地。需要熟练掌握。

4.2 HDFS API

原理同3.2。

4.3 Sqoop

原理同3.3。

使用Sqoop完成将HDFS上的文件同步到MySQL；

使用Sqoop完成将Hive表中的数据同步到MySQL；

4.4 DataX

原理同3.4

此时，“你的大数据平台”应该是这样的：

走完第三步和第四步的流程，那么你应该已经具备以下技能和知识点：

· 知道如何把已有的数据采集到HDFS上，包括离线采集和实时采集；

· 知道sqoop（或者还有DataX）是HDFS和其他数据源之间的数据交换工具；

· 知道flume可以用作实时的日志采集；

至此，对于大数据平台，应该已经掌握如何搭建Hadoop集群，把数据采集到Hadoop上，使用Hive和MapReduce来分析数据，把分析结果同步到其他数据源。

接下来的问题就是，Hive使用的越来越多，你会发现很多不愉快的地方，特别是速度慢，

大多情况下，明明我的数据量很小，它都要申请资源，启动MapReduce来执行。

第五步：快一点吧，我的SQL

其实大家都已经发现Hive后台使用MapReduce作为执行引擎，实在是有点慢。因此SQL On Hadoop的框架越来越多，按我的了解，最常用的按照流行度依次为SparkSQL、Impala和Presto.这三种框架基于半内存或者全内存，提供了SQL接口来快速查询分析Hadoop上的数据。

目前我们的方案使用的是SparkSQL，至于为什么用SparkSQL，原因大概如下：

· 使用Spark还做了其他事情，不想引入过多的框架；

· Impala对内存的需求太大，没有过多资源部署；

5.1 关于Spark和SparkSQL

什么是Spark，什么是SparkSQL。

Spark有的核心概念及名词解释。

SparkSQL和Spark是什么关系，SparkSQL和Hive是什么关系。

5.2 如何部署和运行SparkSQL

Spark有哪些部署模式？

如何在Yarn上运行SparkSQL？

使用SparkSQL查询Hive中的表。

PS:Spark不是一门短时间内就能掌握的技术，因此建议在了解了Spark之后，可以先从SparkSQL入手，循序渐进。

第六步：一夫多妻制

其实我想说的是数据的一次采集、多次消费。

在实际业务场景下，特别是对于一些监控日志，想即时的从日志中了解一些指标（关于实时计算，后面步节会有介绍），这时候，从HDFS上分析就太慢了，尽管是通过Flume采集的，但Flume也不能间隔很短就往HDFS上滚动文件，这样会导致小文件特别多。

为了满足数据的一次采集、多次消费的需求，这里要说的便是Kafka。

6.1 关于Kafka

Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。

6.2 如何部署和使用Kafka

使用单机部署Kafka，并成功运行自带的生产者和消费者例子。

使用Java程序自己编写并运行生产者和消费者程序。

Flume和Kafka的集成，使用Flume监控日志，并将日志数据实时发送至Kafka。

至此，“大数据平台”应该扩充成这样：

这时，使用Flume采集的数据，不是直接到HDFS上，而是先到Kafka，Kafka中的数据可以由多个消费者同时消费，其中一个消费者，就是将数据同步到HDFS。

总结：

为什么Spark比MapReduce快。

使用SparkSQL代替Hive，更快的运行SQL。

使用Kafka完成数据的一次收集，多次消费架构。

自己可以写程序完成Kafka的生产者和消费者。

前面的学习已经掌握了大数据平台中的数据采集、数据存储和计算、数据交换等大部分技能，而这其中的每一步，都需要一个任务（程序）来完成，各个任务�...

“大数据”时下一个热门的词语，近几年来，关于大数据的著作和文章铺天盖地，似乎也在共同在传递一个信息：越来越多的行业、人士开始关注并实际探索大数据的应用，我们正在一起描绘着大数据巨大效用的蓝图，但在实践的路上，我们都孩子起步阶段小步前行。

大数据根基于互联网，数据仓库、数据挖掘、云计算等互联网技术的发展为大数据应用奠定基础。对于任何一个大数据的从业者或初接触者，或者都会有个共同的感触：大数据很有用！但大数据是什么呢？

今天就给大家讲解一下：

对于大数据的定义，我们来引用3个比较差用的大数据定义：

1）Gartner：需要信息处理模式才能具有更强的决策力，洞察发现力和流程优化能力的海量、高增长率很多样化的信息资产。

2）IDC：海量的数据规模（Volunme）、快速的数据流转和数据体系（Velocity）、多样的数据类型（Variety）、巨大的数据价值（Value）。

3）Wiki：或称巨量数据、海量数据、大资料，指所涉及的数据量规模巨大到无法通过人工，在合理时间内达到截取、管理、处理、并整理成为人类所能解读的信息。

其他关于大数据的定义也大抵类型，我们可以用几个关键词对大数据做一个界定。

首先，“大规模”，这种规模可以从两个维度来衡量，一是时间序列累积大量的数据，二是在深度上更加细化的数据。

其次，“多样化”，可以是不同的数据格式，如文字、图片、视频等，可以是不同的数据类别，如入口数据，经济数据等，还可以有不同的数据来源，如互联网、传感器等。

最后，“动态化”，数据是不停变化的，可以随着时间快速增加大量数据，也可以是在空间上不断移动变化的数据。

这三 个关键词对大数据从形象上做了界定。

但是还需要一个关键能力，就是“处理速度快”。如果这么大规模、多样化又动态变化的数据有了，但需要很长的时间去处理分析，那不叫大数据。从另一个角度，要实现这些数据快速处理，靠人工肯定是没办法实现的，因此，需要借助于机器实现。

最终，我们借助机器，通过对这些数据进行快速的处理分析，获取想要的信息或者应用的整套体系，才能称为大数据。

我们可以用下面的图示给大数据定义：

这下，就知道什么是大数据了吧

什么是大数据？

大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。大数据技术，是指从各种各样类型的数据中，快速获得有价值信息的能力。适用于大数据的技术，包括大规模并行处理（MPP）数据库，数据挖掘电网，分布式文件系统，分布式数据库，云计算平台，互联网，和可扩展的存储系统。

大数据有何作用？

第一，对大数据的处理分析正成为新一代信息技术融合应用的结点。移动互联网、物联网、社交网络、数字家庭、电子商务等是新一代信息技术的应用形态，这些应用不断产生大数据。云计算为这些海量、多样化的大数据提供存储和运算平台。通过对不同来源数据的管理、处理、分析与优化，将结果反馈到上述应用中，将创造出巨大的经济和社会价值。大数据具有催生社会变革的能量。但释放这种能量，需要严谨的数据治理、富有洞见的数据分析和激发管理创新的环境(Ramayya Krishnan,卡内基·梅隆大学海因兹学院院长)。

第二，大数据是信息产业持续高速增长的新引擎。面向大数据市场的新技术、新产品、新服务、新业态会不断涌现。在硬件与集成设备领域，大数据将对芯片、存储产业产生重要影响，还将催生一体化数据存储处理服务器、内存计算等市场。在软件与服务领域，大数据将引发数据快速处理分析、数据挖掘技术和软件产品的发展。

第三，大数据利用将成为提高核心竞争力的关键因素。各行各业的决策正在从“业务驱动” 转变“数据驱动”。对大数据的分析可以使零售商实时掌握市场动态并迅速做出应对；可以为商家制定更加精准有效的营销策略提供决策支持；可以帮助企业为消费者提供更加及时和个性化的服务；在医疗领域，可提高诊断准确性和药物有效性；在公共事业领域，大数据也开始发挥促进经济发展、维护社会稳定等方面的重要作用。

第四，大数据时代科学研究的方法手段将发生重大改变。例如，抽样调查是社会科学的基本研究方法。在大数据时代，可通过实时监测、跟踪研究对象在互联网上产生的海量行为数据，进行挖掘分析，揭示出规律性的东西，提出研究结论和对策。

了解了大数据的概念和作用，我们先来看一下商业巨头们如何利用大数据吧。

一、谷歌公司（google Inc）

第一个 ：ReCAPTCHA案例。

这个虽然是被谷歌收购的，但是，具有典型的谷歌思维。为了解决垃圾邮件和网络机器人的问题，冯.安发明了验证码的解决方案。如果只限于此，也就没有特别可以称道的，但是他意识到每天有这么多人要浪费10秒钟的时间输入这堆恼人的字母，而随后大量的信息被随意地丢弃时，他开始寻找能使人的计算能力得到更有效利用的方法。 他想到了一个继任者，恰如其分地将其命名为ReCaptcha。和原有随机字母输入不同，人们需要从计算机光学字符识别程序无法识别的文本扫描项目中读出两个单词并输入。其中一个单词其他用户也识别过，从而可以从该用户的输入中判断注册者是人;另一个单词则是有待辨识和解疑的新词。为了保证准确度，系统会将同一个模糊单词发给五个不同的人，直到他们都输入正确后才确定这个单词是对的。在这里，数据的主要用途是证明用户是人，但它也有第二个目的：破译数字化文本中不清楚的单词。ReCaptcha的作用得到了认可，2009年谷歌收购了冯·安的公司，并将这一技术用于图书扫描项目，再后来，谷歌街景也开始使用这项技术。把验证码和OCR需求巧妙结合起来，这展示了思维的威力，实现了ReCaptcha技术提供者和使用者的双赢，技术提供者利用OCR识别获得了自己的受益，使用者不需要任何付费(互联网免费思维)，也愿意使用，对于用户其实也没有影响，没有增加额外的工作。上研究生的时候，就研究OCR汉字识别问题，识别率始终是个问题，对于手写就更低了，要花费大量人力来解决，并且，人工识别工作是非常无聊，没有办法来保障质量。再想起12306的验证码，更令人无语了。我们浪费了多少资源?我们有多少资源可用充分来利用?

第二个：拼写检查纠错的案例。

我们都经常使用微软的Word，其中就有拼写检查纠错功能，微软实现这个功能，采用的是传统的软件思维，也就是利用规则和词库来解决，这个需要不断耗费人力进行规则和词库的升级，对于不同的语言，耗费更是巨大。谷歌解决这个方法，用的相对巧妙，在搜索的时候，当你输入一个错误的词时，会给一个提示，要找的是不是建议的词，如果用户确认后，谷歌就进行记录处理，后面，再经过一些算法处理，经过大量的数据学习，各个拼写检查纠错就越来越好，并且，这个后续维护成本很低， 效果越来越好。其实，谷歌翻译也使用了类似的思路，虽然前期算法，包括大数据处理花费了比较多，后续，基本实现了自动化，系统会越来越强，维护升级成本很低，项目就变成可持续发展。

第三个：对流感的预测

2009年，一种新型的流感病毒h1n1在全球迅速传播开来。美国，和世界上所有的国家一样，要求医生们发现案例市告知疾病控制与预防中心。但是，人们并不是在第一时间去医院检查，而是会有一段时间的延迟，消息要传达到疾控中心也要时间，从而造成一定的滞后性。

在该病毒爆发的几周前，谷歌公司的工程师们在《自然》杂志上发表了一篇论文。文中解释了谷歌为什么能够预测冬季流感的传播：不仅是全美范围内，而且具体到特定的地区和州。

谷歌如何做到的呢？数据。

谷歌通过观察人们在网上的搜索记录来完成这个预测，谷歌保存了多年来所有的搜索记录，每天都会超过30亿条的搜索指令。如此庞大的数据资源才能支撑谷歌完成这项工作。

二、facebook。

Facebook（脸书）是美国的一个社交网络服务网站 ，创立于2004年2月4日，总部位于美国加利福尼亚州帕拉阿图，2012年3月6日发布Windows版桌面聊天软件Facebook Messenger ，主要创始人马克·扎克伯格。它是世界排名领先的照片分享站点，截至2013年11月每天上传约3.5亿张照片、截至2012年5月，拥有约9亿用户。Facebook的总部设在硅谷的门洛帕克（Menlo Park）——1 Hacker Way 从2006年9月11日起，任何用户输入有效电子邮件地址和自己的年龄段，即可加入。在2015年8月28日，单日用户数突破10亿。

fancebook，拥有这庞大数据，同时它也不会浪费这些数据。Facebook通过用户社交网络图得知人们的喜好、

说完了，我们转过头看一下我们国内。

大数据现今在国内也是蓬勃发展，让我让数据说话！

大数据企业发展态势

态势一：2017年，我国大数据企业依旧整体呈现“金字塔”状的实力分布，从金字塔上层来看，我国大数据企业发展指数高于50的企业数量占比仅为7.4%，与去年相比，中高区间的龙头企业发展指数均有不同程度的提升，体现出“强者恒强”的发展势头。2017年，随着新晋企业数量增多、初创企业发展活力不断提升，金字塔根基更趋稳固；专精特新的独角兽企业发展势头迅猛，成为我国大数据企业发展的中坚力量。

态势二：2017年，我国大数据企业基础画像指数呈现较为明显的三重集团趋势，可以分为领军企业（数量占比9.23%，指数跨度从62.50到10.46）、中坚企业（数量占比29.49%，指数跨度从9.89到1.00）、上升企业（数量占比为50.16%，指数跨度从0.98到0.001）三类企业。从构成占比上看，2017年，我国大数据领军企业占比基本维持不变，而中坚企业占比显著增加，上升企业比例对比2016年有较为明显的减少。

态势三：2017年，我国大数据企业技术研发指数呈现“龙头领先、中小微主体跟进”总体趋势，技术研发指数超过10的龙头企业数量占比为9.85%，低于10的企业占比达到90.15%。大数据企业技术研发指数平均值为4.06，同比2016增长了3.18%，其中，以华为、中兴等通信企业和BAT等互联网企业为代表的TOP20龙头企业的技术研发指数同比2016年增长了5.73%。

态势四：2017年，我国大数据企业市场拓展指数呈现出“龙头带动、全面壮大”的分布格局，我国大数据企业市场拓展指数小于30的企业数量占到92.88%，指数超过30的大数据企业占比为7.12%。与2016年相比，龙头企业依旧强势引领大数据市场，中间企业及长尾企业亦积极拓展市场版图，行业整体呈稳步发展态势。

态势五：2017年，大数据企业尤其是骨干企业发展集聚态势进一步强化，绝大多数企业集聚在北京、天津、山东、江苏、浙江、上海、广东、福建等东部沿海信息技术产业基础较好的省市。与2016年相比，东北、中西部等重点城市，以及乌鲁木齐、呼和浩特等地的大数据企业集聚化趋势日益明显。

态势六：2017年，我国产业环节大数据企业聚焦数据采集、数据存储、数据预处理、数据分析、数据可视化、数据流通，跨度从19.48到6.87，发展指数相对比较均衡，数据分析环节企业发展指数水平相对突出，发展指数达到19.48，数据大数据分析挖掘环节必将涌现出更多的独角兽企业。与2016年相比，大数据分析环节指数增长3.8，其他环节指数均有不同程度下降。

态势七：2017年，我国重点行业大数据产业企业聚焦政务、工业、健康医疗、交通、农业、金融、教育、能源等17个行业领域，企业平均发展指数为23.36，最高的安防大数据企业发展指数达到35.71，最低的能源大数据企业发展指数为16.89。与2016年相比，主要行业大数据企业平均发展指数同比增加了0.25，大多数行业发展指数都稳中有进，除安防领域初步定型，同比2016年降低了4.01，其他重点行业领域指数均有不同程度上升。

态势八：2017年，我国特色细分领域大数据企业主要分为三大阵营，与2016年相比，三大阵容的特色细分领域发生了明显变化。一是从事人工智能相关的龙头企业处于第一阵营，平均发展指数维持在21左右；二是从事工控安全、数据库、区块链、征信分析、商业智能BI、数据中心IDC、数据营销、基因测序等10类细分领域大数据相关业务的龙头企业处于第二阵营，平均发展指数处于13.97到17.78之间；三是以虚拟现实、开源技术和车联网为代表的第三阵营，整体发展指数相对略低，处于12左右。

进过调研分析，我们可以作出预判

2018年我国大数据产业发展的主要趋势有：

1、产业将持续保持快速增长态势。预计2018年我国大数据核心产业规模将突破5700亿元。

2、融合渗透效应向更深层次延伸。延伸方向既包括经济运行、社会生活等应用领域，也包括物联网、人工智能等关联技术。

3、制造业数字转型作用日益凸显。以大数据驱动制造业数字化转型的新模式、新业态将不断涌现。

4、技术创新仍是产业发展主基调。大数据领域核心关键技术将加速突破，跨学科、跨领域交叉融合技术研究将成为发展重点。

5、产业集聚特色化发展态势逐步显现。国家大数据综合试验区建设的不断深入，一批省级大数据产业集聚区将进一步优化资源配置、形成集聚效应、发挥辐射带动作用。

6、产业生态体系迈入成熟完善阶段。大数据相关政策将加快落地实施，更多创新性政策将加快出台，大数据产业发展环境将进一步优化。

区域大数据产业发展态势：

态势一：2017年，国家大数据综合试验区依然引领产业发展，其所在区域的大数据产业发展总指数在全国大数据产业发展总指数的占比达37.54%。试验区内各省市指数较去年增幅均值为6.23，高于全国增幅均值的5.78，大数据产业发展速度高于全国平均水平。

态势二：2017年，大数据产业集聚发展效应进一步凸显，长三角地区、珠三角地区、中西部地区和东北地区大数据产业集聚发展格局基本形成。

态势三：2017年，北京、江苏、广东、浙江、上海等五省市成为大数据产业发展第一梯队，其大数据发展总指数在全国大数据发展总指数的占比高达26.52%，领先的优势地位明显。浙江省大数据产业发展指数较去年增长12.71，成为全国大数据产业发展指数增幅最高城市。

态势四：2017年，我国东部、西部、中部、东北四个分区产业发展差异化明显。东部地区整体发展水平最高，大数据产业发展指数增幅均值为7.39，远超全国平均水平5.78，天津、河北、海南排名上升；西部地区未来仍有巨大发展空间，重庆大数据产业发展指数较去年增长10.12，增幅仅次于浙江省位列全国第二，宁夏、内蒙古二地成后起之秀；中部地区整体发展速度高于西部和东北，山西发力大数据产业，排名明显提升。东北地区辽宁继续蝉联区域榜首，辐射带动作用逐步凸显。

态势五：2017年，各省市大数据产业发展环境均呈现向好态势，各省市的发展环境平均指数为10.9，较去年提高32.9%，18个省市的发展环境指数高于平均值，占比达到58%，而发展环境指数在去年平均值以上的省市高达30个；同时，江苏、重庆、安徽等地由于组织机制进一步完善、区域信息化水平加速提升等因素影响，较去年排名增速明显。

态势六：2017年，全国各省市大数据产业发展水平均有提升，大数据产业发展总指数为363.9，较去年提升16.8%；

但受数据集聚开放水平、大数据产业规模、大数据企业主体等多种因素共同影响，各省...