《科学数据》论文GHWR, a multimethod global heatwave and warm-spell record and toolbox本周在线发表了“全球热浪和高温记录”（Global Heatwave and Warm-spell Record，GHWR），这一数据库对当前和既往热浪的研究提供了新见解。GHWR数据库向研究人员开放，将促进对热浪以及热浪对人类和环境影响的研究。

不同热浪定义下的1995年7月美国的热浪天数。Raeiet al.

热浪一般是指长时间的持续高温和过度炎热。虽然全球变暖可能会增加热浪频次和严重程度，但目前缺乏对热浪形成的统一定义。这不仅阻碍了研究发展，也让比较过去和现在热浪的难度更大。热浪被称为大自然的“无声杀手”，在某些地区是最致命的自然灾害之一，会导致基础设施受损，作物产量下降，并给卫生系统造成压力。

美国博伊西州立大学的Mojtaba Sadegh及同事报告了1979年至2017年期间发生的热浪和高温事件的大规模数据记录，包括强度、持续时间和频次方面的信息。作者收集了美国国家海洋和大气管理局（NOAA）地球系统研究实验室的数据，并建立了一套用来识别热浪和高温的标准化指标。加入高温数据的重要性在于高温事件也能产生和热浪一样的重大影响，但对其的研究却很少。研究人员可以利用GHWR比较不同地区或时期的数据，并对各种不同热浪定义进行比较。

2015年6月20日的全球温度和热浪情况。Raeiet al.

作者认为，GHWR提供了有价值的基线资源，或有助于增进对未来热浪的理解和预测，并能通过预警和有效干预帮助受到影响的人群。

Scientific Data

doi:10.1038/sdata.2018.206

市场研究机构Synergy Research公布最新的全球超大规模数据中心市场研究报告，预计2017年年底全球超大规模数据中心将达到390多座。超大规模数据中心一般拥有5万-10万服务器。

全球超大规模数据中心今年的增长主要是因为今年年中德国、英国、新加坡、澳大利亚、巴西和美国等地数据中心的建设，以及今年第四季度，中国、印度和马来西亚等地的建设。

按照超大规模数据中心的市场份额计算，美国占比为44%，中国占比是8%，日本占比6%，英国占比6%，澳大利亚占比5%，德国占比5%。巴西、新加坡、印度和加拿大的占比在3%左右。

云计算巨头仍是超大规模数据中心的主要拥有者。亚马逊/AWS、微软、IBM和谷歌每家企业至少拥有45座超大规模数字中心，甲骨文和阿里巴巴/阿里云拥有的数量也不少。

Synergy Research分析师John Dinsdale表示，至少还有69座超大规模数据中心还处在建设之中，预计2019年年底前，全球超大规模数据中心的总量将会超过500座。

John Dinsdale表示，美国仍占到所有超大规模数据中心的近一半，这反映了美国在云技术和互联网技术上的主导地位。“在数据中心建设方面，其他国家的表现更为突出，但即使是三年之后，我们预计美国仍将占全球总量的40%左右

“大数据”时下一个热门的词语，近几年来，关于大数据的著作和文章铺天盖地，似乎也在共同在传递一个信息：越来越多的行业、人士开始关注并实际探索大数据的应用，我们正在一起描绘着大数据巨大效用的蓝图，但在实践的路上，我们都孩子起步阶段小步前行。

大数据根基于互联网，数据仓库、数据挖掘、云计算等互联网技术的发展为大数据应用奠定基础。对于任何一个大数据的从业者或初接触者，或者都会有个共同的感触：大数据很有用！但大数据是什么呢？

今天就给大家讲解一下：

对于大数据的定义，我们来引用3个比较差用的大数据定义：

1）Gartner：需要信息处理模式才能具有更强的决策力，洞察发现力和流程优化能力的海量、高增长率很多样化的信息资产。

2）IDC：海量的数据规模（Volunme）、快速的数据流转和数据体系（Velocity）、多样的数据类型（Variety）、巨大的数据价值（Value）。

3）Wiki：或称巨量数据、海量数据、大资料，指所涉及的数据量规模巨大到无法通过人工，在合理时间内达到截取、管理、处理、并整理成为人类所能解读的信息。

其他关于大数据的定义也大抵类型，我们可以用几个关键词对大数据做一个界定。

首先，“大规模”，这种规模可以从两个维度来衡量，一是时间序列累积大量的数据，二是在深度上更加细化的数据。

其次，“多样化”，可以是不同的数据格式，如文字、图片、视频等，可以是不同的数据类别，如入口数据，经济数据等，还可以有不同的数据来源，如互联网、传感器等。

最后，“动态化”，数据是不停变化的，可以随着时间快速增加大量数据，也可以是在空间上不断移动变化的数据。

这三 个关键词对大数据从形象上做了界定。

但是还需要一个关键能力，就是“处理速度快”。如果这么大规模、多样化又动态变化的数据有了，但需要很长的时间去处理分析，那不叫大数据。从另一个角度，要实现这些数据快速处理，靠人工肯定是没办法实现的，因此，需要借助于机器实现。

最终，我们借助机器，通过对这些数据进行快速的处理分析，获取想要的信息或者应用的整套体系，才能称为大数据。

我们可以用下面的图示给大数据定义：

这下，就知道什么是大数据了吧

编者按：

新年伊始，达沃斯世界经济论坛等全球性重要会议都把“大数据”作为重要议题，进行讨论和展望。而随着大数据发展日新月异，我们国家也在审时度势、精心谋划、超前布局、力争主动。本报精心策划，就全球大数据发展趋势，中国的机遇和挑战，大数据发展法制建设等展开调研和采访，推出“大数据观察”系列报道三篇稿件，敬请关注。

“大数据”是今年达沃斯世界经济论坛的热词之一，与会各界都对云计算、大数据等驱动经济数字化转型因素表达了高度关注。而在年初举办的2018拉斯维加斯消费电子展(CES)上，美国消费技术协会总裁兼首席执行官加里·夏皮罗、英特尔首席执行官布莱恩·克尔扎尼奇等都表示，大数据将对人类生活产生深远影响，大数据是未来科技浪潮发展不容忽视的巨大推动力量，2018年全球大数据产业将得到强劲发展。

记者梳理国内外权威机构最新统计数据，至2022年，全球大数据市场规模达到800亿美元，年均实现15.37%的增长。近两年来，大数据发展浪潮席卷全球。全球各经济社会系统采集、处理、积累的数据增长迅猛，大数据全产业市场规模逐步提升。综合各方观点，2018年大数据产业或呈现开源大数据商业化进一步深入等七大发展趋势。

根据监测统计，2017年全球的数据总量为21.6ZB(1个ZB等于十万亿亿字节) ，目前全球数据的增长速度在每年40%左右，预计到2020年全球的数据总量将达到40ZB。

阿里巴巴集团技术委员会主席王坚在接受《经济参考报》记者专访时表示：“过去人类发展留下了数据，但是数据不够多，难以形成资源；但是互联网时代留下的大量数据可以成为资源。”德国思爱普公司董事会成员Bernd Leukert表示，信息技术(IT)系统依赖传统的数据处理方式，大量数据需要人工输入；然而，如今任何一个物理存在都会自动生成数据，人与人、人与物、物与物之间都会产生大数据，数据流将深刻改变企业运行的各个环节。

清华数据创新基地主任邱东晓在接受记者采访时表示，大数据首先要明确几个层次。一个是技术层面，也就是大数据、物联网和AI等。二是应用层面，将大数据技术应用到各个领域，以此来提高效率，减少成本。三是产业层面，利用大数据技术，推动产业升级，促进产业结构转型。四是生态层面，人才、政策和市场之间如何相互配合，区域之间、国际之间如何相互沟通。

记者综合多家机构的预测，2018年全球大数据市场规模将达到454亿美元，未来五年(2018-2022)年均复合增长率约为15.37%，市场规模达805亿美元。预计2018年我国大数据市场规模将达到280亿元，未来五年(2018-2022)年均复合增长率约为27.29%。

记者采访中国科学院、美国电子消费协会的有关专家，他们认为，随着大数据基础设施的不断完善，数据分析和商业智能工具将逐渐成为大数据的主力军。2018年，全球大数据产业将呈现七大发展趋势，而产业应用将是主旋律。

首先，开源大数据商业化进一步深化。随着闭源软件在数据分析领域的地盘不断缩小，老牌IT厂商正在改变商业模式，向开源靠拢，并加大专业服务和系统集成方面的力度，帮助客户向开源的、面向云的分析产品迁移，主要是Hadoop技术将加速发展。

第二，打包的大数据行业分析应用开拓新市场。随着大数据逐渐走向各个行业，基于行业的大数据分析应用需求也日益增长。未来几年针对特定行业和业务流程的分析应用将会以预打包的形式出现，这将为大数据技术供应商打开新的市场。

第三，大数据细分市场规模进一步增大。大数据相关技术的发展，将会创造出一些新的细分市场。例如，以数据分析和处理为主的高级数据服务、基于社交网络的社交大数据分析等。

第四，大数据推动公司并购的规模和数量进一步提升。因此，在未来几年中，大型IT厂商将为了完善自己的大数据产品线进行并购，首先涉及的将是信息管理分析软件厂商、预测分析和数据展现厂商等。

第五，大数据分析的革命性方法出现。今年，大数据分析将出现革命性的新方法，从前的很多算法和基础理论可能会产生理论级别的突破。机器学习继续成为大数据智能分析的核心技术；人工智能和脑科学相结合，成为大数据分析领域的热点。金融、互联网电子商务、健康医疗、城镇化智慧城市领域的应用令人瞩目。

记者近期在美国西部一所高校访问时了解到，在美国的先进制药行业，药物开发领域的最新前沿技术是机器学习，即算法利用数据和经验教会自己辨别哪种化合物同哪个靶点相结合，并且发现对人眼来说不可见的模式。

第六，大数据与云计算将深度融合。云计算为大数据提供弹性可扩展的基础设施支撑环境以及数据服务的高效模式，大数据则为云计算提供新的商业价值，大数据技术与云计算技术必有更完美的结合。阿里云计算有限公司总裁胡晓明表示，2018年将是云计算与产业深度结合的元年。人们将看到各国的基础设施越来越紧密地和云计算结合起来，更多的制造企业和金融机构开始用“云”，云计算将促进科技金融提高效益。

第七，大数据一体机将陆续发布。在未来几年里，数据仓库一体机、NoSQL一体机以及其它一些将多种技术结合的一体化设备将进一步快速发展。据记者了解，中国的华为、浪潮等公司今年将在大数据一体机上有更大的动作。华为IT服务器产品线总裁邱隆表示：“华为服务器在自身高质量、创新、高性价比的基础上，致力提供一个开放的计算平台，通过和业界主流大数据厂家合作，面向客户提供最佳性价比的大数据解决方案。”

许多国家的政府对大数据产业发展有着高度的热情。

纽约大学计算机系教授塞恩告诉记者，根据前期计划，美国希望利用大数据技术实现在多个领域的突破，包括科研教学、环境保护、工程技术、国土安全、生物医药等。其中具体的研发计划涉及了美国国家科学基金会、国家卫生研究院、国防部、能源部、国防部高级研究局、地质勘探局等6个联邦部门和机构。

目前，欧盟在大数据方面的活动主要涉及四方面内容：研究数据价值链战略因素；资助“大数据”和“开放数据”领域的研究和创新活动；实施开放数据政策；促进公共资助科研实验成果和数据的使用及再利用。日本著名的矢野经济研究所预测，2020年度日本大数据市场规模有望超过1兆日元。

前瞻研究院报告指出，目前全球大数据企业主要分为两大阵营。一部分属于单纯以大数据技术为核心的创新型公司，希望为市场带来创新方案并推动技术发展。另外一些则是以数据库/数据仓储业务为主的知名公司，利用自身资源与技术优势地位冲击大数据领域。

记者注意到，最近两年全球大数据公司一些新的独角兽企业将在资本市场动作频频。Palantir作为估值仅排在Uber和Airbnb之后独角兽企业，自2015年浮出水面后就成为全球估值第一的大数据企业，它的重要客户为美国的情报机构，业务主要涉及国防安全与金融领域。作为全球Hadoop三驾马车中体量最大公司Cloudera Intel斥7.4亿美金巨资收购Cloudera约18%股份，使得Cloudera估值达到41亿美金，成为估值第二高的大数据公司。AppDynamics是美国去年第一次进行IPO的独角兽，市场估值约20亿美元。其销售应用性能管理(APM)软件，提供监控商业软件应用程序和IT基础架构性能的智能平台，功能是帮助企业发现和修复其应用程序中的错误。

( 编辑：郭伟莹 )

原题：史上最大规模数据窃取案背后

网络黑灰产业猖獗 直怼个人信息保护立法执法及监管软肋

法治周末记者 罗聪冉

用户数据安全问题再次牵动大众神经。近日，浙江省绍兴市越城区警方破获一起上市公司盗取数据案，被称为史上最大规模的数据窃取案。

撑起该头衔的是一组令人触目惊心的数据：该犯罪团伙通过与全国十余省市多家运营商签订营销广告系统服务合同，从运营商流量池中非法窃取用户信息30亿条；通过操纵用户账户加粉、刷量、进行恶意弹窗推广等方式，该黑产公司一年就盈利上千万元。

目前，该团伙中6名犯罪嫌疑人被抓，案件正在进一步的侦查中。业内专家指出，黑灰产团伙、黑数据平台的存在，是当前数据泄露的主要原因。对于网络黑灰产的治理对策，建议政企研多方联合，共筑安全“防火墙”。

“打劫”运营商窃取数据

如果你的微博莫名关注了一堆陌生营销账号、抖音账号“自动”成为某网红的“粉丝”、QQ突然添加陌生好友……遇到这种社交账户“自动”添加好友的情况时，可能你的账号已被网络黑灰产团伙所操控。

这起史上最大规模数据窃取案的侦破，也是从发现上述异常现象开始的。今年6月下旬，绍兴越城区公安分局网警大队多次接到市民报案，称在不知情的情况下发现，自己的微博、QQ等社交账户添加了陌生好友，手机经常莫名其妙地收到各种垃圾广告弹窗、短信，怀疑个人信息被泄露。

在阿里巴巴安全部提供的技术协助下，警方调查发现，报案人李某的账户数据于2018年4月17日被8个IP地址多次异常访问，这8个IP地址隶属的IP段还先后访问超过5000人的账户。经过侦查，警方成功锁定该IP段背后是以北京瑞智华胜科技股份有限公司(下称“瑞智华胜”)为首的3家公司在操控，且3家公司实际控制人和主要成员均系同一拨人。公开资料显示，瑞智华胜成立于2013年，从2016年转型做互联网营销，2017年12月1日正式挂牌新三板。

据了解，同一个团伙之所以开办3家公司，是为了用不同的公司主体干不同的事情，掌控整个产业链：其中，两家公司主要与运营商签订服务合同，获取权限，进而窃取数据；瑞智华胜则主要将数据加工、处理，通过精准营销等方式获利变现。

根据警方掌握的情况，该团伙负责人邢某先和运营商签订正规的营销广告系统服务合同，获取运营商服务器的远程登录权限后，从2015年开始，在明知不合法的情况下，将自主编写的恶意程序放在运营商内部的服务器上。当用户的流量经过运营商的服务器时，该程序就自动工作，从中清洗、采集出用户cookie、访问记录等关键数据，再通过恶意程序将所有数据导出，存放在瑞智华胜境内外的多个服务器上。

据了解，所谓cookie，相当于用户账号的登录凭证，通过cookie不需要再次输入账号和密码，就可以进入用户账号，并且能从用户账号中获取用户的注册信息、搜索记录等数据。

“该犯罪团伙正是利用了cookie的这一特性，通过劫持的cookie数据登录了大量用户账号，从而操纵用户账户加粉、刷量，并进行恶意弹窗推广等方式非法获利。”办案民警介绍，为更好地实现效果，瑞智华胜针对加粉、刷量等不同场景的应用分别开发了软件，犯罪手法极其专业，技术水平较高。

根据警方查获的报价单，瑞智华胜掌握的微博大V号粉丝量在200万至600万不等，发布或转发一条微博的报价在2000元至4000元不等，微信大V号推送内容的价格在7000元至20000元/条不等。

而互联网营销这一模式也确实让瑞智华胜赚得盆满钵满。瑞智华胜提交的财务数据显示，2015年做软件开发服务时，其营收仅187万元、净利润两万元；转型做互联网营销之后的2016年，公司实现营收3028万元，净利润1053万元。2017年财报显示，瑞智华胜公司收入同比2016年虽有所减少，但全年营收也达到2002万元，净利润309万元。

需多节点多环节防范

警方通过数据反查发现，犯罪嫌疑人邢某所在公司，与覆盖十余省市的20多家运营商，签订营销广告合作协议，但运营商均未对具体项目进行约束、监督；因运营商监管不到位，邢某等人才能通过布置恶意采集程序的方式，非法获取用户流量信息。

警方统计发现，该团伙负责人通过运营商监管不力而非法窃取的数据，涉及百度、腾讯、阿里巴巴、今日头条等全国96家互联网公司的用户数据，几乎国内所有的核心互联网企业无一幸免。也就是说，用户在网上搜索什么信息、去哪儿、买了什么等这些信息，均被该犯罪团伙掌握。

那么，这些互联网巨头何以轻易被这家犯罪团伙“打败”呢？一位不愿具名的互联网安全专家表示，从运营商的层面进行流量劫持和清洗，相当于在源头上数据就丢失了，位于下游的互联网公司的安全防护能力再强，也无法防范。

专注互联网业务安全的顶象技术风控产品负责人张晓科解释，因为黑客不是在这些公司的平台窃取数据，而是在这些平台都使用的运营商的网络上窃取。互联网数据传输流程是：用户—路由器—运营商网络—服务网站/云平台—运营商网络—路由器—用户。黑客在必经节点上窃取数据，则需要运营商做好防御。服务平台只有通过日常运维发现异常，在本平台做好加密，以防止数据被盗。

“运营商作为个人隐私的第一道把关人，运营商安全监管不到位，安全制度和安全措施未落实，未尽到对个人信息的安全保护义务，根据网安法，可对其进行政处罚。”北京邮电大学互联网治理与法律研究中心副主任谢永江谈道，此次事件的出现，也给运营商敲响了警钟：以后在与瑞智华胜类似的互联网营销公司合作时，要对可能出现的安全风险加强监测和排查。

业内人士指出，类似安全事件的发生，并不意味着下游的互联网平台将无所作为。其实，同一个账户短时间内被多个IP地址访问，或者同一IP短时间内访问上千人的账户，这些都属于异常登录行为，作为互联网公司应该对此进行防范，并对用户进行风险预警。

8月24日，微博工作人员告诉记者，今年4月，针对微博粉丝反映的异常点赞现象，微博一方面加强打击盗取用户信息的不法行为，另一方面也对微博客户端进行了安全更新。用户可通过升级最新版本、PC端微博仅限官方网址登录、清空第三方应用授权等措施避免异常点赞现象。另外微博也有登录保护功能，用户开通之后，如果有登录新设备的行为，就能收到平台的提示。

黑灰产业已达千亿规模

目前，该案还在进一步侦查中，但背后所反映的是，网络黑灰产带来的安全挑战愈加严峻，以及加强互联网数据保护愈加迫切。8月21日，阿里巴巴联合《南方都市报》发布《2018网络黑灰产治理研究报告》(以下简称《报告》)显示，全年国内6.88亿网民因垃圾短信、诈骗信息、个人信息泄露等造成的经济损失估算达915亿元。

《报告》显示，2017年我国网络安全产业规模为450多亿元，而黑灰产业已达1000亿元规模，黑灰产业比安全产业发展得更为迅速；网络黑灰产犯罪手法不断升级，攻防技术、手段迭代加速，对公民个人信息安全、财产安全、社会秩序和国家基础设施的安全稳定等造成恶劣影响。

“有利可图、窃取方便、惩罚力度轻、法律取证难，是侵犯个人信息事件屡屡发生的原因。”张晓科指出。

阿里巴巴安全部高级安全专家临阁分析，黑灰产从业者通过技术手段隐藏真实身份，并将多个复杂作案环节和场景一一拆分，随时切断上下游犯罪链条以自保，就连黑灰产链条最末端、实施电信诈骗者也极为狡猾。这种猖獗的“黑灰产暗战”降低了犯罪分子的作案风险，也增大了警方的侦查难度，浪费执法资源。

谢永江认为，近年来侵犯公民个人信息案件高发，一方面反映出数据具有的商业价值越来越被重视，所以会成为犯罪分子凯觎的目标；另外也反映出，我国在数据保护方面仍欠缺，虽然刑法上有“出售、非法提供公民个人信息罪”和“侵犯公民个人信息罪”的具体处罚标准，但毕竟刑事打击门槛较高，公安机关打击力量也有限，因此行政保护还有待进一步加强和完善。

除了加强行政执法力度之外，谢永江认为，在源头上，网络运营商一方面应提高技术水平，加强用户信息保护力度；另一方面也要完善管理制度，杜绝“内鬼”监守自盗。在救济方面，建议建立信息赔偿标准，如果个人信息被非法获取、利用，受害人可以通过诉讼获得赔偿；在监管方面，为了避免交叉监管或监管空白，建议设立专门的个人信息保护行政机构，对电信行业、互联网企业、个人信息使用集中的行业重点监管。

责任编辑：马蓉蓉

全球数据中心深化发展，由资源转向服务

当前，数据中心已成为企业或机构管理IT基础设施与应用，提供基础设施与应用服务的重要平台。随着更加先进的技术融合的发展，建设新一代数据中心成为企业普遍关心的热点话题，它不仅代表着IT产业发展的潮流，也反映了不同IT用户最迫切的核心需求。从时间上来看，数据中心功能演进经历了三个发展阶段，即计算中心阶段、信息中心阶段和服务中心阶段。截止至目前，全球数据中心行业已经逐渐实现由卖资源向卖服务提供综合服务的方向转变。

全球IDC投资增加，促进规模不断增加

现阶段，全球范围内伴随着云计算、大数据、虚拟化等新兴技术的落地，数据中心流量和带宽成指数级增长，IDC的发展从服务器机房向大型超大规模部署演进，以向越来越多的网络设备及用户交付IT服务并提供存储、通信及网络等相应服务。

据前瞻产业研究院数据显示，近年来，全球IDC的投资规模不断增加，2014年该行业的投资规模为39亿美元，至2017年该投资规模上升至240亿美元，较上年同比增加211.69%，实现了较大规模的提升。

随着全球IDC投资规模的不断增加，该行业的全球市场规模不断增加，以谷歌、亚马逊等为代表的企业的IDC的布局推动了全球数据中心业务的发展。2013-2017年全球IDC市场规模的年均复合增长率为17.10%，至2017年全球IDC市场在云计算业务的带动下继续保持较稳定增长，整体市场份额达到534.7亿美元，增速为18.3%。

IDC建设数量缩减，单体建设规模提升

全球数据中心数据中心建设在经历了自2001年起的蓬勃发展期后，目前全球IDC的发展建设进入较为稳定的发展阶段，全球范围内整个行业基本呈现出范围内IDC建设数量正在逐渐缩减，但单体建设的规模在不断加大。据统计，全球数据中心数量在2015年达到了855万座的顶峰后，于2016年数量规模开始下降。

虽然全球范围内数据中心总量在不断下降，但是超大规模的数据中心的数量却在不断的增加，至2017年，全球超大规模数据中心数量达到386万台，在整体建设的数据中心数量中占比不断提升。

从超大规模数据中心的地区分布来看，美国仍是数据中心建设数量最多的国家，占全球建设数量的44%，较上年下降1%。近年来，随着我国大数据、云计算及BAT行业的崛起化发展，国内数据中心建设数量占比为8%，位居第二，其次为日本，建设数量占比为6%，除此之外以英国和澳大利亚为代表的的国家，数据中心建设数量占比均为5%。

未来，随着全球范围内大数据、云计算等基础设施的不断完善及数据对企业发展重要作用的逐渐显现，全球数据中心的市场规模将会继续提升，且逐步向大规模数据中心建设领域布局。

以上数据来源参考前瞻产业研究院发布的《2018-2023年中国数据中心IT基础设施第三方服务行业发展前景与投资预测分析报告》。

更多深度行业分析尽在【前瞻经济学人APP】，还可以与500+经济学家/资深行业研究员交流互动。

随着时代的发展，信息技术的更新迭代与人类生存生活产生紧密联系，全球范围内的数据产业呈现爆炸式增长特点，我们的生活迎来了大数据时代，这些技术的发展对经济发展、社会治理、国家管理、人民生活都产生巨大的影响。科多大数据给大家看看，中国大数据产业的发展情况。

中国大数据发展水平情况

据统计数据显示，2017年中国大数据发展指数总数为1087.8，同比增长179.32;各省市增长的平均值为5.78。其中，浙江和重庆的大数据发展指数增长均超过10，北京、江苏、广东、浙江、上海味蕾大数据产业发展的第一梯队，大数据指数增长平均值为8.13。总的来看，中国大数据发展已形成了8个国家大数据综合试验区为引领，多区域集聚发展、第一梯队领先优势明显的格局。

分区域大数据发展水平情况

在中国分区域大数据发展指数中，东部地区大数据发展水平最高，2017年大数据发展总指数为470.51，占中国大数据发展总指数的43.25%;西部地区排名第二，2017年大数据发展总指数为347.13，占比为31.91%;其后是中部地区和东北地区，大数据发展指数分别为185.53和84.62，在中国大数据产业发展总指数的占比分布为17.06%和7.78%。

数据来源：中国电子信息产业研究院、中商产业研究院整理

2018年产值或突破6000亿元

据中商产业研究院发布的《2018-2023年中国大数据产业市场前景及投资机会研究报告》，数据显示，2017年中国大数据产业规模达到4700亿元，同比增长30%;其中，大数据硬件产业的产值为234亿元，同比增长39%。随着大数据在各行业的融合应用不断深化，预计2018年中国大数据市场产值将突破6000亿元，达到6200亿元。

数据来源：中国信通院、中商产业研究院整理

大数据产业发展趋势

1、大数据基础设施建设持续增长

基础设施是大数据产业高速发展的前提和保障。我国加快推进“宽带中国”战略，可加快下一代互联网、4G通信网络、公共无线网络、电子政务网和物联网等网络基础设施的建设。

2、大数据开放共享进度加快

大数据时代，国家竞争力将部分体现为一国拥有数据的规模、活性以及该国解释、运用数据的能力，而国家数据主权体现了对数据的占用和控制。因此，大数据时代，数据主权成为另一个大国博弈的空间。

3、政府大数据深入应用

各级政府机关在日常管理中累积了大量的数据，但未对这些数据的价值进行充分挖掘，在未来多种数据的融合过程中，政府应用场景将更加丰富，数据挖掘和分析的结果对管理决策的辅助作用可逐步显现。

中商情报网讯：5月28日，《大数据蓝皮书：中国大数据发展报告No.2》发布。报告指出，中国已经进入大数据创新突破与应用落地的发展上升期，并对中国大数据发展的十大趋势进行了展望。

据中商产业研究院发布的《2018-2023年中国大数据产业市场前景及投资机会研究报告》，数据显示，2017年中国大数据产业规模达到4700亿元，同比增长30%；其中，大数据硬件产业的产值为234亿元，同比增长39%。随着大数据在各行业的融合应用不断深化，预计2018年中国大数据市场产值将突破6000亿元。

数据来源：中商产业研究院

《大数据蓝皮书：中国大数据发展报告No.2》指出大数据发展呈现十大新趋势：

趋势之一：政务大数据应用开发将获得有力支撑。作为一直阻碍大数据发展的一个重要瓶颈，政府信息开放共享在过去的一年取得重大突破。2018年1月，国家发改委宣布了政务信息系统整合共享工作最新进展，已有71个部门、31个地方实现了与国家共享交换平台的对接。

趋势之二：信息消费升级将持续释放内需潜力。根据相关预测，到2020年，我国的信息消费规模预计达到6万亿元，年均增长11%以上，并拉动相关领域产出达到15万亿元。

趋势之三：中西部农村信息基础设施建设将迎来爆发期。为加快推进“宽带中国”战略实施，国家发改委发布了包括“百兆乡村”示范及配套支撑工程在内的三大重点工程，其中“百兆乡村”的重点偏向了中西部地区。未来几年，中西部农村信息基础设施建设将迎来爆发期。届时，区域内行政村将全部实现光纤通达，农村宽带接入能力达到12Mbps，农村光纤到户用户占比大于50%。

趋势之四：数字丝绸之路将成为“一带一路”建设的制高点。未来几年，中国与“一带一路”沿线国家的贸易将会保持10%-15%的增速；随着全球5G时代的到来，数字丝绸之路体系的发展将迎来一股爆发式的浪潮，增速将超过20%。

趋势之五：人口红利将转变为网民红利，成为支撑应用驱动创新的最大因素。随着老龄化社会的到来，以往在经济发展中扮演重要角色的“人口红利”逐渐消失，与此同时，我国网民规模不断扩大，网民红利更加凸显，中国已是世界上产生和积累数据体量最大、类型最丰富的国家之一。依托庞大的数字资源与用户市场，使得中国企业在应用驱动创新方面更具优势，大量新应用和服务将层出不穷并迅速普及。

趋势之六：大数据分析方法有望取得革命性突破。机器学习继续成为大数据智能分析的核心技术；人工智能和脑科学相结合，成为大数据分析领域的热点。通过与其他技术进一步融合发展，大数据分析有望出现革命性的新方法，算法和基础理论可能会产生理论级别的突破。

趋势之七：数据控制权争夺战或将成为常态。2017年以来，国内外企业间围绕数据控制权爆发的纠纷事件频频发生。在大数据发展过程中，数据争夺将以更加复杂多样的形式展开，争夺强度也将日益激烈。如何以合理的制度规则促进有效率的数据竞争，需要在法律与经济两个维度之间找到准确的坐标点。

趋势之八：运用大数据技术增强意识形态治理能力引起关注。2018年3月17日，英国《卫报》爆出数据分析公司剑桥分析非法获取了Facebook的五千万用户信息，通过针对性投放信息和广告，在美国大选中为特朗普服务。当大数据技术被利用至政治和意识形态的渗透和操纵中，或将对国家政治生态与意识形态安全产生重大挑战。

趋势之九：数据安全与量子计算机的关联影响将愈演愈烈。量子计算机的问世将颠覆当下网络空间秩序，现行的公钥密码体制可以被这项新技术轻易攻破，数据安全博弈再次上升至新维度。未来，围绕“量子霸权”的争夺战将愈演愈烈，以此为代表的新一轮重大科技成为世界强国必争的战略制高点，这需要数据安全专家和工作者们加快研制更安全的抗量子计算密码算法，进一步为个人、组织乃至国家的数据安全提供必要保障。

趋势之十：中国企业将有计划按步骤推进数字化转型。越来越多的企业将“数字”视为核心资源、资产和财富，纷纷选择数字化转型以抢占新的制高点。据调研机构IDC针对2000位跨国企业CEO调查表明，到2018年，全球1000强企业中的67%、中国1000强企业中的50%都将把数字化转型作为企业的战略核心。展望未来，数字化转型将是传统企业尤其中小企业必须跨越的生死关隘。

人工标注数据需要耗费大量人力成本和时间，对模型训练数据集的规模扩大带来限制。Facebook 在图像识别方面的最新研究利用带有 hashtag 的大规模公共图像数据集解决了该问题，其最佳模型的性能超越了之前最优的模型。

图像识别是 AI 研究的重要分支之一，也是 Facebook 的研究重心。Facebook 的研究人员和工程师旨在扩展计算机视觉的边界，造福现实世界。例如，使用 AI 生成图像的音频字幕帮助视觉受损的用户。为了改善这些计算机视觉系统，训练它们识别和分类大量对象，Facebook 需要包含数十亿张图像的数据集，如今常见的数百万张图像的数据集已经不足够了。

由于当前模型通常在人类标注者手动标注的数据上进行训练，因此提升识别准确率不只是向系统输入更多图像那么简单。这种劳动密集型的监督学习过程通常获得最好的性能，但是手动标注的数据集在规模方面已经接近其函数极限。Facebook 正在多达五千万张图像的数据集上训练模型，即使是在提供所有监督的情况下，数十亿张图像的训练也是不可行的。

Facebook 研究人员和工程师通过在带有标签（hashtag）的公共图像数据集上训练图像识别网络解决了该问题，其中最大的数据集包含 35 亿张图像和 17000 个 hashtag。该方法的关键是使用现有公开的、用户提供的 hashtag 作为标注，取代手动标注。该方法在测试过程中表现良好。通过使用包含 10 亿图像的此类数据集训练计算机视觉系统，Facebook 得到了一个历史最高得分——在 ImageNet 上达到了 85.4% 的准确率。伴随着这一图像识别任务中的突破，该研究为如何从监督训练转向弱监督训练提供了重要洞见。在弱监督训练中，研究者使用现有标注（在本文中指 hashtag）而不是专为 AI 训练而选择的标注。Facebook 计划开源这些模型的嵌入，这样研究社区就可以使用这些表征，基于它们完成更高级别的任务。

大规模使用 hashtag

由于人们通常使用 hashtag 描述照片，所以 Facebook 研究人员认为它们可以作为模型训练数据的完美来源。这允许研究人员使用 hashtag 来完成一直以来的目标：基于人们自己标注的 hashtag 获取更多图像。

但是 hashtag 通常指非视觉概念，如 #tbt 表示「throwback Thursday」。或者它们比较模糊，如 #party 可以描述活动、设置，或者 both。对于图像识别来说，tag 的作用是弱监督数据，而模糊和／或不相关的 hashtag 是标签噪声，可能会混淆深度学习模型。

这些噪声标签是大规模训练工作的重点，因此研究人员开发了一种新方法，专为使用 hashtag 监督执行图像识别实验而准备。该方法包括处理每个图像的多个标签（加 hashtag 的用户通常会添加多个 hashtag）、整理 hashtag 同义词、平衡经常出现的 hashtag 和出现频率较低的 hashtag 的影响力。为了使这些标签有助于图像识别训练，Facebook 研究团队训练了一个大规模 hashtag 预测模型。该方法显示出优秀的迁移学习结果，表明该模型的图像分类结果可广泛应用于其他 AI 系统。这一新研究基于 Facebook 之前的研究，包括基于用户评论、hashtag 和视频的图像分类研究。这一对弱监督学习的全新探索是一次广泛的合作，Facebook 应用机器学习团队（AML）和 Facebook 人工智能研究院（FAIR）均参与其中。

在规模和性能方面开辟新天地

由于单个机器完成模型训练需要一年多时间，因此 Facebook 在多达 336 个 GPU 上进行分布式训练，将总训练时间缩短至几周。在如此大的模型规模面前（该研究中最大的模型是具备超过 86.1 千万个参数的 ResNeXt 101-32x48d），使用分布式训练方法尤其重要。此外，Facebook 设计了一种方法来移除重复项，确保不会在评估数据上进行训练，这个问题在此类研究中经常出现。

Facebook 希望能看到图像识别方面的性能提升，不过对实验结果仍然感到惊讶。在 ImageNet 图像识别基准上，其最佳模型达到了 85.4% 的准确率，该模型在 10 亿张图像上进行训练，训练数据一共包括 1500 个 hashtag。这是截至目前最高的 ImageNet 基准准确率，比之前最优模型高 2%。研究者将卷积神经网络架构的影响力进行分解，观测到的性能提升更加显著：将数十亿图像（以及大量 hashtag）用于深度学习导致高达 22.5% 的性能提升。

在另一个主要基准 COCO 上，研究者发现使用 hashtag 进行预训练可以将模型的平均准确率提高 2% 以上。

这些是图像识别和目标检测领域的基础改进，表示计算机视觉又前进了一步。但是研究者的实验还揭示了大规模训练和噪声标签的优势和面临的挑战。

例如，尽管扩大训练数据集规模是值得的，但选择匹配特定图像识别任务的 hashtag 集也具备同等的重要性。研究者通过在 10 亿张图像、1500 个匹配 ImageNet 数据集类别的 hashtag 上的训练结果优于在同样大小的数据集、但使用全部 17000 个 hashtag 的训练结果。另一方面，对于类别较多的任务，使用 17000 个 hashtag 进行训练的模型性能更好，这表明研究者应该在未来训练中增加 hashtag 的数量。

增加训练数据规模通常有利于图像识别。但是它也会产生新的问题，包括定位图像中对象位置的能力下降。Facebook 研究者还发现其最大的模型仍未充分利用 35 亿张图像数据集的优势，这表明研究者应该在更大的模型上进行训练。

大规模自标注数据集是图像识别的未来

这项研究的一个重要成果（甚至超越了图像识别的广泛成果）就是证实了在 hashtag 上训练计算机视觉模型是完全可行的。虽然使用了一些基础技术来合并相似标签、降低其他标签的权重，但是该方法不需要复杂的「清理」过程来消除标签噪声。相反，研究者能够使用 hashtag 训练模型，而且只需对训练过程做出很少的修改。规模似乎是一大优势，因为在数十亿张图像上训练的网络对标签噪声具备更好的稳健性。

我们设想了在不远的未来，hashtag 作为计算机视觉标签的其他使用方向，可能包括使用 AI 更好地理解视频片段，或改变图像在 Facebook feed 流中的排序方式。Hashtag 还可以帮助系统识别图像何时不仅属于总类别，还属于更具体的子类别。例如，照片的音频说明提及「树上的一只鸟」是有用信息，但是如果音频说明可以具体到物种（如：糖槭树上的一只主红雀），就可以为视觉受损的用户提供更好的描述。

Hashtag 可以帮助计算机视觉系统超越一般分类条目，以识别图像中的特定子类别和其他元素。

除了 hashtag 的具体用途之外，该研究还指出了可能影响新产品和现有产品的广泛图像识别方面取得的进展。例如，更精确的模型可能会改善在 Facebook 上重现记忆的方式。该研究指出了使用弱监督数据的长期影响。随着训练数据集变得越来越大，对弱监督学习的需求——以及从长远来看，对无监督学习的需求——将变得越来越显著。了解如何弥补噪声大、标注不准确的缺陷对于构建和使用大规模训练集至关重要。

本研究在 Dhruv Mahajan、Ross Girshick、Vignesh Ramanathan、Kaiming He、Manohar Paluri、Yixuan Li、Ashwin Bharambe 和 Laurens van der Maaten 的《Exploring the Limits of Weakly Supervised Pretraining》一文中有更详细的描述。由于该研究涉及到的规模史无前例，此论文详细的论述将为一系列新研究方向铺平道路，包括开发新一代足够复杂的深度学习模型，从而有效地从数十亿张图像中学习。

该研究还表明，为了更好地衡量当今图像识别系统以及未来规模更大、监督更少的图像识别系统的质量和局限性，开发类似 ImageNet 的广泛使用的新型基准很有必要。

论文：Exploring the Limits of Weakly Supervised Pretraining

论文链接：https://research.fb/publications/exploring-the-limits-of-weakly-supervised-pretraining/

摘要：当前最优的适合大量任务的视觉感知模型依赖于监督式预训练。ImageNet 分类实际上是这些模型的预训练任务。但是，目前 ImageNet 将近十岁，用现代标准来看规模有些小了。即便如此，使用规模大了好几个数量级的数据集进行预训练也很少见。原因很明显：此类数据集很难收集和标注。本论文展示了一种独特的迁移学习研究，在数十亿社交媒体图像上训练大型卷积网络来预测 hashtag。实验表明大规模 hashtag 预测的训练性能很好。我们展示了在多个图像分类和目标检测任务上的改进，并报告了目前最高的 ImageNet-1k single-crop，top-1 准确率 85.4%（top-5 准确率 97.6%）。我们还进行了大量实验，为大规模预训练和迁移学习性能之间的关系提供了新的实证数据。

超大规模运营商被定义为巨大的公司，如亚马逊、苹果、Facebook和谷歌，需要大规模提供计算。很多人可能会认为这种高度专业化的 数据中心 数量有限，但最近SynergyResearch的研究发现，2017年实际上是全球新的超大规模数据中心的一个“爆发年”——增加了90多个，而且2018年也没有丝毫放缓的迹象。

独角兽分布：美国遥遥领先中国第二

据SynergyResearch的一份最新报告，2017年全球范围内的超大规模数据中心已经超过390个，比一年前的300个增加了一大批。其中，谷歌尤其活跃。中国的腾讯和百度今年也建立了超大规模的数据中心。

尽管如此，绝大多数超大规模数据中心仍位于美国，占比44％遥遥领先全球其他国家和地区。中国位居第二，占8%。其次是日本和英国，分别占6%。澳大利亚、德国紧随其后，智能5%。

SynergyResearch报告称，进入统计的24个超大规模公司平均每家拥有16个数据中心。对亚马逊、微软、IBM和谷歌等公司而言，每家公司在全球拥有的超大数据中心超过45个。就每个地区（北美，拉丁美洲，亚太地区和欧洲，中东和非洲）划分，至少有三个数据中心。

就数据中心的分布来看，报告还将甲骨文和阿里巴巴公司列为数据中心地理位置特别广泛的公司，其他公司的大部分数据中心都建在美国或中国。

定义标准：拥有几十万台服务器以上

“超大规模”的定义各不相同。但IDC表示，它至少需要5000个服务器和10,000平方英尺的可用空间，并且通常要大得多。Synergy的标准则高得多，将其定义为拥有“几十万台服务器——有时甚至是数百万台”。

由于超大规模 数据中心 的软硬件设计、配置、能耗和管理运维都有独特要求，这也提高了公司进入超大规模数据中心俱乐部的门槛。

这些运营商往往有自己运营的设备，以处理他们巨大的计算需求。通过设计自己的硬件和软件，这些公司可以控制计算体验的各个方面，以最大限度地提高效率，这对于处理这些组织的庞大规模至关重要。

要做到这一点，他们需要理解并能够操纵每一个可配置的元素，这些在购买现成的设备时通常是不可能的。由于这些独特的需求，建立这些数据中心的公司数量往往有限，通常是那些世界上最大的技术公司。

谷歌的数据中心分布

根据Synergy的数据，2017年底在建的项目就有69个。按照目前的速度，到2019年底全球超大规模数据中心的数量有望突破500个。

BAT等国内运营商的超大型数据中心布局

数据中心已经成为互联网业务发展的重要支撑。业界人士普遍认为，只有七家公司可以称之为超大规模运营商：谷歌、亚马逊、微软、Facebook、腾讯、百度以及阿里巴巴。集中部署在国内的，以腾讯、百度为主，阿里巴巴的数据中心之前集中于中国，但是现在已经在美国、香港、新加坡、日本和阿拉伯联合酋长国开放数据中心。

百度 ：百度最大的数据中心位于山西省阳泉市，百度 云计算 （阳泉）中心2014年正式投入使用；总建筑面积12万平方米，服务器设计装机规模超过16万台，据传承担80%的流量。另外百度在南京也拥有云计算数据中心。

阿里巴巴 ：近日，总投资180亿元的阿里江苏云计算数据中心项目在南通签约，建成后将成为阿里巴巴华东地区最大的云计算中心基地，承载30万台服务器。阿里巴巴云计算部门宣布将于2018年3月31日在印度孟买建成首个数据中心，另外一个将在雅加达建立。加上马来西亚建成的数据中心，阿里巴巴云数据中心将会增加到17个，覆盖多国家地区，亚太地区的数据中心建设步伐加快。

腾讯 ：腾讯云在国内自建数据中心14个，超大型数据中心4个。腾讯2017年之前在海外几乎没有布局数据中心，2017年上半年，对外公布继香港、多伦多、新加坡后，已经正式开放硅谷数据中心，新增4个数据中心，包括德国法兰克福、俄罗斯莫斯科、韩国首尔和印度孟买，以扩展腾讯云服务和人工智能业务。

另一方面，资料显示，中国BAT（百度、阿里巴巴、腾讯）三家互联网巨头所拥有的数据中心服务器数量之和，还不及美国亚马逊一家公司的一半，亚马逊AWS是全球最大的云计算厂商，亚马逊的数据中心有接近300万台的服务器，微软也有200万台。

同时，中国电信、中国联通和移动也是数据中心建设的主力军，但SynergyResearch报告并未将其列入在内。