随着大数据系统日益高效，每年的大数据趋势变得更具开创性。根据调研机构Forrester Research最近发布的营销报告，随着组织的领导者开始意识到大量使用大数据技术所需的工作量，人工智能(AI)正在超越其流行术语的阶段。研究报告指出，实施人工智能来实现目标需要精确的部署、规划和治理。尽管如此，该报告预测随着大数据趋势进一步倾向于人工智能，该技术将有巨大的改进。

实际上，Forrester公司预计将重新设计数据分析和管理角色，这将改变智能交付物流和创建新的信息市场。这种预测很有可能发生，因为多达70%的企业计划在2018年实施人工智能技术，比去年增加了50%以上。

然而，最近“福布斯”杂志发布的一篇文章从另一个角度看待人工智能的发展。这篇文章将人工智能作为一种资源，向消费者提供建议，为供应商提供暂定条款，并在工作场所引导员工，无需人工干预。该文章还预测，人工智能将对非结构化信息提供可操作的分析，这些信息可与大数据系统解析的结构化信息源的评估相媲美。此外，更多企业可以在未来几个月内获得使用数百TB的现有非结构化数据的能力。然而，2018年也是许多拥有这种信息量的公司(通常称为数据湖)将要求人工智能计划的投资回报的一年，如果资源不能产生可量化的改进，则可能会取消投资回报。

这只是对今年的人工智能和大数据发展提供了一个管窥。以下五个趋势让人们更加了解对2018年大数据发展的预期：

趋势1：增强网络安全

在法规要求的推动下，医疗护理提供商以惊人的速度推进了电子健康记录的实施。不幸的是，医疗保健网络安全违规行为一直在增长。事实上，近90%的医疗服务提供者在过去两年中都经历过数字安全漏洞的攻击，每个漏洞平均成本损失为220万美元。

由于特定医疗信息的高价值，网络攻击者为此被吸引。这种情况将会让医院承担失去患者信任的风险，迫使医疗护理提供商为他们的数字领域提供安全支持。

趋势2：改善社区警务

在美国，犯罪率在过去20年急剧下降。执法人员将这种改进归功于1994年推出的一种名为CompStat的大数据技术。该系统分析美国各地的统计数据，帮助警察更好地了解和打击犯罪。尽管有了这些重大改进，但官员们认为CompStat仍然没有发挥其全部潜力。当工程师们提供额外的能力时，将会有更多的改进，这使得警察部门能够监控过度使用武力的数据，并帮助预防犯罪。

趋势3：扩展的物联网(IoT)

如今，从家用电器到高级安全系统的各种电子设备都连接到互联网，并共享实时数据。这些连接的设备组合起来形成物联网(IoT)。物联网现在正在发展成为吸引企业注意力的成熟资源。到2021年，物联网支出预计将攀升至6万亿美元，分析师预测未来几年将出现大量敏感的智能网络设备。这一发展已经为企业使用人工智能和大数据解决方案利用物联网产生的信息洪流奠定了基础。事实上，分析师预测，2018年至2030年间，物联网将为全球生产总值贡献15万亿美元。

趋势4：大众的人工智能

人工智能正在超越企业巨头的唯一权限。一种新的“即插即用”人工智能业务解决方案即将上市并已被许多组织使用。这项创新技术包括广泛使用的聊天机器人和关键搜索引擎思想者等应用程序。

专家预测，大约75%的开发人员将在2018年年底之前将人工智能技术应用到他们的工作中。微软和亚马逊在开发Gluon网络项目方面的合作促进了这种趋势发展，它是一个用于人工智能开发者的开源的、易于使用的学习资源。由于这种透明度，大数据技术的市场已经接近340亿美元的收入。

趋势5：促进新职业角色的发展

首席数字官(CDO)的角色在2018年将具有更多的权重。目前，数据是全球最有价值的资源之一，首席数字官(CDO)的职责包括从数据中提取价值，更接近企业的行政领导人。资金来源相对于其组织规模而言较小的首席数字官(CDO)将面临在未来一年提出必要的可衡量和可行的结果方面的挑战。幸运的是，这些专业人员将拥有人工智能的灵活性和大数据分析的基础，以推动这项事业的发展成为现实。首席数字官(CDO)具有睿智和敏锐的能力，利用人工智能开发结构化的和非结构化的大数据集，为所有业务单元提供解决方案，将获得最有前途的职业发展。

企业、非营利组织和政府机构必须了解是什么因素激励消费者和客户，因为他们的需求和愿望会随着时间的推移而发生变化。正因为如此，大数据加上人工智能技术将比以往更加趋向研发的前沿，为组织利益相关者提供可行的报告，这些报告是从大量专有数据中获得的。

        市场已经从希望学习和了解新的大数据技术的技术人员，进化到想要了解新项目、新公司以及最重要的，组织如何从这些技术上真实获益的客户。根据John Schroeder，MapR Technologies, Inc.的执行主席和创始人的说法，大数据部署的加速主因已经转移到了数据的价值上。

John总结了他对2017年市场趋势的看法，形成以下六个主要的预测：

1. 人工智能(AI)重新流行

       在上世纪60年代，Ray Solomonoff奠定了人工智能的数学理论基础，介绍了归纳推理和预测的通用贝叶斯方法。1980年，美国人工智能协会第一次全国会议(AAAI)于斯坦福举行，标志了理论在软件开发中的应用。AI现在又回到主流的讨论中，引发了机器智能、机器学习、神经网络、认知计算等一系列流行语。为什么AI有年轻化的趋势?这里面有个三V想法：速度，变化和体量。

可以利用现代和传统的处理模型来支持三V的平台可以横向扩展，提供高达传统平台10-20倍的成本效率。

谷歌已经记录了，简单的算法对大型数据集频繁执行，比其他方法使用较小的数据集产生的结果更好。我们将看到，将人工智能到用于高容量重复任务时具有最高价值，在这样的任务中，一致性比以主观误差和人力成本为代价来获得人类直观的监督来说，更加有效。

2. 大数据带来管理优势或竞争优势

       在2017年，管理与数据价值的拔河将是核心焦点。企业具有关于他们的客户和合作伙伴的大量信息。领先的组织将在正规化和非正规化的案例之间管理他们的数据。正规化的用例数据需要管理数据质量和血统，从而一个监管机构可以报告和跟踪源数据的转换。这是强制的和有必要的，但对于非正规化的用例较为受限，这样的用例包括客户360，或者，在更高的基数、实时和混合的结构化和非结构化能产生更有效结果的场景下，提供服务。

3. 公司专注于业务驱动的应用程序，以避免数据湖泊成为沼泽

       在2017年，组织将从“建立它，它们就会来”的数据湖的方法，迁移到业务驱动的数据方法。今天的世界需要分析和操作能力，以实时在个例层面解决客户问题，处理索赔和设备接口。例如，任何电子商务网站必须提供个性化的建议和实时价格查询。

通过将分析与运营系统相结合，医疗机构必须处理有效的索赔和防止欺诈索赔。媒体公司目前通过设置机顶盒提供个性化内容。汽车制造商和拼车公司针对汽车和司机进行规模化的互操作。交付这些用例需要一个敏捷的平台，平台可以提供分析和业务处理的能力，以从额外的用例(从后端分析到前台业务)中增加价值。在2017年，组织将积极推进超越“问问题”的方法和架构，以推动初始和长期的商业价值。

4. 数据敏捷性区分赢家和输家

       当DevOps提供持续交付时，软件开发已经变得敏捷。在2017年，处理和分析模型将会继续发展，提供与组织实现数据敏捷类似级别的敏捷。在上下文中理解数据并采取相应业务行动的能力，是竞争优势的来源，而不是简单地拥有一个大数据湖。

敏捷处理模型的出现将使相同的数据实例支持批处理分析、交互分析、全局消息、数据库和基于文件的模型。当一个单一的数据实例可以支持更广泛的工具集时，更灵活的分析模型也将被启用。最终的结果是一个灵活的开发和应用平台，支持最广泛的处理和分析模型。

5. 区块链转变精选的金融服务应用

      在2017年，将在金融服务中有精选的、转型的用例，这些用例的出现将对数据存储和交易处理的方式具有广泛的影响。区块链提供了一个全球性的分布式总账，这将改变数据的存储和交易处理的方式。区块链运行在分布在世界各地的计算机上，链可以被全世界任何人看到。

交易被存储在块中，每个块均指向前一个块，每个块都打上了时间戳，并以一种不可改变方式存储数据。黑客无法破解的区块链，因为整个世界都能看到整个的区块链。区块链为消费者提供明显的效率。例如，客户不需要等待SWIFT交易，或担心中央数据中心泄漏的影响。对于企业来说，区块链能帮助节约成本，并提供了创造竞争优势的机会。

6. 机器学习最大化微服务(Microservice)的影响

    今年我们将看到机器学习和微服务整合的更多案例。此前，微服务的部署都集中在轻量级的服务上，那些整合了机器学习的微服务通常被局限在应用于数据流瓶颈的“快速”数据集成。在2017年，我们会看到开发将转变为有状态应用程序，这些程序将使用大数据，以及使用基于大量的历史数据更好地理解新到达的数据流的机器学习方法。

“     我们的预测深受领先的客户的影响，这些客户通过将分析整合进运营的用例而获得显著的商业价值，”Schroeder说 。“我们的客户对MapR融合数据平台的使用，为DevOps提供了敏捷性，在DevOps中他们可以广泛使用从Hadoop到Spark、SQL、NoSQL、文件和信息流等加工模型——任何当前和未来的，在私有云、公有云和混合云部署中的需求。”

每经记者 李晃

现如今什么是风口？大数据，人工智能还是共享经济？

无论你选择哪些热点领域，人才是基础，离开了人才，再大的风口也只能成为泡沫。

2018年，人才该往哪里流，才能获得更多的就业机会？换言之，哪里的就业市场更景气？我们从2017年第四季度市场数据中，或许能捕捉到一些讯息。

近日，中国人民大学中国就业研究所联合智联招聘共同发布了2017年第四季度《中国就业市场景气报告》，采用CIER指数（也称中国就业市场景气指数，CIER指数＝市场招聘需求人数/市场求职申请人数），反映出2017年第四季度，就业市场的整体走势及景气程度。

中西部：正成为就业“新磁场”

从区域分布看，2017年第四季度的CIER指数仍呈现东部、中部、西部以及东北地区依次递减的趋势。其中，东、中、西部的就业形势持续向好，与上一季度相比，本季度用工需求增加，而求职申请人数减少。

CIER指数是一个比值结果，它描述了就业市场的整体走势，当抛开指数本身，我们不妨来看最直观的市场招聘职位量的变化情况（分子部分），它直接反映市场的需求情况。

数据显示，第四季度西部地区招聘职位量同比上涨是最高的，为81%；而中部为72%，东北为52%，东部为23%。

这一数据颠覆了我们两个认识：其一，一向被认为是中国最发达地区的东部，招聘职位量同比增幅竟最低，甚至低于东北；其二，一向被认为是中国较落后地区的西部，招聘职位量同比增幅竟最高。

背后的原因在哪？

根据智联招聘相关负责人透露，东部地区由于的市场发展已经较为成熟，职位量基数较大，且就业机会相对饱和，所以职位同比增量相对较小。

中、西部地区的快速增长则主要源于两个地区的高速发展。 “一带一路”建设为中西部地区的进出口贸易带来了新的动力，中西部也正在成为具有吸纳就业潜质的区域，这也是我国区域协同发展效应进一步增强的体现。

东北：就业也难过山海关

前段时间，网络上盛传着“投资不过山海关”的声音，它反映了资本用脚投票，在选择最佳的投资环境。在此类呼声一浪高过一浪的情况下，东北的就业市场走势如何呢？

数据显示，在东部、中部、西部三个地区均出现用工需求增长以及CIER指数上升的情况下，东北地区的样本城市的平均CIER指数环比下降15.5%，同比下降14.3%；招聘需求环比下降了9.6%，而申请人数环比仅增加3.4%。

从不同城市来看，长春、哈尔滨、大连和沈阳的CIER指数变动与整体一致，本季度除大庆之外，长春、哈尔滨、大连和沈阳的CIER指数均小于1，且都呈现出较明显的下降趋势，这表明这些城市的就业形势较差。

值得注意的是，大庆CIER指数同比上涨了14.2%，这主要由于大庆石油产业发达，对于人才需求旺盛；但是环比出现了下降，大庆的求职人数环比增加了8.5%，而用工需求下降了10.3%，使得就业形势收紧，但整体而言，大庆依然是东北地区就业较充分的城市。

城市：新一线及三线城市形势较好

从不同的城市来看，2017年第四季度的CIER指数仍呈现一线、新一线、二线以及三线城市依次递增的趋势，并且各等级城市CIER指数的环比均有所上升。

其中，一线城市的CIER指数为0.85，表明目前在一线城市中，企业招聘需求人数要少于求职申请人数；新一线CIER指数为1.44，二线城市CIER指数为2.53，三线城市CIER指数为3.18，表明在这些城市中，企业招聘需求人数要明显多于求职申请人数，就业形势相对较好。

这一趋势可以从智联招聘用人需求数据中得到进一步印证。

2017年第四季度一线城市在线招聘职位数同比负增长，为-6%。而二线城市的职位数同比上涨22%，新一线在线职位数同比上涨51%，三线城市的职位数则同比大涨125%。

记者发现，在以北京和上海为代表的一线城市，户口指标正在收紧，以新一线城市为代表的就业市场第二阵营，则以各种丰厚的待遇和落户条件，吸引着百万大学生及高端人才回流就业创业。

值得注意的是，从数据来看，三线城市也正成为中国的求职新沃土。

以金融行业为例。从第四季度行业的需求同比数据来看，金融行业用工需求同比下降23%，再次出现负增长。但其就业形势分化明显，与一线城市53%的需求职位量下降相比，三线城市金融业职位需求同比增长90%。

随着人工智能、大数据等新技术的冲击，传统金融行业面临转型升级，其就业局势复杂，在一线城市，金融行业职位缩水已成趋势，基于此，许多人都在说金融行业的发展出现了暂时性的趋缓。与此同时，三线城市的金融市场却呈现出勃勃生机，职位需求同比增长90%，展现了巨大的发展空间。

2018年就业机会在哪里？

总体而言，基于计量模型的预测显示，2018年第一季度CIER指数将出现季节性回落，第二季度与第一季度基本持平，第三季度和第四季度将保持上行态势。

那么，2018年就业机会在哪里？

我们通过这份报告的解读，可以预见：从区域角度看，随着“一带一路”建设的深入推进，中、西部地区将提供更多的职位机会；如果东北地区经济活力持续低迷，其就业态势可能不会有太大缓解。从城市角度看，一线城市固然是不错的选择，但新一线城市与三线城市迸发出耀眼的活力，将为各类人才提供广阔的舞台，尤其对于三线城市而言，许多行业如金融业等，发展潜力巨大，可提供较多职位。

新年伊始，达沃斯世界经济论坛等全球性重要会议都把“大数据”作为重要议题，进行讨论和展望。而随着大数据发展日新月异，我们国家也在审时度势、精心谋划、超前布局、力争主动。

“大数据”是今年达沃斯世界经济论坛的热词之一，与会各界都对云计算、大数据等驱动经济数字化转型因素表达了高度关注。而在年初举办的2018拉斯维加斯消费电子展（CES）上，美国消费技术协会总裁兼首席执行官加里·夏皮罗、英特尔首席执行官布莱恩·克尔扎尼奇等都表示，大数据将对人类生活产生深远影响，大数据是未来科技浪潮发展不容忽视的巨大推动力量，2018年全球大数据产业将得到强劲发展。

2022年大数据市场规模达800亿美元

记者梳理国内外权威机构最新统计数据，至2022年，全球大数据市场规模达到800亿美元，年均实现15.37%的增长。近两年来，大数据发展浪潮席卷全球。全球各经济社会系统采集、处理、积累的数据增长迅猛，大数据全产业市场规模逐步提升。综合各方观点，2018年大数据产业或呈现开源大数据商业化进一步深入等七大发展趋势。

根据监测统计，2017年全球的数据总量为21.6ZB（1个ZB等于十万亿亿字节）　,目前全球数据的增长速度在每年40%左右，预计到2020年全球的数据总量将达到40ZB。

阿里巴巴集团技术委员会主席王坚在接受记者专访时表示：“过去人类发展留下了数据，但是数据不够多，难以形成资源；但是互联网时代留下的大量数据可以成为资源。”德国思爱普公司董事会成员Bernd　Leukert表示，信息技术(IT)系统依赖传统的数据处理方式，大量数据需要人工输入;然而，如今任何一个物理存在都会自动生成数据，人与人、人与物、物与物之间都会产生大数据，数据流将深刻改变企业运行的各个环节。

清华数据创新基地主任邱东晓在接受记者采访时表示，大数据首先要明确几个层次。一个是技术层面，也就是大数据、物联网和AI等。二是应用层面，将大数据技术应用到各个领域，以此来提高效率，减少成本。三是产业层面，利用大数据技术，推动产业升级，促进产业结构转型。四是生态层面，人才、政策和市场之间如何相互配合，区域之间、国际之间如何相互沟通。

记者综合多家机构的预测，2018年全球大数据市场规模将达到454亿美元，未来五年(2018-2022)年均复合增长率约为15.37%，市场规模达805亿美元。预计2018年我国大数据市场规模将达到280亿元，未来五年(2018-2022)年均复合增长率约为27.29%。

七大趋势：产业应用将是主旋律

记者采访中国科学院、美国电子消费协会的有关专家，他们认为，随着大数据基础设施的不断完善，数据分析和商业智能工具将逐渐成为大数据的主力军。2018年，全球大数据产业将呈现七大发展趋势，而产业应用将是主旋律。

首先，开源大数据商业化进一步深化。随着闭源软件在数据分析领域的地盘不断缩小，老牌IT厂商正在改变商业模式，向开源靠拢，并加大专业服务和系统集成方面的力度，帮助客户向开源的、面向云的分析产品迁移，主要是Hadoop技术将加速发展。

第二，打包的大数据行业分析应用开拓新市场。随着大数据逐渐走向各个行业，基于行业的大数据分析应用需求也日益增长。未来几年针对特定行业和业务流程的分析应用将会以预打包的形式出现，这将为大数据技术供应商打开新的市场。

第三，大数据细分市场规模进一步增大。大数据相关技术的发展，将会创造出一些新的细分市场。例如，以数据分析和处理为主的高级数据服务、基于社交网络的社交大数据分析等。

第四，大数据推动公司并购的规模和数量进一步提升。因此，在未来几年中，大型IT厂商将为了完善自己的大数据产品线进行并购，首先涉及的将是信息管理分析软件厂商、预测分析和数据展现厂商等。

第五，大数据分析的革命性方法出现。今年，大数据分析将出现革命性的新方法，从前的很多算法和基础理论可能会产生理论级别的突破。机器学习继续成为大数据智能分析的核心技术；人工智能和脑科学相结合，成为大数据分析领域的热点。金融、互联网电子商务、健康医疗、城镇化智慧城市领域的应用令人瞩目。

记者近期在美国西部一所高校访问时了解到，在美国的先进制药行业，药物开发领域的最新前沿技术是机器学习，即算法利用数据和经验教会自己辨别哪种化合物同哪个靶点相结合，并且发现对人眼来说不可见的模式。

第六，大数据与云计算将深度融合。云计算为大数据提供弹性可扩展的基础设施支撑环境以及数据服务的高效模式，大数据则为云计算提供新的商业价值，大数据技术与云计算技术必有更完美的结合。阿里云计算有限公司总裁胡晓明表示，2018年将是云计算与产业深度结合的元年。人们将看到各国的基础设施越来越紧密地和云计算结合起来，更多的制造企业和金融机构开始用“云”，云计算将促进科技金融提高效益。

第七，大数据一体机将陆续发布。在未来几年里，数据仓库一体机、NoSQL一体机以及其它一些将多种技术结合的一体化设备将进一步快速发展。据记者了解，中国的华为、浪潮等公司今年将在大数据一体机上有更大的动作。华为IT服务器产品线总裁邱隆表示：“华为服务器在自身高质量、创新、高性价比的基础上，致力提供一个开放的计算平台，通过和业界主流大数据厂家合作，面向客户提供最佳性价比的大数据解决方案。”

大国行动：政府与企业联动

许多国家的政府对大数据产业发展有着高度的热情。

纽约大学计算机系教授塞恩告诉记者，根据前期计划，美国希望利用大数据技术实现在多个领域的突破，包括科研教学、环境保护、工程技术、国土安全、生物医药等。其中具体的研发计划涉及了美国国家科学基金会、国家卫生研究院、国防部、能源部、国防部高级研究局、地质勘探局等6个联邦部门和机构。

目前，欧盟在大数据方面的活动主要涉及四方面内容：研究数据价值链战略因素；资助“大数据”和“开放数据”领域的研究和创新活动；实施开放数据政策；促进公共资助科研实验成果和数据的使用及再利用。日本著名的矢野经济研究所预测，2020年度日本大数据市场规模有望超过1兆日元。

前瞻研究院报告指出，目前全球大数据企业主要分为两大阵营。一部分属于单纯以大数据技术为核心的创新型公司，希望为市场带来创新方案并推动技术发展。另外一些则是以数据库/数据仓储业务为主的知名公司，利用自身资源与技术优势地位冲击大数据领域。

记者注意到，最近两年全球大数据公司一些新的独角兽企业将在资本市场动作频频。Palantir作为估值仅排在Uber和Airbnb之后独角兽企业，自2015年浮出水面后就成为全球估值第一的大数据企业，它的重要客户为美国的情报机构，业务主要涉及国防安全与金融领域。作为全球Hadoop三驾马车中体量最大公司Cloudera　Intel斥7.4亿美金巨资收购Cloudera约18%股份，使得Cloudera估值达到41亿美金，成为估值第二高的大数据公司。AppDynamics是美国去年第一次进行IPO的独角兽，市场估值约20亿美元。其销售应用性能管理（APM）软件，提供监控商业软件应用程序和IT基础架构性能的智能平台，功能是帮助企业发现和修复其应用程序中的错误。

（见习编辑：于浩）

对于世界各地的投资人来说，信息时代是一把双刃剑。

一方面，数据可以用来帮助做出明智而及时的投资决策， 另一方面，随着数据以指数速度增长，这也意味着有很多的干扰——找到正确有用的信息就像在大海捞针一样。

数据时代与资本市场

今天我们介绍预测性数据分析的能力是如何增长的，以及阐释使用AI（人工智能）和贝叶斯推断等工具来预测事件发生之前的结果为什么比历史上任何时候都更加可行和适用。

大数据图景

在进入分析之前，让我们看看投资者首先要面对的是什么：

体量：数据以前所未有的加速被创造出来，到2017年创造的数据比前5000年的总和还要多， 就此而言，仅在美国，每分钟就会创造约2657,000 GB的数据。

种类：数据不统一，数据种类繁多。 数据同时来自多个来源，有用的分析可能非常困难。

速率：特别是在市场环境中，数据需要实时监控才能有用。 获得信息太迟可能意味着投资组合在危机下毫无用武之地。换句话说，在出错的情况下，一个错过的数据信号会对投资组合造成不可挽回的伤害。

因此，除了明智地分配资产外，还可以比危机提前一步来了解即将到来的事情。

数据时代衍生出多种可能性：如物联网

数据预判的威力

预测分析定义为：

“高级分析中用于对未知事件进行预测的分支。它使用数据挖掘，统计，建模，机器学习和人工智能等技术来预测未来。“

这种预测能力已经被亚马逊这样的公司广泛使用，它使用算法对数十亿数据点进行排序，根据你的购买历史和目前的趋势，向你推荐你最有可能购买的产品。事实上，专家估计亚马逊35％的收入来自预判你想要的东西的这种应用。

亚马逊和淘宝等购物网站通过购物推荐提高了营业额

因此毫不奇怪，华尔街也跳上了这个潮流，高盛（Goldman Sachs）雇用了比Facebook，Twitter或LinkedIn更多的it工程师。

一家秘密对冲基金Citadel每天计算500多个“世界末日情景”的结果，以评估地缘政治和其他潜在危机对公司的潜在风险

定量交易者使用数据流和复杂算法创建市场模型，找到可预测的模式，并创建机器派生的预测。

但是这些方法有一个可能的限制:市场是复杂的系统，需要进行分析。毕竟，人类的决策者可能是不合理的，事件可能是由看似随机的因素“触发”的，传统的数学模型在市场波动时会崩溃。

使用交叉学科的方法？

解决这一局限的办法之一，可能是借鉴情报行业的想法，这种想法在发生之前必须预见到非理性或“随机”的人类行为。

作为一个例子，像中情局这样的情报机构已经在努力将其他学科应用到已被广泛用于预测数据的技术上：

贝叶斯推断（Bayesian Inference）：根据新数据更新假设概率的公式。

行为心理学：对环境刺激的反应如何塑造人们行为的背景学科。

复杂性理论：诞生于20世纪60年代，现在已经确立的关于复杂系统如何工作的学科。

模糊认知图：一种表示社会科学知识和建模系统决策的方法。

历史视角：将过去的事件和主题专家的知识应用到其他学科领域。

人工智能：今天的深度学习允许AI立即识别和处理所有类型的数据。

如果预测性数据分析成为标准并充分实现其潜力，那么对于许多活跃的市场参与者而言，仅实时提供数据可能是不够的。相反，这可能会建立一个非常不同的新时代图景。

影响因素分析

一、有利因素

（一）政府将大数据作为国家发展战略之一

2017年1月，工信部发布了《大数据产业发展规划（2016-2020年）》。《规划》具体设置了七项重点任务：一是强化大数据技术产品研发；二是深化工业大数据创新应用；三是促进行业大数据应用发展；四是加快大数据产业主体培育；五是推进大数据标准体系建设；六是完善大数据产业支撑体系；七是提升大数据安全保障能力。围绕重点任务，政府还设置了大数据关键技术及产品研发与产业化、大数据服务能力提升、工业大数据创新发展、跨行业大数据应用推进、大数据产业集聚区创建、大数据重点标准研制及应用示范、大数据公共服务体系建设、大数据安全保障等八大工程，作为工作抓手重点推进。

（二）应用市场广阔

大数据能与传统产业进行融合，对传统产业进行从设计研发、生产管理到售后维护全流程的改变，大数据应用的市场非常广阔。比如零售业可以运用大数据调整销售策略，制造业可以运用大数据加强售后维护，农业可以运用大数据制定收割路线，电信业可以运用大数据加强精准营销。

（三）5G技术推动大数据进行革命性的发展

5G网络是一场创新革命，人类社会已经进入了“大智移云”时代，大数据、人工智能、移动互联网与云计算的结合越来越紧密。移动通信信息服务企业已开始建设基于大数据关键技术的大数据应用平台，大数据正由技术创新向应用创新转变，5G能带来海量的原始数据，未来大数据技术能将各行业丰富的数据类型，与应用场景不断深度融合，实现应用创新层面的大爆炸。5G将带来大数据产业的繁荣，以及带动产业链的迅速成长。

二、不利因素

（一）数据资源开放共享程度低

目前数据资源开放共享程度低，数据孤岛现象还是很严重，为了让用户依赖自己的产品，企业不愿意将收集到的数据共享给其他人。同时，数据质量不高，数据资源流通不畅，管理能力弱等原因也造成数据价值难以被有效挖掘利用的现象。

（二）技术创新与支撑能力不强

技术创新是大数据发展的关键，但是目前我国在新型计算平台、分布式计算架构、大数据处理、分析和呈现方面与国外仍存在较大差距，对开源技术和相关生态系统影响力依然较弱。

（三）大数据产业支撑体系尚不完善

数据所有权、隐私权等相关法律法规和信息安全、开放共享等标准规范不健全，尚未建立起兼顾安全与发展的数据开放、管理和信息安全保障体系。数据的黑市交易猖獗，不利于正规大数据企业的生存。区块链技术可以给数据加了一个GPS，对交易的数据进行追踪，有效打击数据非法流通问题，但由于区块链技术的应用还在起步阶段，因此区块链技术还没有真正发挥出实力去解决黑市交易问题。

（四）人才队伍建设亟需加强

大数据基础研究、产品研发和业务应用等各类人才短缺，难以满足大数据发展的需要。熟悉行业又熟悉数据分析的人才匮乏，使得经营管理公司人不知道能从数据中得到什么，懂数据分析的人不知道怎么能用基础数据支撑到公司经营，缺少能够将两者结合到一起的人或者组织，这也是当前大数据应用少的重要原因。

大数据市场规模预测

2017年，中国大数据产业规模达到4700亿元，同比增长30.6%。我们预计，2018年中国大数据市场规模将达到6200亿元，未来五年（2018-2022）年均复合增长率约为25.13%，2022年中国大数据市场规模将达到15200亿元。

图表　中投顾问对2018-2022年中国大数据市场规模预测

注：大数据产业指以数据生产、采集、存储、加工、分析、服务为主的相关活动，包括数据资源建设、大数据软硬件产品的开发、销售和租赁活动，以及相关信息技术服务。

数据来源：中投顾问产业研究中心

数字经济市场规模预测

2017年，中国数字经济市场规模达到27.2万亿元，占GDP的32.9%。我们预计，2018年中国数字经济市场规模将达到31.25万亿元，未来五年（2018-2022）年均复合增长率约为12.88%，2022年中国数字经济市场规模将达到50.74万亿元。

图表　中投顾问对2018-2022年中国数字经济市场规模预测

数据来源：中投顾问产业研究中心

又到了年终岁尾时，业界权威市场研究和咨询机构Ovum公司日前估计，大数据市场规模将从2016年的17亿美元增长到2020年的94亿美元。随着市场的增长，企业的挑战正在转变，对人们的技能需求正在改变，而大数据服务供应商的景观也在风云变幻。2017年将是大数据专业人士更为忙碌的时刻。以下是一些来自相关行业观察家和技术专家对大数据在2017年的发展预测。

一、对数据科学家的需求将减弱　　Ovum在大数据趋势的报告中表示：组织对数据科学家的需求正在减弱。Ovum公司数据来自Indeed，显示了组织在过去四年对数据科学家的需求。同时，各大学正在培养更多的拥有数据科学证书的大学毕业生。　　谁招募这些潜在客户？很可能，排除在线数字业务，在全球2000强以外的一些少数企业会招募他们，但却很少有人会想到如何使用数据科学家。对于大量依赖于打包分析的组织来说，不需要数据科学家，而是需要应用数据科学的应用程序或工具，比如企业需要具有商业智能（BI）功能的CRM系统（例如智云通、纽带线CRM）。　　二、使数据科学成为团队运动将成为重中之重

数据科学家和数据工程师在企业中扮演不同的角色：数据科学家关注数据形成和测试假设，而数据工程师选择数据集，提供集群，并优化他们的生产算法。没有协作，数据科学家开发的模型和假设就会遇到陷入风险之中。　　真正需要的是让数据科学家和数据工程师更好地连接，以确保数据科学家在他或她的笔记本电脑上编写和测试的模型正确地部署在集群上合适的数据集。　　同时，机器学习正在嵌入企业软件和工具，用于整合和准备数据，这也给企业带来压力，确保他们的数据科学家和业务分析师密切合作。如果模型仍然在数据科学家的领导下，企业将无法获得机器学习的全部价值。重叠的趋势将是协作环境，其中业务分析师和数据科学家可以在计划，部署，以及执行机器学习模型中共享工作流。

　　三、将会有更多的压力来保持数据本地化　　未来将加强隐私法，旨在将数据保存在各国境内。　　预计将会出台更多的数据本地化法律，在最近的发展中，如俄罗斯数据本地化法律得到了俄罗斯法院支持，中国最近也通过自己的数据本地化法律。其他国家将在未来一年内采取行动。　　四、企业将努力通过数据获利　　企业必须投入更多的生产资料产生数据，但它不会是容易做到，许多企业将错过机会。　　尽管商业领袖希望企业努力成功创造有意义的产品和收入来源。那些取得成功的企业将以坚实的IT战略和数据导向服务为基础：数据采集；运输，转型和储存；分析和仪表板；数据作为产品/服务；以及安全和访问控制。　　IT领导者建立一个由IT和业务人员组成的创新团队，审查现有和未来的应用程序/系统，以获得可能的结果数据货币化。这是专业研究机构给的建设性意见。　　五、数据湖将最终变得有用　　许多早期采用数据湖的企业花费了大量资金，不仅购买了低成本存储和流程，而且还收集了大量服务，以便汇总和提供大量数据相关和发现以获得更好的见解。企业所面临的挑战一直在寻找有能力理解信息的人；使数据湖能够向操作应用程序提供输入，并从操作应用程序接收实时更新的数据；弥合主要数据管理和运行应用程序，分析数据仓库和数据湖之间的差距。　　据预测：现有的大数据项目意识到需要一个可靠的数据基础，而新的项目被整合到一个整体的数据管理战略中，数据湖可能会在2017年履行他们的承诺。　　六、并购活动将加快进程

毫无疑问，人工智能、机器学习、深度学习等新技能得到了公司的重视。一切买卖的要害驱动要素是对人工智能专家的需求。由于被收买的大多数草创公司的运营前史很短，这些行动是尽可能招募到数量有限的人工智能专家。在将来一年，职业厂商将会展开愈加活跃的并购活动。

　　七、对物联网架构师的需求将飙升　　据研究机构IDC公司的数据显现，到2020年，物联网（IoT）商场规划估计将到达1.46万亿美元。由于规划激增，因而也将需求许多娴熟的物联网专家。　　物联网架构师的作用将使数据科学家们成为人力资源部门最有价值的独角兽。物联网的浪潮将会让边际核算和物联网操作规划陡增。届时，数以千计的简历将在一夜之间更新。此外，不到10％的公司意识到他们需求一个物联网剖析架构师，而物联网体系架构师将成为一个共同的物种。因而，能够为物联网规划分布式和中心剖析的软件架构师的商场价值将飙升。　　八、流式剖析将会获得重生　　剖析运动中的数据并不是什么新鲜事，由于事情处理程序已经存在了近20年。但是有许多要素正在将实时流技能从利基技能转变为更具广泛吸引力的技能。例如，开源技能使实时流愈加简单访问，也为可拓展的产品基础设施带来可用性。在需求方面，物联网正在加强公司对能够实时感测，剖析和呼应的流应用程序的爱好。　　据预测，其商场结合不会当即发生。现在，公司有不断增加的选择，竞赛新的作业负载。终究，咱们估计商场会下降到三到四个流媒体渠道。鉴于商场前期情况，咱们估计2017年商场不会跌落；咱们估计流式引擎将需求2-3年才干成熟，物联网的施行将到达临界质量。

虽然你并没有见到过买彩票中奖的算命先生，但几乎每个中奖的人都会吹嘘自己拥有了算命先生的能力。有些中奖者，就像赵本山的小品中的人物那样，会声称自己是从梦中获得的灵感来选择号码，还有一些中奖者则会声称自己拥有某种超级预测的能力。

但不管这些人如何声称自己拥有超能力，但我们可以相信，还是很少有正常的企业会高薪聘请这类人来帮助企业做市场预测分析。

随着互联网和计算机的普及，人们做决策时越来越注重“数据驱动”，也就是说更加依赖于客观的统计数据而不是某些人的所谓“判断”。在这个以事实为基础的领域中，常见的词汇都是“分析学”、“大数据”、“商业情报”以及“数据科学”等。

统计科学的任务就是在大量微观个体的相互作用中发现可以被辨识的宏观模式，这些模式可以是数学公式，可以是图标，也可以是若干个更为直观的指标或指数，如均值，方差，CPI和PPI等。

在传统的统计学中，数据是“混合的”（mixed），就像容器内的分子。因此，我们关心的是大量数据中呈现出的宏观量，就像容器内气体的温度。

但是大数据预测分析则更近了一步，它不仅仅是要搞清楚宏观统计规律，更要弄清宏观数据中的精细结构，例如，大数据分析既关心某款手机的销售量，更关心是哪个群体的人会更有可能购买该款手机。

因此，在大数据分析的视野中，数据不再是混合的，而是“聚块的”（assorted）。表面上看是混杂的，但放大了看，则有精细的结构：华为手机用户产生的数据；鹿晗粉丝留下的数据；克罗地亚球迷留下的数据；等等。

所谓的大数据，我将其定义为与人的行为相关的所有数据。人们几乎所有的行为都会留下痕迹，这些痕迹就是所谓的数据。这就意味着，在大数据的视野里，所有的数据就像道路上的脚印，虽然看上去杂乱却是“有迹可循”的。

数据的“前后相随”形成了“足迹”，大数据分析技术可以帮助我们辨识出无数不同的“足迹”。但是我们一定要注意，这些“足迹”不是相互独立的而是相互影响相互关联的。有些足迹会“殊途同归”而有些足迹则会“分道扬镳”。

由于人是有限理性的，因此对于问题类型的兴趣各不相同，即使对于同一个问题也会形成不同的看法。不同类型的数据虽然都被埋在了网络中海量的数据库里，但是具有不同兴趣不同知识背景的人们总是能够在其中“嗅出”自己所需要的特殊“信息素”，并进而引发五花八门的聚集行为。

以维基百科为例。在维基百科的发展过程中，万维网构成了信息聚集和信息流的物理环境。如果有某位作者在维基百科中新增了一个词条，则该词条就会成为一个标识，它所包含的特殊的“信息素”会引导着那些对这个词条感兴趣的读者或编辑的聚集行为。在聚集过程中，他们以网页为媒介间接地进行交往，或增加内容，或修改内容，或激烈争论，持续不断地进行着信息和知识的交流。有时候他们会很快就达成共识，有时候则会在交流和反馈中产生“无中生有”的涌现，形成新的观念和新的词条，从而留下新的“信息素”而引发新的聚集。有时则会因为意见不合或者兴趣衰减而一哄而散。

人们在由维基百科提供的工作环境基于stigmergic机制的间接交往，使得维基百科涌现出了巨大的“智慧”，其内容的广泛性、专业性、包容性、多样性和时代性都超过了任何一本由少数专家“精心编撰”的百科全书。然而，尽管维基百科呈现出多样性、不断变化、缺乏中央指挥，但无论是从短期看还是从长期看，它都始终保持了协调性。

不过，实际上我们面对的绝大多数数据并不像维基百科那样有清晰的结构。如何才能在表面杂乱的数据中发现隐藏的结构和秩序，需要的是合适的算法。

互联网和计算机的普遍使用每天都为我们留下海量的数据。数据仿佛只是无数事实和数字的堆砌，每条数据都显得无聊，有的人看到数据就头疼。然而正如库瓦尼先生所说的“数据是一种新型石油”那样，数据中蕴含着巨大的财富。

不过数据本身还不是财富，作为原材料的数据只是一个枯燥无味的代码组合。只有通过合理有效的方法提炼出来的规律和知识才是如黄金般珍贵的财富。

人的能力有限，不可能同时处理如此海量的数据，幸好现在有了计算机。但是，再强的计算机面对着每天都在指数式增长的海量数据也会感到“内存”有限，再强的CPU都会担心在某一时刻是否会因为温度太高而“自焚”。

写到这里，想到了人的免疫系统。由于病毒或者细菌具有超强的变异能力，这使得新的病毒和细菌层出不穷，从理论上会趋于无限。很显然人的免疫系统中不可能储存如此多的病毒或细菌信息。面对这样的一种情况，密执根大学的John H. Holland教授产生了这样的想法：大自然一定有自己的算法。

这个想法的伟大之处在于，只要拥有了好的算法（软件），有限的硬件就可以做无限的事情。

Holland教授指出：“正是由于适应行为而导致的复杂性，阻碍了当今世界许多重大问题的解决。”

事实上，免疫系统遵循着大自然的“节约”原则，任何一个时刻储存的信息都是有限。那些长期没有出现的细菌和病毒将会被淡忘甚至遗忘，而那些最近出现在身体的疾病信息则会被储存。因此，大多数人在感冒痊愈后的一段时间不再感冒，这是因为免疫系统记住了这些细菌或病毒的特征，只要出现就坚决消灭。而过了一段时间以后，这些病毒或细菌变异后将以陌生的面孔出现在免疫系统面前，从而蒙混过关，让人的病。

Holland教授根据新达尔文主义的基本观点，抽象地分析了自然系统的自适应过程，提出了遗传算法(Genetic algorithm,简称GA)，并以此来实现系统结构的演化过程。

继遗传算法之后，很快有了进化算法、蚁群算法、鱼群算法、涌现算法和stigmergy算法等等自适应的算法。中国古代先哲老子的“道法自然”的理念在各种适应性算法中得到了完美的实现。

适应性算法的出现，为一个新的学科——机器学习的诞生奠定了基础。

机器学习，就是让电脑自动获取新知识和新能力，持续不断地输入现代社会最重要的非自然资源：数据。

输入数据→机器学习→预测→通过经验数据的反馈再学习，通过这样的一个过程将会不断提高机器的预测能力。

例如，好莱坞的影视公司会预测，如果某剧本被制作成影片，它是否会受欢迎。如果受欢迎，主要是什么年龄阶层或社会阶层的人会更加欢迎。

对于足球队教练来说，他要知道哪些运动员会在关键比赛的关键时刻更容易“掉链子”，从而做出有效的换人安排。

对于美国总统候选人来说，那些摇摆不定的选民更容易接受什么样宣传媒体和宣传口号，从而提高获胜的机会。

机器学习会从这些发现中尝试建立预测能力，通过对数字的挖掘和试错，运用统计学方法和计算机科学方法实现这种预测。

接下来，需要讨论的问题是，机器学习能否替代人们的自主学习？机器预测能否替代人的判断？还有一个更大的问题是，在强大的人工智能面前，人怎么实现真正的自由？

本文作者 龚小庆

随着大数据技术的飞速发展，大数据已经融入到各行各业。2018年中国的大数据行业发展趋势是什么?大数据行业整体市场规模如何?大数据行业前景如何?

(一)大数据行业整体市场规模及预测

整体来看，2018中国大数据行业的发展依然呈稳步上升趋势，市场规模达到了327 亿元，和去年相比增速超过 39%。随着政策的支持和资本的加入，未来几年中国大数据规模还将继续增长，但增速可能会趋于平稳。

(二)大数据在各行业应用状况

(1)企业哪些方面需要大数据?

根据大数据分析结果，将近一半的企业将大数据运用在企业工商信息管理方面，此外，在社会保障、劳动就业、市政管理、教育科研方面分别占据33.9%，32.7%，29.4%，29%。整体来看，大数据的应用范围广泛。

(2)多少企业应用到了大数据?

大数据分析对企业的发展越来越重要，35.1%以上的企业已经开始在企业内部应用到了大数据;34.2%的企业正在考虑应用大数据，22.9%的企业在未来1年有应用大数据的计划，仅仅有7.8%的企业暂不考虑应用大数据。

(3)这些企业如何使用大数据?

根据数据显示，38.8%的企业使用实时动态处理大数据并提供分析结果;37.5% 的企业分析历史数据;通过机器学习，辅助企业管理者更好地决策的企业占比为22.5% 。

(三)各行业大数据的发展水平如何?

我国行业大数据总体发展水平较好，在各行业都有应用。其中，金融大数据、政务大数据的应用水平高，同时交通、电信、商贸、医疗、教育、旅游等行业大数据的发展水平也有显着提升。

(四)大数据助力企业发展

(1)企业在哪些领域会应用大数据?

大数据应用广泛的top3领域是营销分析、客户分析和内部运营管理。其中，营销分析占比6成以上;50.2%的企业使用大数据进行客户分析;48.4% 的企业运用大数据进行内部运营管理。 大数据应用对企业的影响

(2)这么多企业应用大数据，大数据将会为这些企业带来什么收益呢?

55.8%的企业表示应用大数据后实现了更智能的决策;应用大数据提升了运营效率的企业占比为48.2%，这两个影响较为显着。应用大数据更好的管理风险，创造新的业务收入，增强生产能力的企业也占有一定比重。

从上述数据中，我们可以看出，大数据在各行各业的应用还将继续加强。

End.

作者：夏立城

来源：蓝盟网络运维专家

近期文章推荐

女生读研占比超半数，哪些是热门专业？

Excel、SAS、R、SPSS、Python优势分析

<入职数据分析师>线下分享 · 北京站

中商情报网讯：近年来，大数据应用已经渗透到各行各业、生产生活中;大数据也凭借着巨大的市场空间，及其重要的国家战略地位，正站在新的风口上，成为资本竞逐的焦点。

据中商产业研究院发布的《2018-2023年中国大数据行业发展前景及投资机会研究报告》数据显示，2017年中国大数据行业市场规模为3615亿元。随着一系列政策的出台，大数据国家战略正在加速落地，大数据行业将持续增长，预计2018年中国大数据行业市场规模将近6000亿元。

数据来源：中商产业研究院

大数据行业投融资情况

自2011年以来，大数据领域成功融资的企业数量逐年增加，2014年进入快速上升阶段，环比增长176.47%，2014年以来持续稳步增长，2016年获得融资的企业数量达到221多家。据数据统计显示，截至2017年8月初，大数据领域有183家企业获得融资。大数据领域持续获得资本市场的高度青睐。

数据来源：中商产业研究院

2017年大数据领域183起融资事件中已披露金额的有138起，半数以上企业融资额过千万人民币。

2017年大数据领域融资案例

数据来源：中商产业研究院整理