大数据：藏在啤酒和尿布背后的秘密; 云计算：物联网的隐形大脑

我们提到物联网，就不得不把它与现在非常火热的另一个概念联系起来，那就是“大数据”。

大数据是怎么一回事呢？有一个为人津津乐道经典案例，就是啤酒与尿布的例子。一家美国超市把尿布与啤酒这两种风马牛不相及的商品居然摆在一起，但这一奇怪的举措居然使尿布和啤酒的销量大幅增加了。原来，美国的妇女通常在家照顾孩子，所以她们经常会嘱咐丈夫在下班回家的路上为孩子买尿布，而丈夫在买尿布的同时又会顺手购买自己爱喝的啤酒。

在这个案例里面，丈夫的行为被预测出来，其预测的依据是根据长期经验所得的。假定不在尿布旁边放啤酒，爱喝酒的丈夫可能也会去买，但嫌麻烦或者酒瘾不那么大的丈夫可能就只会买了尿布就走，而想不到去买啤酒。因而，大数据就此产生了经济价值。当然，这背后基本是一个零和游戏，这家超市的啤酒销售得多了，别家超市卖得就少了。

腾讯的QQ我们都用过，它能够把我们久未联系的老同找出来，推荐给我们去联系，但也会把你的前女友推荐给你的未婚妻认识。而淘宝在我们买东西的时候会把相关产品推荐给我们，还会告诉我们诸如某省狮子座最败家、某省水瓶座最花心、某省天蝎座最抠门这样的信息。而百度则会对人们使用关键字搜索进行排名，从而让更多人知道最近大家的关注点在哪里。

显然，这些数据或多或少已经开始影响我们的生活。而在未来，万物联网产生的数据量与现在人们通过互联网活动产生的数据量不可同日而语，开发的价值也会更加巨大。比如我们现在的手环、手表读取我们的心率、运动量等数据，仅仅是反馈给我们让我们管理自身健康。而未来随着大数据的分析能力增强，加上能够互动的设备增多，那么这些数据就变成了健康服务，甚至能提前预防疾病发生。

反过来，大数据的处理能力能力会反过来帮助物联网实现智能控制和产品改进。比如，我们的智能家居的学习功能，可以看做是对用户一段时间的行为数据的收集，然后通过特定算法得出主人的喜好从而自己完成对家庭环境的控制。

前面讲了大数据，那么还有另一个大数据的亲兄弟不得不讲，那就是云计算。从成本和实际效果来考虑，其实很多物联网设备并不需要太多的计算能力，只要能够取得数据并反馈给上层具有计算能力的数据处理中心就好了，多一点的还有能够通过从计算中心获取的指令完成某些活动就可以了。

那么，这些数据谁谁在处理呢，他们又是怎么处理的呢，这里就要提到云计算的概念。云计算被认为是一种革命性的计算方法，是继大型计算机到客户端-服务器的大转变之后的又一关于计算方式的重大转变。

举一个不那么恰当但比较好理解得例子。使用过QQ远程助手的朋友大概可以体验云计算，你在QQ提供的界面里面访问对方的电脑，使用对方的软件。云计算大概也可以看做这么种方式，不过对方的电脑变成了处理能力超强的云计算中心，而处理方式更加复杂一些。

云计算给我们带来了全新的解决思路。由于通讯技术的不断发展，我们的计算不一定要在本地进行。比如，在远程操作的例子，哪怕你的电脑没有安装一个程序，你仍然能够获得这个程序的使用结果。而我们平时收发邮件，这些邮件存储在我们的邮箱里，而不是在我们的电脑上，这其实可以视作早期的云服务。这种理念，简单概括起来就是“网络即电脑”。只要有网络，我们就能获得更高的运算能力。

目前云计算还处于基础阶段，现在的云计算被分为三层：基础设施即服务（IaaS），平台即服务（PaaS）和软件即服务（SaaS）。基础设施可以看做是我们的电脑主机，其实质是大规模的主机集群。平台的地位大致相当于我们的计算机系统，类似于windos，是开发和运行程序的基础。软件服务我们就明白多了，微信、游戏客户端、美图秀秀这样的都是软件。

借助云计算，企业的管理成本将降低。由于云计算的作用，一些企业不用浪费金钱和精力建立自己的数据处理中心，而将自己的一些数据和企业管理软件放在公共的云服务器上；而另一些企业对于数据的安全性和专业性等要求较高，于是自建云服务器，于是有了公有云、私有云、的概念之别；有一些私有云并不能满足企业的运算需求，向公有云服务器寻求支持，于是就有了混合云的提法。

同时，云计算中心能够根据实际需求来安排服务器的运算，让整个计算中心保持高效的运作，避免了运算资源的浪费。除此之外，云计算的好处在于按使用付费。这就是说，你可以按照实际需要的存储空间或者运算能力购买云服务。这是云服务诞生之初的“电厂模式阶段”就提出的理念，即把计算能力当做像水、电这样的产品来出售。现在基本已经变成现实，而在未来，个人用户也将慢慢感受到这种全新方式给生活带来的改变。

讲了这么多云计算，那么云计算和物联网是是怎么结合起来的呢？前面我们已经提到，我们的物联网设备只需要能够联网，云计算就能够通过网络为我们的设备提供数据处理能力。其次，大数据的运用对物联网来说十分重要，而云计算和大数据分析就像一枚硬币的两面密不可分。

比如智能家居系统，其一部分运算其实就是依托云服务器，因为我们的家里面的数据处理中心（电脑或手机）没有必要一直保持开机状态。而更多的诸如交通系统、工厂制造系统、社区服务系统等等都将依托于私有云或者公有云的服务。除了这些，我们前面提到云计算还是打通各种物联网标准的有效手段，两个采用不同技术标准的设备也具有了互相交换数据的可能，简单说来，就像你在网上和一个外国人聊天，哪怕你不懂他的语言，只要通过相应的翻译软件，就能够理解对方的意思了。

今天上午(10月10日)，酒泉云计算(大数据)中心项目在酒泉国家级经济技术开发区西园开工奠基，标志着我市云计算(大数据)产业发展取得重大突破。

省工信委副巡视员孟宪敦，市委副书记、市长张安疆，副市长任晓敏，华信咨询设计研究院有限责任公司书记、总经理余征然，浪潮集团副总裁庞松涛等出席开工仪式。

张安疆宣布酒泉云计算(大数据)中心开工，任晓敏主持开工仪式。

孟宪敦在致辞中表示，我省抢抓“一带一路”最大历史机遇，必须把握文化、通道与物流、科技、信息、生态等五个制高点，丝绸之路信息港就是我省构筑信息制高点的战略选择和发展载体。酒泉云计算(大数据)中心项目正式开工，不仅是酒泉市委、市政府坚决贯彻党中央、国务院关于建设网络强国、数字中国、智慧社会、发展数字经济等战略决策的重要举措，也是市委、市政府积极响应省委、省政府推动绿色发展崛起，加快发展数据信息产业工作部署的具体行动。希望酒泉云计算(大数据)中心紧紧围绕“共建丝路信息港，共享陆海大数据”主题，坚持高标准、高水平、高速度建设。省工信委也将从资金、政策、协调服务、项目招商等方面大力支持，把酒泉云计算(大数据)中心建设成为丝绸之路信息港的重要支撑和载体。

据了解，酒泉云计算(大数据)中心规划按照国标 A 级机房、多运营商接入、多重安全防护、双路电力供应等行业高标准，设计建设国内一流、高科技、低成本、绿色节能的中大型数据中心(园区)，通过积极引入以浪潮集团为龙头的国内优秀云计算、大数据企业，聚集和吸引全市、全省、全国乃至丝绸之路沿线国家各类大数据、云服务、互联网创业创新企业，积极打造丝绸之路云计算、大数据走廊和丝绸之路信息港重要节点，成为国内和区域内重要的云计算、大数据应用创新示范基地。该项目于 2018 年正式启动，并与浪潮集团签订了项目合作共建实施协议。经市政府同意，该项目由酒泉市工业和信息化委员会主导，市属国有酒泉绿能云计算有限责任公司负责建设。项目总占地面积100亩，总投资约 8.26亿元，可满足5000个机柜装机需求。一期项目配置1100个标准机柜，可承接公有云、私有云、云灾备、政务云等业务。项目总体建成后除满足酒泉本地政务云和云服务需求外，还可承接周边地区和国内大中型企业的数据存储、备份和云计算业务，将成为丝绸之路信息港的有力补充和重要支撑。

酒泉台 记者 柳涛 张建岳 编辑 席冰

请点击输入图片描述

2017年大数据开始进入部署阶段，大数据的炒作逐渐散去，它的应用却正在蓬勃发展，代表成熟度的标志性IPO也正在出现。而大数据在几年前经历的泡沫正在无可争议地转移到人工智能身上，过去几个月AI所经历的共同意识“大爆炸”与大数据当年相比甚至有过之而无不及。

从2013开始制作大数据版图的Matt Turck刚刚发布了最新的2017年大数据版图，我们一起来看看在这个领域有哪些最新趋势和玩家的分布情况。

高层趋势

大数据+AI=新栈

2016年无疑是机器学习之年，任何目睹过众多pitch的VC都应该能感受到这一点，那就是每一家初创企业都成为了“机器学习公司”，“.ai”变成了必备域名，而“等等，可是我们是用机器学习做到这个的”也成为了pitch deck的必备幻灯片。机器学习正在迅速成为许多应用的关键建构块。

相应地，一个新兴的技术栈正在出现，在这个技术栈里面，大数据被用于处理核心的数据工程挑战，而机器学习则用于以分析洞察或者行动的形式从数据中析取出价值。

换言之，大数据提供管道，AI提供智能。当然，这种共生关系已经出现多年，只是能实现这个的目前还不多而已。

但是，现在这些技术开始大众化的普及。“大数据+AI”正在成为众多现代应用（不管是消费者型还是企业型）的默认技术栈。无论是初创企业还是一些财富1000强公司都在利用这一新的技术栈。而且在云巨头的努力下，这个技术栈往往还有云计算这个更基础的建构块的加入，以机器学习云的形式出现。

但是AI的大众化是否就意味着这种技术在短期内能实现商品化呢？现实是AI在技术上仍然非常困难。尽管许多工程师都在争先培养AI技能，但全球这方面的领域专家仍然十分稀缺。

不过这股大众化的趋势已经不可逆转，而机器学习早晚都要从竞争优势演变成桌面筹码。

这对初创企业和大公司都会产生影响。对于初创企业来说，除非你把AI软件做成自己的最终产品，否则的话自我标榜为“机器学习公司”将变得毫无意义。对于大公司来说，如果现在你不积极推进大数据+AI的战略，就会有变得过时的风险。AI已经是下一个风口了。

企业预算：一切向钱看

从2016年的情况来看，财富1000强公司已经在纷纷增加预算用于升级核心基础设施以及分析，其关键的关注点正是大数据技术。分析机构IDC预计大数据和分析市场将从2016年的1300亿美元增长到2020年的超过2030亿美元。

而且财富1000强公司里面的许多买家在大数据技术方面正在变得越来越娴熟、越来越目光敏锐。这些公司过去几年做了很多功课，正在进入全面部署阶段。这种情况不仅发生在技术导向型的公司，在很多行业都是如此。

在大公司每隔几年就要发生的旧技术替代自然周期的推动下，这种情况得到进一步加速。大数据遭遇的环境也从逆风变成了顺风。当然，很多大公司仍然处在大数据部署的早期阶段，但是情况似乎在快速演变。

企业数据向云端迁移

直到几年前，把企业数据迁移到公有云上面对于大公司CIO来说还是不可想象的事情，顶多是在开发环境下或者拿非关键的、面向外部的应用来尝试一下。但现在画风开始有所变化，大家对此的态度似乎变得更加开放了，比方说你会听到这样的说法“不管怎么说我们的客户数据已经放到Salesforce云上面了”，或者“在网络安全方面我们永远也不会有像AWS那么多的预算”。但目前里大多数企业都向公有云迁移还远得很，这部分是因为遗留系统和管制方面的原因。不过云供应商正在竭尽全力来加速这一趋势的转变。比如说AWS甚至可以开卡车来运你的硬盘到云端。

2017年大数据版图

作为对比我们先看看2016年版本：

请点击输入图片描述

2017年版本：

请点击输入图片描述

整合要来了吗？

从上图可看出，这张图已经变得越来越拥挤，那么一个显然的问题来了：行业是否濒临大规模整合的边缘了呢？

似乎还没有。至少目前如此。

首先VC仍然继续乐于给新老公司提供资金扶持。2017年的第一季度成长阶段的大数据初创企业拿到了不少的可观融资，其中包括：Looker（8100万美元D轮），InsideSales （5000万美元F轮），DataRobot （5400万美元C轮），Confluent （5000万美元C轮），Collibra （5000万美元C轮），Uptake （4000万美元C轮），WorkFusion （35M00万美元D轮） and MapD （3500万美元B轮）等。去年12月DataBricks也拿到了6000万美元的C轮。

2016年，大数据初创企业的总融资达到了148亿美元，占到了全球技术风险投资的10%。

其次，自去年的大数据版图推出以来，本领域的并购活动一直在稳步推进，但不是特别显著，其中部分原因也许是未上市公司的估值仍然高企。入选2016大数据版图的公司当中共有41家被收购（完整清单参见附注），这个节奏跟上一年是一致的。

另一方面，2017年刚开始就发生了一些大型的并购事件，其中包括Mobileye（被英特尔以153亿美元收购），AppDynamics（被思科以37亿美元收购），以及Nimble Storage（被HPE以12亿美元收购）。

去年还有一个显著的现象，那就是大型技术公司纷纷收购AI初创企业，尤其是那些解决水平问题、有着很好团队的AI初创企业。其中包括Turi（苹果）、Magic Pony（Twitter）、Viv Labs（三星）、MetaMind（Salesforce）、Geometric Intelligence（Uber）、API.ai（Google）以及Wise.io（GE）。当然，这种现象未必能持续太久，因为对AI的需求太旺盛了，人才实在是不够用了。

第三，一些较大的大数据初创企业羽翼渐丰，正在成为独立的上市公司。Snap无疑引领了技术公司IPO的复兴，但是目前为止是大数据公司借了这股东风。

2016年只有Talend一家大数据公司上市，但2017年大数据公司已经呈现出爆发之势。其中Mulesoft和Alteryx已经上市并且表现不错，而Cloudera也即将上市，其最新估值（41亿美元）与收入（2.61亿美元）之间的差异将延至“独角兽”估值现象的成色。另外，MapR以及定位智能公司Yext也已经在排队等待了。

下一个会是谁呢？也许是Palantir这个超级独角兽。这家多年以来保持神秘的公司已经公开表达了上市的兴趣。其最新估值达到了200亿美元，如果上市的话必将引起轰动。

云大战

虽然大规模并购尚未出现，但业界的另一股趋势值得注意，这就是“功能性整合”，这种现象在云端尤其显著。一些关键的玩家正在通过自研产品和开源计算引擎的实现逐步构建“大数据+AI”的基础构件，面向众多客户群提供其所期盼的“一站式”的服务。

AWS在产品发布的速度和幅度方面继续给人留下深刻印象。目前AWS几乎提供了大数据和AI方面的所有服务，包括分析框架、实时分析、数据库（NoSQL、图谱等）、商业智能以及日益丰富的AI能力，尤其是深度学习方面的能力。按照这种速度发展下去，AWS产品几乎就要把大数据版图的所有的基础设施和分析细分领域都占据了。

加入云大战稍晚的Google一直在积极开发广泛的大数据产品（BigQuery、DataFlow、Dataproc、Datalab以及Dataprep等），并且把AI视为跨越式发展的杀手锏。在AI方面Google去年做了很多事情，包括推出了新的翻译引擎，聘请了李飞飞和李佳领导新成立的Cloud AI and Machine Learning部门，推出了视频识别的机器学习API，并且收购了数据科学家社区Kaggle。

其他大型的IT供应商，比如微软、IBM、SAP、Oracle以及Salesforce等也在努力推出大数据产品（包括云端和本地）。除了技术自研和进行收购以外，这些玩家还越来越重视通过合作来打造生态链，其合作的重点是手上有数据的公司以及有“头脑（AI）”的公司。IBM与Salesforce的合作以及SAP与Google的合作就是值得注意的案例。

用企业IT的行业标准来看，云供应商还比较小，但是其不断膨胀的野心（其中包括从企业栈底层的IaaS向应用发展的企图）与企业数据逐渐向云端迁移的趋势结合，将打开庞大的企业技术市场大门，与传统IT供应商展开激战，而大数据和AI将是核心战场。

2017数据生态体系概览

基础设施

去年的许多趋势今年仍将延续，比如流处理技术，这方面Spark目前是主宰，不过像Flink这样的有趣竞争者正在出现。此外，还有以下一些趋势：

SQL正式回归

在给NoSQL当了10年副手之后，曾经的霸主SQL数据库正式吹响了回归的号角。Google最近发布了Spanner数据库的云端版。Spanner和CockroachDB（Spanner的开源版）都提供了可行的、强一致性的、可伸缩的SQL数据库。Amaozn推出了Athena，跟Snowflake等产品类似，这是一款SQL数据引擎，可直接查询S3下的数据。Google BigQuery、SparkSQL以及Presto等在企业逐渐获得采用——这些都是SQL产品。

数据可视化

与公有云采用相关的一个有趣的趋势是数据可视化。旧的ETL处理需要转移大量的数据（而且往往要建立冗余数据集）并且建立数据仓库，而数据可视化可以在数据保持不动的情况对其进行分析，提高了速度和敏捷性。许多下一代的分析供应商现在都可以同时提供数据可视化和数据准备服务，并让客户可访问存储在云端的数据。

数据治理与安全

随着大数据在企业侧走向成熟，以及数据的多样性和体量的不断发展，像数据治理这样的主题也变得日益重要。许多公司已经选择了“数据湖”作为把所有数据收集起来的手段。但除非你知道里面有什么东西，并且能够访问到合适的数据进行分析，否则的话数据湖再大也没有意义。但是想让用户方便地找到想要的东西同时管理好权限并不容易。除了数据湖以外，治理的另一个集中的主题是以安全的、可审计的方式为任何人提供对可靠数据的便捷访问。Informatica、 Collibra、Alation等大小供应商提供了数据目录、参考数据管理、数据字典以及数据帮助台等服务。

结论

通过大数据与AI的黄金搭档，我们正在进入大数据技术的“收获”阶段。其潜能将非常巨大。随着核心基础设施不断走向成熟，以及在AI推动下应用侧的爆发，2017年的大数据（以及AI）生态体系将开足马力，驶向光明的未来。

2017年物联网7大趋势

业务和技术的重要变革

来源：与非网、 物联网智库

【导读】2017年开始，物联网将会成为企业重大变革之一，并且将会对业务和技术带来重要影响。

2017年开始，物联网将会成为企业重大变革之一。许多公司在物联网上看到了巨大的机遇，一方面可以通过提高生产质量和可靠性来增强与客户之间的关系，另一方面降低成本和一些不必要的风险。公司通过使用恰当的物联网模式，来获得更多新客户和更优的洞察力，并且可以提高顾客满意度。

首先让我们探讨一下，在2017年物联网将会对业务和技术带来哪些影响？

（1）物联网和区块链的聚合

区块链（Blockchain）现在不仅仅是一个概念，除了“金融科技”（FinTech）它在许多领域都有应用，包括物联网。许多专家认为，区块链技术是解决物联网中可扩展性、隐私和可靠性的缺失环节。

区块链技术可用于跟踪数十亿联网设备，并且能够完成设备之间的处理和协调事务；对物联网行业制造商来说，能够很好的节约成本。这种分散的方法可以消除单点故障，为设备运行创建一个富有弹性的生态系统。区块链所使用的加密算法可以让消费者的数据更加安全。在2017年，物联网将会和区块链技术融合，来提供更优越的安全性来保护隐私。这对应用程序、硬件和人才来说都是打开了新世界的大门。

（2）物联网设备和更多的攻击DDoS

Forrester认为，最近发生在美国的1600个网站DDoS攻击事件只是冰山一角，如果涉及到更多的连网设备，那将会对世界造成威胁。这次攻击事件证实了，物联网设备在巨大的分布式拒绝服务攻击（DDoS）下的脆弱性。

在美国当地时间2016年10月21日，造成了许多服务器瘫痪，如Twitter，NetFlix，纽约时报（NYTimes）和PayPal。这次攻击范围巨大，包括数百位网站和恶意软件，其中Dyn是这次主要受害者。“这次来源主要是一个被Mirai僵尸网络感染的设备”。所有迹象表明，无数的物联网设备包括摄像机、智能家居等日常用电设备都可能被恶意软件劫持，来攻击服务器。

（3）物联网和许多移动设备

物联网正在为当前和新兴市场为企业创造更多新的机会，来提高竞争优势。它触及一切领域——不仅仅是数据，还有收集数据的方式、时间和地点。创造物联网技术，不只是为了改变互联网，而是要改变连接互联网的东西。更多移动设备会出现，从家用电器到汽车、智能手表和虚拟助手。所有这些连接着的设备都将会提供丰富的数据流，该数据流将会连接产品和消费者来实现交互。

（4）物联网、人工智能和软件容器

在物联网下，人工智能可以帮助公司拥有的数十亿数据点用到真正有意义的地方。一般前提是与应用程序一致——先审查分析你手机的数据，从中找出可以学习的模式和相似之处，以便进行更优的决策。

2017年将会看到分布在云服务、边缘设备和网关上的物联网软件。你还会见证，建立在微服务（（Microservices）一种程序开发方法）和软件容器（轻量级虚拟化）上的物联网解决方案，可以在分布式构架上工作。此外，机器学习云服务和人工智能都会在物联网上提取有用数据。

（5）物联网和连接技术

可以通过Wi-Fi，蓝牙，低功率Wi-Fi，Wi-Max，以太网，LTE和最近兴起的技术Li-Fi （使用光作为包括传感器的典型网络的不同部分之间的通信介质）来将物联网上不同的部分连接到传感器上。在2017年新的无线连接技术将会接受测试，比如3GPP、NB-IoT、LoRaWAN和Sigfox。将会迫使物联网决策者来评估这20多种无线连接协议，这一切都是建立正确的新连接标准的一步。

（6）物联网和人才短缺

物联网项目的开展，包括智慧城市和工业设施，将会面临一段人才短缺的时期。更麻烦的是，找到足够人手来保障物联网安全更是一个挑战。

据TEKsystems调查，45%的物联网公司正在寻求安全专业的人才，30%的公司表示找相关数字营销人员有困难。2017年，物联网企业将会投资建立培训和认证机构，并成为科技行业的主流趋势。

（7）物联网和新商业模式

目前还没有一个完善的物联网商业模式，这成为商业投资和营销的巨大动机，当然也会成为泡沫。这种商业模式必须满足电子上午的所有要求——垂直市场、横向市场和消费级市场。新的商业模式需满足消费者共享设备的成本要求，降低成本使得用户拥有更加体验。2017年将会看见智能市场加入新的类别。一个关键点就是捆绑服务，包括服务和产品。例如亚马逊的一款产品Alexa，如果没有语音识别、流媒体音乐和预订Uber服务，那它就是一款普通的无线扬声器而已。

未来的路

物联网是一个日益复杂的生态系统。生活中下一代自动化或者新技术都会使物联网的实现变得更加容易和便捷，对应的，我们在家中、工作中和生活中的方方面面都会得到改善。从冰箱到停车场再到智能房屋，物联网将会给我们数字化生活带来更多内容，在不久的将来，物联网将会成为一个数万亿美元的产业。

离我们最近的就是“物联网服务”技术，并应用到生活中创造无限可能性。但实现这个梦想还是要很长一段路，我们需要克服很多障碍才能看见这个技术的好处。

大数据在2017年发展的8个预测

来源：机房360

又到了年终岁尾时，业界权威市场研究和咨询机构Ovum公司日前估计，大数据市场规模将从2016年的17亿美元增长到2020年的94亿美元。随着市场的增长，企业的挑战正在转变，对人们的技能需求正在改变，而大数据服务供应商的景观也在风云变幻。2017年将是大数据专业人士更为忙碌的时刻。以下是一些来自相关行业观察家和技术专家对大数据在2017年的发展预测。

1.对数据科学家的需求将减弱

组织对数据科学家的需求正在减弱，Ovum公司在其关于大数据趋势的报告中表示。该研究公司引用了来自Indeed的数据，显示了组织在过去四年对数据科学家的需求。同时，大学正在培养更多的拥有数据科学证书的大学毕业生。

“谁招募这些潜在客户？很可能，排除在线数字业务，在全球2000强以外的一些少数企业会招募他们，但却很少有人会想到如何使用数据科学家。”Ovum公司指出，“对于大量依赖于打包分析的组织来说，不需要数据科学家本身，而是需要应用数据科学的应用程序或工具。

2.使数据科学成为团队运动将成为重中之重

Ovum公司警告，数据科学家和数据工程师在企业中扮演不同的角色：数据科学家关注数据形成和测试假设，而数据工程师选择数据集，提供集群，并优化他们的生产算法。没有协作，数据科学家开发的模型和假设就会遇到陷入风险之中。

“真正的需要是让数据科学家和数据工程师更好地连接，以确保数据科学家在他或她的笔记本电脑上编写和测试的模型正确地部署在集群上合适的数据集。”Ovum写道。

同时，机器学习正在嵌入企业软件和工具，用于整合和准备数据，这也给企业带来压力，确保他们的数据科学家和业务分析师密切合作。“如果模型仍然在数据科学家的领导下，企业将无法获得机器学习的全部价值。”Ovum公司表示，“重叠的趋势将是协作环境，其中业务分析师和数据科学家可以在计划，部署，以及执行机器学习模型中共享工作流。”

3.将会有更多的压力来保持数据本地化

全球律师事务所Morrison＆Foerster预测将加强隐私法，旨在将数据保存在各国境内。

Morrison＆Foerster律师事务所全球隐私+数据安全小组主席MiriamWugmeister说，“预计将会出台更多的数据本地化法律，在最近的发展中，如俄罗斯数据本地化法律得到了俄罗斯法院支持，中国最近也通过自己的数据本地化法律。其他国家将在未来一年内采取行动。

4.企业将努力通过数据获利

研究机构IDC公司警告说，企业必须投入更多的生产资料产生数据，但它不会是容易做到，许多企业将错过机会。

IDC公司在名为“IDC Future Scape：全球CIO2017年议程预测”的报告中写道：“尽管商业领袖希望企业努力成功创造有意义的产品和收入来源。那些取得成功的企业将以坚实的IT战略和数据导向服务为基础：数据采集;运输，转型和储存;分析和仪表板;数据作为产品/服务;以及安全和访问控制。

而IDC提供的指导性建议是，IT领导者“建立一个由IT和业务人员组成的创新团队，审查现有和未来的应用程序/系统，以获得可能的结果数据货币化。

5.数据湖将最终变得有用

“许多早期采用数据湖的企业花费了大量资金，不仅购买了低成本存储和流程，而且还收集了大量服务，以便汇总和提供大量数据相关和发现以获得更好的见解。”，数据管理供应商Reltio公司首席营销官RamonChen说。企业所面临的挑战一直在寻找有能力理解信息的人;使数据湖能够向操作应用程序提供输入，并从操作应用程序接收实时更新的数据;弥合主要数据管理和运行应用程序，分析数据仓库和数据湖之间的差距。

“现有的大数据项目意识到需要一个可靠的数据基础，而新的项目被整合到一个整体的数据管理战略中，数据湖可能会在2017年履行他们的承诺。”RamonChen预测。

6.并购活动将加快进程

Reltio公司首席营销官RamonChen说，“毫无疑问，人工智能、机器学习、深度学习等新技术得到了企业的关注。”所有交易的关键驱动因素是对人工智能专家的需求。“由于被收购的大多数初创公司的运营历史很短，这些举措是尽可能招募到数量有限的人工智能专家。”他说，并预计在未来一年，行业厂商将会开展更加积极的并购活动。

7.对物联网架构师的需求将飙升

根据研究机构IDC公司的数据，到2020年，物联网（IoT）市场规模预计将达到1.46万亿美元。因为规模激增，因此也将需要大量熟练的物联网专家。

“物联网架构师的作用将使数据科学家们成为人力资源部门最有价值的独角兽。物联网的浪潮将会让边缘计算和物联网操作设计激增。”数据和分析供应商Teradata公司物联网技术营销专家DanGraham预测，届时，数以千计的简历将在一夜之间更新。“此外，不到10％的企业意识到他们需要一个物联网分析架构师，而物联网系统架构师将成为一个独特的物种。因此，能够为物联网设计分布式和中央分析的软件架构师的市场价值将飙升。”

8.流式分析将会获得重生

“分析运动中的数据并不是什么新鲜事，因为事件处理程序已经存在了近20年。”Ovum公司表示。但是有很多因素正在将实时流技术从利基技术转变为更具广泛吸引力的技术。例如，开源技术使实时流更加容易访问，也为可扩展的商品基础设施带来可用性，Ovum公司指出。在需求方面，物联网正在加强企业对可以实时感测，分析和响应的流应用程序的兴趣。

Ovum公司预测，其市场整合不会立即发生。“如今，企业有越来越多的选择，竞争新的工作负载。最终，我们预计市场会下降到三到四个流媒体平台。”但是SparkStreaming和AmazonKinesisAnalytics等平台及其竞争对手的市场竞争仍在进行中。“鉴于市场早期状况，我们预计2017年市场不会下跌;我们预计流式引擎将需要2-3年才能成熟，物联网的实施将达到临界质量。”Ovum公司指出。

云市场再掀浪潮

2017云计算六大趋势抢先看

来源：北京物联网智能技术应用协会（ID:bjwlwxh）

“第一大趋势来自企业，”Forrester分析师DaveBartoletti说，“具有大预算，数据中心和复杂程序的企业现在正在将云作为运行核心业务程序的可行场所。”Forrester发现，北美和欧洲1000多家企业基础设施技术决策者中有38%表示他们正在构建私有云，其中32%采购公共云服务，其余计划在未来12个月内实施某种形式的云技术。此外，59%的受访者表示他们正在采用混合云模型。应用应用

Forrester在2017年提供了以下云预测：

区域玩家补充“超级云提供商”

最初选择构建私有云的CIO可能siy会发现自己切换到公共云，因为他们意识到这项工作会耗费多少时间和成本。CapitalCIORobAlexander表示，CapitalOne在几年前关闭了亚马逊网络服务的私有云。其首席信息官表示“我们认识到，我们花费了大量的时间,精力,努力创建和管理带宽基础设施已经存在在一个更好的状态和发展逐渐日新月异。”

全球公共云市场将在2017年达到1460亿美元，高于2015年的87亿美元，并以复合年增长率22%的速度增长。Bartoletti说，这种增长的最大份额将来自亚马逊，微软，谷歌和IBM，他们正在开设新的数据中心和做出让步，例如微软公司同意T-系统在德国管理其云，以满足数据本地化的要求，但是大型厂商无法为每一个独特的请求提供服务，这意味着较小的区域性厂商将在2017年采用上升。

云成本遏制

一个流行的理论是，CIO通过投资公共云软件来节省资金，但并不总是这样。大多数CIO利用多个云提供商的事实意味着企业已经在复杂的云供应商管理方面陷入困境。此外，如果公司离开公共云实例运行通过周末，当他们不需要它们，CIO实际上可以花更多的钱比他们在本地解决方案。

IT高管将在2017年更好地控制云成本，因为他们的最佳实践已成熟。它已经发生了。Bartoletti说，一家大型软件公司的云架构师通过监控�...

云计算和大数据哪个发展前景好？

说实在话，二者之间都是未来的发展趋势，没有说那种好或者不好，根据你的兴趣，你未来的发展方向，来判断你想走那条路!

大数据相当于海量数据的“数据库”，而且通观大数据领域的发展也能看出，当前的大数据处理一直在向着近似于传统数据库体验的方向发展，Hadoop的产生使我们能够用普通机器建立稳定的处理TB级数据的集群，把传统而昂贵的并行计算等概念一下就拉到了我们的面前，但是其不适合数据分析人员使用(因为MapReduce开发复杂)，所以PigLatin和Hive出现了(分别是Yahoo!和facebook发起的项目，说到这补充一下，在大数据领域Google、facebook、twitter等前沿的互联网公司作出了很积极和强大的贡献)，为我们带来了类SQL的操作，到这里操作方式像SQL了，但是处理效率很慢，绝对和传统的数据库的处理效率有天壤之别，所以人们又在想怎样在大数据处理上不只是操作方式类SQL，而处理速度也能“类SQL”，Google为我们带来了Dremel/PowerDrill等技术，Cloudera(Hadoop商业化最强的公司，Hadoop之父cutting就在这里负责技术领导)的Impala也出现了。

整体来看，未来的趋势是，云计算作为计算资源的底层，支撑着上层的大数据处理，而大数据的发展趋势是，实时交互式的查询效率和分析能力，借用Google一篇技术论文中的话，“动一下鼠标就可以在秒级操作PB级别的数据”难道不让人兴奋吗?

在谈大数据的时候，首先谈到的就是大数据的4V特性，即类型复杂，海量，快速和价值。IBM原来谈大数据的时候谈3V，没有价值这个V。而实际我们来看4V更加恰当，价值才是大数据问题解决的最终目标，其它3V都是为价值目标服务。在有了4V的概念后，就很容易简化的来理解大数据的核心，即大数据的总体架构包括三层，数据存储，数据处理和数据分析。类型复杂和海量由数据存储层解决，快速和时效性要求由数据处理层解决，价值由数据分析层解决。

数据先要通过存储层存储下来，然后根据数据需求和目标来建立相应的数据模型和数据分析指标体系对数据进行分析产生价值。而中间的时效性又通过中间数据处理层提供的强大的并行计算和分布式计算能力来完成。三层相互配合，让大数据最终产生价值。

传统的BI分析通过大量的ETL数据抽取和集中化，形成一个完整的数据仓库，而基于大数据的BI分析，可能并没有一个集中化的数据仓库，或者将数据仓库本身也是分布式的了，BI分析的基本方法和思路并没有变化，但是落地到执行的数据存储和数据处理方法却发生了大变化。

谈了这么多，核心还是想说明大数据两大核心为云技术和BI，离开云技术大数据没有根基和落地可能，离开BI和价值，大数据又变化为舍本逐末，丢弃关键目标。简单总结就是大数据目标驱动是BI，大数据实施落地式云技术。

这件事起源于2016年11月，马云在浙商大会提出了一个很惊人的观点，那就是”未来计划经济将会越来越强大”，他认为未来三十年内，市场经济和计划经济将会被重新定义。很快吴敬琏、刘胜军、陈志武、钱颖一、张维迎等重量级经济学家都没有点名的对马云的这一观点予以反驳。

我们坚信，中国目前的繁荣盛况是离不开改革开放和市场经济的，但随着科技的发展，互联网大数据以及人工智能等技术的日益成熟，仿佛也给了我们更大的勇气和信心在经济领域有所作为。

现在有一种很超前的观点，认为在大数据时代，经济集体和个体之间的联系更加密切，人们对数据进行计算和再加工的能力也远远超出了以前，而且对世界的认识水平也会有全新的提升，这也意味着，大数据技术能够让我们对经济领域的事物进行更加科学准确地评估，在这种情况下，市场经济的优势可能并不能超越计划经济。

计划经济体系的缺陷在于，在一个人口众多的社会，没有一个中枢机构可以准确获知的每个行为主体随时变化的精神和物质需求，并按需生产和分配，个体需求必然会被压抑，不会被及时满足，票凭经济就是一个很好的体现。

市场经济体系的巨大缺陷在于，个体需求无法通过市场机制汇聚成整体，供求必然出现极大偏差，导致资源浪费。

事实上，在上世纪七十年代，苏联在研究计划经济方面已到了相当的高度，苏联经济学家康托罗维奇曾因为《生产组织与计划管理中的数学方法》，对资源最优分配理论做出了卓越贡献，获得1975年诺贝尔经济学奖。理论上，康氏的研究可以实现全社会范围的资源最优分配和利用，即在现有资源条件下，全社会能够以最小的劳动消耗，获得最大限度的生产量，由此得出的生产计划叫最优计划。

1990年，笔者第一次赴苏联，那时候苏联尚未解体，还不叫俄罗斯。第一次在饭堂吃饭的时候，特意观察过他们的餐具，印证了老前辈所讲过的苏联计划经济典型案例，苏联对民用工业产品有一种变态的价格限制，一般商品上面都铭刻着价格。记得钢制的汤勺是2戈比，玻璃杯5戈比，一个官窑的瓷盘子只要8戈比。

不过，苏联式的计划经济最后还是失败了。苏联在第十个五年计划（1976-1981年）期间，每年要报废10-20%的工业品，积压库存30-40亿卢布以上的残次消费品。在随后的第十一个和第十二个五年计划，苏联的计划经济显示出巨大的缺陷，到了80年代末，苏联形成了极度的军工经济特征，军品占机器制造业的80%以上，军事支出占国民总产值28%。经济结构失衡，工业技术工艺落后，苏联人民饱受食品和生活物资短缺的痛苦，经济接近崩溃。

苏联的失败表明，以上世纪的组织和技术能力，要对整个国民经济进行精确的指令性计划管理，就是超大型计算机可能也无能为力。

但是，进入新世纪以后，由于人类的计算能力以几何速度递增，一切美好的计划都开始变的可能起来。

近些年，由于计算机、软件和网络技术的进步，出现大数据，共享数据，云统计，云计算。人们可以对订单、消费和物流进行精确统计和安排，这样可以用计算机化的比较精确的计划经济来整体安排社会产出和消费。这只是企业基于市场预测的生产计划，而不是政府指令性计划。

互联网、人工智能和大数据，解决了计划经济所需要的技术支持。有了互联网技术的大规模应用，使得人类社会在庞大复杂的微观经济领域也可以自然而然的进入计划经济时代。互联网经济的出现恰恰证明了马克思思想的前瞻和伟大。

那么问题来了，在互联网大数据以及人工智能技术风起云涌的时代，计划经济真的可能卷土重来吗？

刚刚收到松原市建设办关于《松原市云计算大数据中心建设》项目通知，原计划于1月3日招标的项目暂停或延期。

欢迎联系松原建设办高先生0438-2117725拿标。

智观帮您做简要梳理。

【一、项目准备】

2017年4月27日，松原市与浪潮集团签署云计算战略合作协议，发展“爱松原”工程：

2017年5月31日浪潮松原云计算中心建设工程，预计耗资729.6183万元。

什么叫“爱松原工程”？政府或者相关行政部门运用云计算等技术，采取“业务上云、数据整合、应用创新”的步骤，对工作过程中所需要的数量巨大、结构复杂、类型众多的数据进行收集整理、分类整合，从而创新和提升松原的电子政务、城市管理、经济运行和为民服务水平。

工程包括“一中心、四平台”建设，即松原市云计算大数据中心，信息资源公共服务平台、智慧政务信息服务平台、爱城市网公共服务平台、爱松原数据开放平台。

“爱松原”工程项目负责人表示，推进新兴信息技术应用，加快智慧城市建设，有利于加快发展方式的转变，创新社会管理、提高公共服务水平，有利于盘活城市资源、完善信用体系、组建技术通道和畅通区域人流、物流、信息流、资金流。

【二、项目设计】

2017年9月中国信息通信研究院完成项目初步设计（中标金额：80万元）,包括下列内容：

1、云计算大数据平台、2、数据共享开放中心、3、“爱松原”公众服务中心、4、智慧食药、5、智慧民政6、社会公共信用信息系统、7、智慧旅游、8、智慧气象、9、财政监管、10、金融监管、11、大数据综合治税12、大数据扶贫、13、中小企业云服务、14、智慧安监15、智慧城市运营管理平台

【三、项目建设】

项目包含15大建设内容：

1、云计算大数据平台：部署硬件资源，支撑整个业务系统；

2、数据共享开放中心：建立松原市统一的数据共享开发中心，为松原市的信息化建设提供有力支撑。

3、“爱松原”公众服务中心：“爱松原”公共服务中心的建设与运营。

4、智慧食药：食品药品信息化建设满足消费者、生产经营者和监管执法者三类群体对食品药品的信息需求，为人民群众饮食用药安全提供坚实的保障，为食品药品产业又好又快发展提供强有力的支撑。

5、智慧民政：建立当地涉及民生的多个业务系统，支撑智慧民政的宏观应用。

6、社会公共信用信息系统：建设公共信用信息交换和共享平台，实现市级信用信息整合与利用。

7、智慧旅游：建设旅游应用系统、开发智慧旅游服务设施，提升旅游服务的自助化水平和旅游市场的宏观分析能力。

8、智慧气象：建设智慧气象云，推动气象灾害预警信息发布和气象防灾减灾综合业务应用。

9、财政监管：基于财政监管平台，财政厅对同级政府相关部门的经费执行、大额支持等信息进行监管。

10、金融监管：金融监管机构依据国家法律规定，针对金融机构内部进行控制和稽核，对社会中介组织的监管。

11、大数据综合治税：利用综合治税平台，提高综合治税决策效率和精度，加强地方税收征管，维护纳税人合法权益，增加财政收入，促进地方经济和社会和谐发展。

12、大数据扶贫：以2020年消除贫困人口为目标，做到精准扶贫。

13、中小企业云服务：建立企业信息化服务平台,为中小企业提供云服务。

14、智慧安监：建立安全监管平台，助力企业发展。

15、智慧城市运营管理平台：为城市日常管理提供支撑，并为城市运行分析提供服务。

【四、采购相关】

项目预算：7年共48699.05万元人民币

采购单位：松原市生态建设办公室

联 系 人： 高先生

电 话：0438-2117725

联 系 人：刘铁英

电 话： 18946795392、0431-88905602

据悉，中国电信吉林分公司参加了应标

9月3日，锦屏县人民政府与湖南亿迅云网络科技有限公司在锦屏县举行区块链、大数据、云计算营运中心项目签约仪式。县委副书记、县长刘明波出席签约仪式，并代表县人民政府与湖南亿迅云网络科技有限公司签约，县人民政府副县长、锦屏经济开发区管委会副主任李强、县人民政府副县长潘冰，州供电局、县投资促进局、县供电局等相关部门负责人参加。

该项目总投资约2.5亿元，主要经营为云计算服务器托管运营、计算机软硬件的维护、大数据运算等。项目建成运营，可解决就业约50余人，可实现年税收300万元以上。该项目的成功落引进，是我县贯彻落实省、州产业大招商决策部署，依托锦屏丰富稳定的电力以及得天独厚生态资源优势，聚焦新业态、新技术、新模式，引进的集区块链、大数据和云计算营运中心为一体的大数据经济产业项目。

据了解，区块链是一种分布式数据存储，是采用点对点传输、共识机制、加密算法等计算机技术的新型应用模式，是基于区块链架构并结合大数据、人工智能及物联网技术构建的数据共享平台与数据资产流通平台，旨在打造一个全新的数据生态系统。其特点是没有中心，数据存储的每个节点都会同步复制整个账本，信息透明、难以篡改，适合记录金融数据、医疗记录、交易流程等重要数据。近年来，越来越多的机构开始重视并参与区块链技术研发，并将其广泛运用于医疗、医药、医保、养老、保险、科研、物流等领域。

来源：锦屏县投资促进局

10月11日，庆阳华为云计算大数据中心项目奠基开工。

省人大常委会副主任、省总工会主席李慧宣布庆阳华为云计算大数据中心项目正式开工。

市委书记贠建民致辞。

市委副书记、市长朱涛主持。

华为公司副总裁、企业云总裁杨瑞凯致辞。

市委常委、副市长卫达介绍项目概况。

庆阳华为云计算大数据中心是庆阳市建设新型智慧城市的第一个重大项目，是市政府与华为技术有限公司2016年11月14日在兰州签署协议的重要合作项目。该项目位于庆阳市城区东区，兰州东路以北、秦霸岭东路以南，总建筑面积约1.6万平方米，机房面积近10000平方米，可容纳业务机柜1000台。

据悉，从2014年开始，华为公司计划用5至10年的时间，在全国进行云计算网络布局，按区域建设云数据中心节点，构建一张基础设施云网络。为此，2016年6月，市委、市政府主要负责同志先后带队赴华为公司总部进行参观考察；同年7月，市委、市政府正式启动了创建智慧庆阳工程；2017年3月底，市政府与华为公司签订《云计算服务合同》，标志云服务在庆阳落地生根。同年4月，为快速构建庆阳的云计算服务能力，市政府与华为公司合作部署过渡数据中心，机房面积约550平米，可容纳机柜约200台。

华为公司把庆阳作为云计算产业运营服务的战略合作伙伴，作为其云服务的全国重要节点，负责甘肃大区业务的承接，真正把庆阳打造成甘肃大区区域大数据处理中心、电商服务中心、现代服务业支撑中心、全省信息消费中心。建设新型智慧城市，发展智慧庆阳，是庆阳华为云计算大数据中心给庆阳市带来的最大利益点，庆阳华为云计算大数据中心项目落地，为智慧庆阳建设启航创造了条件。

参观庆阳华为云计算大数据临时数据中心和市会展中心二楼“智慧庆阳”展厅。

庆阳市政府与云计算关联企业签订战略合作协议

10月11日，市政府与云计算关联企业战略合作签约仪式在庆阳宾馆举行。市政府将同云计算关联企业在智慧党建、智慧医疗、智慧校园、智慧农业等方面深化合作，共同开创庆阳云计算大数据时代。

省人大常委会副主任、省总工会主席李慧，市委书记贠建民出席签约仪式。市委副书记、市长朱涛主持。

仪式上，市委常委、副市长卫达代表市政府同软通动力信息技术有限公司、兰州北科维拓科技股份有限公司、广东穗阳商务服务股份有限公司、上海联影医疗科技有限公司、广州奥威亚电子科技有限公司、南京三宝科技股份有限公司负责人签订了战略合作协议。

什么是云计算

随着信息科学技术的蓬勃发展，人们对数据计算处理的要求不断提高，一种全新技术概念被提出来，这就是云计算。它通过网络提供可伸缩的廉价的分布式计算能力，将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。意味着计算能力也可以作为一种商品进行流通，就像煤气、水电一样，取用方便，费用低廉。最大的不同在于，它是通过互联网进行传输的。

在未来，通过云计算或许只需要一台笔记本或者一个手机，就可以通过网络服务来实现我们需要的一切，甚至包括超级计算这样的任务。

云计算的特点

浩渺博大，无所不容；

动态伸缩，无处不在；

功能强大、无限扩展；

按需购买，快速开通，性价比极高；

服务精准、高效、可靠、安全；

是智慧城市的建设运行的核心基础，

也是现代信息技术发展的主流方向。

云计算的应用

云计算与物联网、高速宽带、移动互联网等新一代通信技术相结合，为新型智慧城市建设和经济社会发展提供近乎无限的应用空间，将广泛地应用到经济社会的各个领域，成为不可或缺的基础性信息技术手段。

华为公司作为全球领先的信息与通信解决方案供应商，作为特大型民营企业，管理理念先进，高端人才荟萃，科研技术一流，是中国民族企业的标杆和骄傲。特别是近年来该公司致力于打造云基础设施服务网络，坚持以开放合作的理念，与产业链上下游合作伙伴共建云生态，在云计算、大数据方面始终保持着领先的技术水平、全球化的运营能力和世界级的品牌影响力。

云计算及大数据是当今世界信息技术的前沿性、基础性产业，对未来经济社会发展有着重大影响，已经提升到了国家战略层面，国际国内极为重视，发展迅速，是各级政府和大型企业的投资热点之一。

华为技术有限公司是全球最大的电信网络解决方案提供商，全球第二大电信基站设备供应商，全球第一大通讯设备供应商，也是全球领先的信息与通信解决方案供应商。

云计算作为重要的战略性产业，是华为公司到2020年完成1500亿美金销售收入的重要支撑。从2014年开始，华为公司计划用5－10年的时间，在全国进行云计算网络布局，按区域建设云数据中心节点，构建一张基础设施云网络。今年在甘肃建设的庆阳云服务节点就是全国网络重要节点之一，重点承接甘肃乃至西北的云服务业务。

来源：陇东报/掌中庆阳