大数据：藏在啤酒和尿布背后的秘密; 云计算：物联网的隐形大脑

我们提到物联网，就不得不把它与现在非常火热的另一个概念联系起来，那就是“大数据”。

大数据是怎么一回事呢？有一个为人津津乐道经典案例，就是啤酒与尿布的例子。一家美国超市把尿布与啤酒这两种风马牛不相及的商品居然摆在一起，但这一奇怪的举措居然使尿布和啤酒的销量大幅增加了。原来，美国的妇女通常在家照顾孩子，所以她们经常会嘱咐丈夫在下班回家的路上为孩子买尿布，而丈夫在买尿布的同时又会顺手购买自己爱喝的啤酒。

在这个案例里面，丈夫的行为被预测出来，其预测的依据是根据长期经验所得的。假定不在尿布旁边放啤酒，爱喝酒的丈夫可能也会去买，但嫌麻烦或者酒瘾不那么大的丈夫可能就只会买了尿布就走，而想不到去买啤酒。因而，大数据就此产生了经济价值。当然，这背后基本是一个零和游戏，这家超市的啤酒销售得多了，别家超市卖得就少了。

腾讯的QQ我们都用过，它能够把我们久未联系的老同找出来，推荐给我们去联系，但也会把你的前女友推荐给你的未婚妻认识。而淘宝在我们买东西的时候会把相关产品推荐给我们，还会告诉我们诸如某省狮子座最败家、某省水瓶座最花心、某省天蝎座最抠门这样的信息。而百度则会对人们使用关键字搜索进行排名，从而让更多人知道最近大家的关注点在哪里。

显然，这些数据或多或少已经开始影响我们的生活。而在未来，万物联网产生的数据量与现在人们通过互联网活动产生的数据量不可同日而语，开发的价值也会更加巨大。比如我们现在的手环、手表读取我们的心率、运动量等数据，仅仅是反馈给我们让我们管理自身健康。而未来随着大数据的分析能力增强，加上能够互动的设备增多，那么这些数据就变成了健康服务，甚至能提前预防疾病发生。

反过来，大数据的处理能力能力会反过来帮助物联网实现智能控制和产品改进。比如，我们的智能家居的学习功能，可以看做是对用户一段时间的行为数据的收集，然后通过特定算法得出主人的喜好从而自己完成对家庭环境的控制。

前面讲了大数据，那么还有另一个大数据的亲兄弟不得不讲，那就是云计算。从成本和实际效果来考虑，其实很多物联网设备并不需要太多的计算能力，只要能够取得数据并反馈给上层具有计算能力的数据处理中心就好了，多一点的还有能够通过从计算中心获取的指令完成某些活动就可以了。

那么，这些数据谁谁在处理呢，他们又是怎么处理的呢，这里就要提到云计算的概念。云计算被认为是一种革命性的计算方法，是继大型计算机到客户端-服务器的大转变之后的又一关于计算方式的重大转变。

举一个不那么恰当但比较好理解得例子。使用过QQ远程助手的朋友大概可以体验云计算，你在QQ提供的界面里面访问对方的电脑，使用对方的软件。云计算大概也可以看做这么种方式，不过对方的电脑变成了处理能力超强的云计算中心，而处理方式更加复杂一些。

云计算给我们带来了全新的解决思路。由于通讯技术的不断发展，我们的计算不一定要在本地进行。比如，在远程操作的例子，哪怕你的电脑没有安装一个程序，你仍然能够获得这个程序的使用结果。而我们平时收发邮件，这些邮件存储在我们的邮箱里，而不是在我们的电脑上，这其实可以视作早期的云服务。这种理念，简单概括起来就是“网络即电脑”。只要有网络，我们就能获得更高的运算能力。

目前云计算还处于基础阶段，现在的云计算被分为三层：基础设施即服务（IaaS），平台即服务（PaaS）和软件即服务（SaaS）。基础设施可以看做是我们的电脑主机，其实质是大规模的主机集群。平台的地位大致相当于我们的计算机系统，类似于windos，是开发和运行程序的基础。软件服务我们就明白多了，微信、游戏客户端、美图秀秀这样的都是软件。

借助云计算，企业的管理成本将降低。由于云计算的作用，一些企业不用浪费金钱和精力建立自己的数据处理中心，而将自己的一些数据和企业管理软件放在公共的云服务器上；而另一些企业对于数据的安全性和专业性等要求较高，于是自建云服务器，于是有了公有云、私有云、的概念之别；有一些私有云并不能满足企业的运算需求，向公有云服务器寻求支持，于是就有了混合云的提法。

同时，云计算中心能够根据实际需求来安排服务器的运算，让整个计算中心保持高效的运作，避免了运算资源的浪费。除此之外，云计算的好处在于按使用付费。这就是说，你可以按照实际需要的存储空间或者运算能力购买云服务。这是云服务诞生之初的“电厂模式阶段”就提出的理念，即把计算能力当做像水、电这样的产品来出售。现在基本已经变成现实，而在未来，个人用户也将慢慢感受到这种全新方式给生活带来的改变。

讲了这么多云计算，那么云计算和物联网是是怎么结合起来的呢？前面我们已经提到，我们的物联网设备只需要能够联网，云计算就能够通过网络为我们的设备提供数据处理能力。其次，大数据的运用对物联网来说十分重要，而云计算和大数据分析就像一枚硬币的两面密不可分。

比如智能家居系统，其一部分运算其实就是依托云服务器，因为我们的家里面的数据处理中心（电脑或手机）没有必要一直保持开机状态。而更多的诸如交通系统、工厂制造系统、社区服务系统等等都将依托于私有云或者公有云的服务。除了这些，我们前面提到云计算还是打通各种物联网标准的有效手段，两个采用不同技术标准的设备也具有了互相交换数据的可能，简单说来，就像你在网上和一个外国人聊天，哪怕你不懂他的语言，只要通过相应的翻译软件，就能够理解对方的意思了。

这件事起源于2016年11月，马云在浙商大会提出了一个很惊人的观点，那就是”未来计划经济将会越来越强大”，他认为未来三十年内，市场经济和计划经济将会被重新定义。很快吴敬琏、刘胜军、陈志武、钱颖一、张维迎等重量级经济学家都没有点名的对马云的这一观点予以反驳。

我们坚信，中国目前的繁荣盛况是离不开改革开放和市场经济的，但随着科技的发展，互联网大数据以及人工智能等技术的日益成熟，仿佛也给了我们更大的勇气和信心在经济领域有所作为。

现在有一种很超前的观点，认为在大数据时代，经济集体和个体之间的联系更加密切，人们对数据进行计算和再加工的能力也远远超出了以前，而且对世界的认识水平也会有全新的提升，这也意味着，大数据技术能够让我们对经济领域的事物进行更加科学准确地评估，在这种情况下，市场经济的优势可能并不能超越计划经济。

计划经济体系的缺陷在于，在一个人口众多的社会，没有一个中枢机构可以准确获知的每个行为主体随时变化的精神和物质需求，并按需生产和分配，个体需求必然会被压抑，不会被及时满足，票凭经济就是一个很好的体现。

市场经济体系的巨大缺陷在于，个体需求无法通过市场机制汇聚成整体，供求必然出现极大偏差，导致资源浪费。

事实上，在上世纪七十年代，苏联在研究计划经济方面已到了相当的高度，苏联经济学家康托罗维奇曾因为《生产组织与计划管理中的数学方法》，对资源最优分配理论做出了卓越贡献，获得1975年诺贝尔经济学奖。理论上，康氏的研究可以实现全社会范围的资源最优分配和利用，即在现有资源条件下，全社会能够以最小的劳动消耗，获得最大限度的生产量，由此得出的生产计划叫最优计划。

1990年，笔者第一次赴苏联，那时候苏联尚未解体，还不叫俄罗斯。第一次在饭堂吃饭的时候，特意观察过他们的餐具，印证了老前辈所讲过的苏联计划经济典型案例，苏联对民用工业产品有一种变态的价格限制，一般商品上面都铭刻着价格。记得钢制的汤勺是2戈比，玻璃杯5戈比，一个官窑的瓷盘子只要8戈比。

不过，苏联式的计划经济最后还是失败了。苏联在第十个五年计划（1976-1981年）期间，每年要报废10-20%的工业品，积压库存30-40亿卢布以上的残次消费品。在随后的第十一个和第十二个五年计划，苏联的计划经济显示出巨大的缺陷，到了80年代末，苏联形成了极度的军工经济特征，军品占机器制造业的80%以上，军事支出占国民总产值28%。经济结构失衡，工业技术工艺落后，苏联人民饱受食品和生活物资短缺的痛苦，经济接近崩溃。

苏联的失败表明，以上世纪的组织和技术能力，要对整个国民经济进行精确的指令性计划管理，就是超大型计算机可能也无能为力。

但是，进入新世纪以后，由于人类的计算能力以几何速度递增，一切美好的计划都开始变的可能起来。

近些年，由于计算机、软件和网络技术的进步，出现大数据，共享数据，云统计，云计算。人们可以对订单、消费和物流进行精确统计和安排，这样可以用计算机化的比较精确的计划经济来整体安排社会产出和消费。这只是企业基于市场预测的生产计划，而不是政府指令性计划。

互联网、人工智能和大数据，解决了计划经济所需要的技术支持。有了互联网技术的大规模应用，使得人类社会在庞大复杂的微观经济领域也可以自然而然的进入计划经济时代。互联网经济的出现恰恰证明了马克思思想的前瞻和伟大。

那么问题来了，在互联网大数据以及人工智能技术风起云涌的时代，计划经济真的可能卷土重来吗？

去年，阿里云将中国的计算方式推向全球，百度首次向全社会展示了百度大脑的科技成果，移动互联网的迅速崛起，预示着互联网正在逐步进入到智能时代，云计算、大数据、人工智能的进步将推动人类社会迎来变革性的发展。

无论是计算机产业，还是其他制造领域，技术层面的成熟都是推动行业飞速发展的基础。如果在一个新的技术创新时代，在硬件和软件上没有达到产业的要求，时代的产业基础将变得十分薄弱，而从产业政策角度分析，当技术累积到一定程度时，产业政策的出台也会变成一种必然。

就像为了刺激云计算的发展，国务院相继出台了《关于促进云计算创新发展培育信息产业新业态的意见》、《云计算白皮书2016》等，当然国务院出台这些政策绝非偶然，是在其背后众多云计算相关从业者共同努力的结果。

作为云计算运行的基础，大数据主要来源于政府、企业和消费者三个方面。政府对数据进行授权，但由于法制的不健全，政府数据被大量滥用，消费者的数据在流量入口处被自动抓取，数据提供商可以提供所有维度的数据，但并不是全部。

中国有高达7亿的大规模网民群体，每人每时每刻都在产生着数据，中国的数据市场还远远没有达到平衡点，未来还将继续保持高速增长的态势，另一个方面，企业经济增长模式的改变，也使得企业对大数据应用的需求在不断提高，更加强调数据的专业性和实用性。

我们聊起“大数据”和“云计算”时，常常把这两个名词概念混淆，觉得就是一个词。又或者知道这两者是有区别的，却又不知从何说起。今天，我和大家一起聊一聊“大数据”和“云计算”的联系与区别。

一、大数据

1、大数据的定义

著名的麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。

研究机构Gartner给出的定义是“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。

大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。

2、三个层面来了解大数据:

其次，想要系统的认知大数据，必须要全面而细致的分解它，着手从三个层面来展开：

（1）第一层面：理论

理论是认知的必经途径，也是被广泛认同和传播的基线。在这里从大数据的特征定义理解行业对大数据的整体描绘和定性；从对大数据价值的探讨来深入解析大数据的珍贵所在；洞悉大数据的发展趋势；从大数据隐私这个特别而重要的视角审视人和数据之间的长久博弈。

（2）第二层面：技术

技术是大数据价值体现的手段和前进的基石。大数据从采集、处理、存储到形成结果的整个过程，都伴随着云计算、分布式处理技术、存储技术和感知技术的发展。（这里我们下文再系统说）

（3）第三层面：实践

从总统竞选到奥斯卡颁奖、从web安全到灾难预测都离不开大数据的参与，大数据在企业商业智能、公共服务和市场营销三个领域拥有巨大的应用潜力和商机。正如那句俗语所言：“当你手上有一把锤子的时候，看所有的东西都是钉子。”

3、大数据的应用领域

综合来看，未来几年大数据在商业智能、政府服务和市场营销三个领域的应用非常值得看好，大多数大数据案例和预算将发生在这三个领域。

（1）商业智能

商业智能（Business Intelligence，简称：BI），又称商业智慧或商务智能，指用现代数据仓库技术、线上分析处理技术、数据挖掘和数据展现技术进行数据分析以实现商业价值。

过去几十年，分析师们都依赖来自Hyperion、Microstrategy和Cognos的BI产品分析海量数据并生成报告。数据仓库和BI工具能够很好地回答类似这样的问题：“某某人本季度的销售业绩是多少？”（基于结构化数据），但如果涉及决策和规划方面的问题，由于不能快速处理非结构化数据，传统的BI会非常吃力和昂贵。 大多数传统BI工具都受到以下两个方面的局限：

首先，它们都是“预设-抓取”工具，由分析师预先确定收集什么数据用于分析。

其次，它们都专注于报告“已知的未知”（Known unknowns），也就是我们知道问题是什么，然后去找答案。（而大数据会给出一些未知的未知，也就是你没有想到的一些问题的结果） 传统BI工具主要用于企业运营，侧重于成本控制和计划执行报告。

而大数据技术最主要的功能/应用是ETL（Extract、Transform、Load）。将近80%的Hadoop应用都与ETL有关，例如在导入Vertica这样的分析数据库之前对日志文件或传感器数据的处理。

今天计算和存储硬件变得非常便宜，配合大量的开源大数据工具，人们可以非常“奢侈”地先抓取大量数据再考虑分析命题。可以说，低廉的计算资源正在改变我们使用数据的方式。 此外，处理性能的大幅提高（例如内存计算）使得实时互动分析更加容易实现，而“实时”和“预测”将BI带到了一个新的境界——未知的未知。这也是大数据分析与传统BI之间最大的区别。 未来几年，随着企业间的兼并和新产品的不断推出，传统的BI工具将与大数据分析并存。

（2）公共服务

大数据另外一个重大的应用领域是社会和政府。如今，数据挖掘已经能够预测疾病暴发、理解交通模型并改善教育。

今天，城市正面临预算超支、基础设施难题以及从农村和郊区涌入的大量人口。这些都是非常紧迫的问题，而城市，也正是大数据计划的绝佳实验室。以纽约这样的大都市为例，政府公共数据公开化、以及市民生活的高度数字化（购物、交通、医疗等）等都是大数据分析的理想对象。

客观的市政数据，是消除争端，维系社会稳定的最佳纽带。当然，前提是让公民能够访问这些数据同时，保护好公民的隐私性和数据的安全性。当然，我们还需要更多的产品和技术让数据分析结果更容易被公众理解和接受（数据可视化）。

伴随着各国政务的数字化进程，以及政务数据的透明化，公民将能准确了解政府的运作效率。这是不可逆转的历史潮流，同时也是大数据最具潜力的应用领域之一。

（3）市场营销

大数据的第三大应用领域是市场营销。具体来说，有利于促进消费者与企业之间的关系。（卖得更多、更快、更有效率） 今天，最大的数据系统是web分析、广告优化等。今天的数字化营销与传统营销最大的区别就是个性化和精准定位。

如今，企业与客户之间的接触点也发生了翻天覆地的变化，从过去的电话和邮件地址，发展到网页、社交媒体账户等等。在这些五花八门的渠道里跟踪客户，粉丝和流量变现的年代，每一次阅读、转发对企业来说，都是一种推广行为，间接也可能促成企业产品交易。

二、云计算

1、云计算的定义

美国国家标准与技术研究院（NIST）定义：云计算是一种按使用量付费的模式，这种模式提供可用的、便捷的、按需的网络访问， 进入可配置的计算资源共享池（资源包括网络、服务器、存储、应用软件、服务），这些资源能够被快速提供，只需投入很少的管理工作，或与服务供应商进行很少的交互。

云计算（cloudcomputing）是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。

2、云计算特点

云计算是通过使计算分布在大量的分布式计算机上，而非本地计算机或远程服务器中，企业数据中心的运行将与互联网更相似。这使得企业能够将资源切换到需要的应用上，根据需求访问计算机和存储系统。

好比是从古老的单台发电机模式转向了电厂集中供电的模式。它意味着计算能力也可以作为一种商品进行流通，就像煤气、水电一样，取用方便，费用低廉。最大的不同在于，它是通过互联网进行传输的。

被普遍接受的云计算特点如下：

(1) 超大规模

“云”具有相当的规模，企业私有云一般拥有数百上千台服务器。“云”能赋予用户前所未有的计算能力。

(2) 虚拟化

云计算支持用户在任意位置、使用各种终端获取应用服务。所请求的资源来自“云”，而不是固定的有形的实体。应用在“云”中某处运行，但实际上用户无需了解、也不用担心应用运行的具体位置。只需要一台笔记本或者一个手机，就可以通过网络服务来实现我们需要的一切，甚至包括超级计算这样的任务。

(3) 高可靠性

“云”使用了数据多副本容错、计算节点同构可互换等措施来保障服务的高可靠性，使用云计算比使用本地计算机可靠。

(4) 通用性

云计算不针对特定的应用，在“云”的支撑下可以构造出千变万化的应用，同一个“云”可以同时支撑不同的应用运行。

(5) 高可扩展性

“云”的规模可以动态伸缩，满足应用和用户规模增长的需要。

(6) 按需服务

“云”是一个庞大的资源池，你按需购买；云可以像自来水，电，煤气那样计费。

(7) 极其廉价

由于“云”的特殊容错措施可以采用极其廉价的节点来构成云，“云”的自动化集中式管理使大量企业无需负担日益高昂的数据中心管理成本，“云”的通用性使资源的利用率较之传统系统大幅提升，因此用户可以充分享受“云”的低成本优势，经常只要花费几百美元、几天时间就能完成以前需要数万美元、数月时间才能完成的任务。

云计算可以彻底改变人们未来的生活，但同时也要重视环境问题，这样才能真正为人类进步做贡献,而不是简单的技术提升。

(8) 潜在的危险性

云计算服务除了提供计算服务外，还必然提供了存储服务。但是云计算服务当前垄断在私人机构（企业）手中，而他们仅仅能够提供商业信用。对于政府机构、商业机构（特别像银行这样持有敏感数据的商业机构）对于选择云计算服务应保持足够的警惕。一旦商业用户大规模使用私人机构提供的云计算服务，无论其技术优势有多强，都不可避免地让这些私人机构以“数据（信息）”的重要性挟制整个社会。对于信息社会而言，“信息”是至关重要的。另一方面，云计算中的数据对于数据所有者以外的其他用户云计算用户是保密的，但是对于提供云计算的商业机构而言确实毫无秘密可言。所有这些潜在的危险，是商业机构和政府机构选择云计算服务、特别是国外机构提供的云计算服务时，不得不考虑的一个重要前提。

2、云计算特点

云计算是通过使计算分布在大量的分布式计算机上，而非本地计算机或远程服务器中，企业数据中心的运行将与互联网更相似。这使得企业能够将资源切换到需要的应用上，根据需求访问计算机和存储系统。

好比是从古老的单台发电机模式转向了电厂集中供电的模式。它意味着计算能力也可以作为一种商品进行流通，就像煤气、水电一样，取用方便，费用低廉。最大的不同在于，它是通过互联网进行传输的。

被普遍接受的云计算特点如下：

(1) 超大规模

“云”具有相当的规模，Google云计算已经拥有100多万台服务器， Amazon、IBM、微软、Yahoo等的“云”均拥有几十万台服务器。企业私有云一般拥有数百上千台服务器。“云”能赋予用户前所未有的计算能力。

(2) 虚拟化

云计算支持用户在任意位置、使用各种终端获取应用服务。所请求的资源来自“云”，而不是固定的有形的实体。应用在“云”中某处运行，但实际上用户无需了解、也不用担心应用运行的具体位置。只需要一台笔记本或者一个手机，就可以通过网络服务来实现我们需要的一切，甚至包括超级计算这样的任务。

(3) 高可靠性

“云”使用了数据多副本容错、计算节点同构可互换等措施来保障服务的高可靠性，使用云计算比使用本地计算机可靠。

(4) 通用性

云计算不针对特定的应用，在“云”的支撑下可以构造出千变万化的应用，同一个“云”可以同时支撑不同的应用运行。

(5) 高可扩展性

“云”的规模可以动态伸缩，满足应用和用户规模增长的需要。

(6) 按需服务

“云”是一个庞大的资源池，你按需购买；云可以像自来水，电，煤气那样计费。

(7) 极其廉价

由于“云”的特殊容错措施可以采用极其廉价的节点来构成云，“云”的自动化集中式管理使大量企业无需负担日益高昂的数据中心管理成本，“云”的通用性使资源的利用率较之传统系统大幅提升，因此用户可以充分享受“云”的低成本优势，经常只要花费几百美元、几天时间就能完成以前需要数万美元、数月时间才能完成的任务。

云计算可以彻底改变人们未来的生活，但同时也要重视环境问题，这样才能真正为人类进步做贡献,而不是简单的技术提升。

(8) 潜在的危险性

云计算服务除了提供计算服务外，还必然提供了存储服务。但是云计算服务当前垄断在私人机构（企业）手中，而他们仅仅能够提供商业信用。对于政府机构、商业机构（特别像银行这样持有敏感数据的商业机构）对于选择云计算服务应保持足够的警惕。一旦商业用户大规模使用私人机构提供的云计算服务，无论其技术优势有多强，都不可避免地让这些私人机构以“数据（信息）”的重要性挟制整个社会。对于信息社会而言，“信息”是至关重要的。另一方面，云计算中的数据对于数据所有者以外的其他用户云计算用户是保密的，但是对于提供云计算的商业机构而言确实毫无秘密可言。所有这些潜在的危险，是商业机构和政府机构选择云计算服务、特别是国外机构提供的云计算服务时，不得不考虑的一个重要前提。

4、云计算环境作为大数据处理平台

（1）云计算环境中基本计算单元的分化

企业云计算平台上虽然有多个并行计算的CPU，但并没有创造出具有超强数据处理能力的超级CPU，因此云计算平台需要具有并行运算能力的软件系统。同时，当所有用户的数据全部放在云端时，虽然存储容量可以很方便地扩充，但面对大量用户同时发起的海量数据处理...

2017年物联网7大趋势

业务和技术的重要变革

来源：与非网、 物联网智库

【导读】2017年开始，物联网将会成为企业重大变革之一，并且将会对业务和技术带来重要影响。

2017年开始，物联网将会成为企业重大变革之一。许多公司在物联网上看到了巨大的机遇，一方面可以通过提高生产质量和可靠性来增强与客户之间的关系，另一方面降低成本和一些不必要的风险。公司通过使用恰当的物联网模式，来获得更多新客户和更优的洞察力，并且可以提高顾客满意度。

首先让我们探讨一下，在2017年物联网将会对业务和技术带来哪些影响？

（1）物联网和区块链的聚合

区块链（Blockchain）现在不仅仅是一个概念，除了“金融科技”（FinTech）它在许多领域都有应用，包括物联网。许多专家认为，区块链技术是解决物联网中可扩展性、隐私和可靠性的缺失环节。

区块链技术可用于跟踪数十亿联网设备，并且能够完成设备之间的处理和协调事务；对物联网行业制造商来说，能够很好的节约成本。这种分散的方法可以消除单点故障，为设备运行创建一个富有弹性的生态系统。区块链所使用的加密算法可以让消费者的数据更加安全。在2017年，物联网将会和区块链技术融合，来提供更优越的安全性来保护隐私。这对应用程序、硬件和人才来说都是打开了新世界的大门。

（2）物联网设备和更多的攻击DDoS

Forrester认为，最近发生在美国的1600个网站DDoS攻击事件只是冰山一角，如果涉及到更多的连网设备，那将会对世界造成威胁。这次攻击事件证实了，物联网设备在巨大的分布式拒绝服务攻击（DDoS）下的脆弱性。

在美国当地时间2016年10月21日，造成了许多服务器瘫痪，如Twitter，NetFlix，纽约时报（NYTimes）和PayPal。这次攻击范围巨大，包括数百位网站和恶意软件，其中Dyn是这次主要受害者。“这次来源主要是一个被Mirai僵尸网络感染的设备”。所有迹象表明，无数的物联网设备包括摄像机、智能家居等日常用电设备都可能被恶意软件劫持，来攻击服务器。

（3）物联网和许多移动设备

物联网正在为当前和新兴市场为企业创造更多新的机会，来提高竞争优势。它触及一切领域——不仅仅是数据，还有收集数据的方式、时间和地点。创造物联网技术，不只是为了改变互联网，而是要改变连接互联网的东西。更多移动设备会出现，从家用电器到汽车、智能手表和虚拟助手。所有这些连接着的设备都将会提供丰富的数据流，该数据流将会连接产品和消费者来实现交互。

（4）物联网、人工智能和软件容器

在物联网下，人工智能可以帮助公司拥有的数十亿数据点用到真正有意义的地方。一般前提是与应用程序一致——先审查分析你手机的数据，从中找出可以学习的模式和相似之处，以便进行更优的决策。

2017年将会看到分布在云服务、边缘设备和网关上的物联网软件。你还会见证，建立在微服务（（Microservices）一种程序开发方法）和软件容器（轻量级虚拟化）上的物联网解决方案，可以在分布式构架上工作。此外，机器学习云服务和人工智能都会在物联网上提取有用数据。

（5）物联网和连接技术

可以通过Wi-Fi，蓝牙，低功率Wi-Fi，Wi-Max，以太网，LTE和最近兴起的技术Li-Fi （使用光作为包括传感器的典型网络的不同部分之间的通信介质）来将物联网上不同的部分连接到传感器上。在2017年新的无线连接技术将会接受测试，比如3GPP、NB-IoT、LoRaWAN和Sigfox。将会迫使物联网决策者来评估这20多种无线连接协议，这一切都是建立正确的新连接标准的一步。

（6）物联网和人才短缺

物联网项目的开展，包括智慧城市和工业设施，将会面临一段人才短缺的时期。更麻烦的是，找到足够人手来保障物联网安全更是一个挑战。

据TEKsystems调查，45%的物联网公司正在寻求安全专业的人才，30%的公司表示找相关数字营销人员有困难。2017年，物联网企业将会投资建立培训和认证机构，并成为科技行业的主流趋势。

（7）物联网和新商业模式

目前还没有一个完善的物联网商业模式，这成为商业投资和营销的巨大动机，当然也会成为泡沫。这种商业模式必须满足电子上午的所有要求——垂直市场、横向市场和消费级市场。新的商业模式需满足消费者共享设备的成本要求，降低成本使得用户拥有更加体验。2017年将会看见智能市场加入新的类别。一个关键点就是捆绑服务，包括服务和产品。例如亚马逊的一款产品Alexa，如果没有语音识别、流媒体音乐和预订Uber服务，那它就是一款普通的无线扬声器而已。

未来的路

物联网是一个日益复杂的生态系统。生活中下一代自动化或者新技术都会使物联网的实现变得更加容易和便捷，对应的，我们在家中、工作中和生活中的方方面面都会得到改善。从冰箱到停车场再到智能房屋，物联网将会给我们数字化生活带来更多内容，在不久的将来，物联网将会成为一个数万亿美元的产业。

离我们最近的就是“物联网服务”技术，并应用到生活中创造无限可能性。但实现这个梦想还是要很长一段路，我们需要克服很多障碍才能看见这个技术的好处。

大数据在2017年发展的8个预测

来源：机房360

又到了年终岁尾时，业界权威市场研究和咨询机构Ovum公司日前估计，大数据市场规模将从2016年的17亿美元增长到2020年的94亿美元。随着市场的增长，企业的挑战正在转变，对人们的技能需求正在改变，而大数据服务供应商的景观也在风云变幻。2017年将是大数据专业人士更为忙碌的时刻。以下是一些来自相关行业观察家和技术专家对大数据在2017年的发展预测。

1.对数据科学家的需求将减弱

组织对数据科学家的需求正在减弱，Ovum公司在其关于大数据趋势的报告中表示。该研究公司引用了来自Indeed的数据，显示了组织在过去四年对数据科学家的需求。同时，大学正在培养更多的拥有数据科学证书的大学毕业生。

“谁招募这些潜在客户？很可能，排除在线数字业务，在全球2000强以外的一些少数企业会招募他们，但却很少有人会想到如何使用数据科学家。”Ovum公司指出，“对于大量依赖于打包分析的组织来说，不需要数据科学家本身，而是需要应用数据科学的应用程序或工具。

2.使数据科学成为团队运动将成为重中之重

Ovum公司警告，数据科学家和数据工程师在企业中扮演不同的角色：数据科学家关注数据形成和测试假设，而数据工程师选择数据集，提供集群，并优化他们的生产算法。没有协作，数据科学家开发的模型和假设就会遇到陷入风险之中。

“真正的需要是让数据科学家和数据工程师更好地连接，以确保数据科学家在他或她的笔记本电脑上编写和测试的模型正确地部署在集群上合适的数据集。”Ovum写道。

同时，机器学习正在嵌入企业软件和工具，用于整合和准备数据，这也给企业带来压力，确保他们的数据科学家和业务分析师密切合作。“如果模型仍然在数据科学家的领导下，企业将无法获得机器学习的全部价值。”Ovum公司表示，“重叠的趋势将是协作环境，其中业务分析师和数据科学家可以在计划，部署，以及执行机器学习模型中共享工作流。”

3.将会有更多的压力来保持数据本地化

全球律师事务所Morrison＆Foerster预测将加强隐私法，旨在将数据保存在各国境内。

Morrison＆Foerster律师事务所全球隐私+数据安全小组主席MiriamWugmeister说，“预计将会出台更多的数据本地化法律，在最近的发展中，如俄罗斯数据本地化法律得到了俄罗斯法院支持，中国最近也通过自己的数据本地化法律。其他国家将在未来一年内采取行动。

4.企业将努力通过数据获利

研究机构IDC公司警告说，企业必须投入更多的生产资料产生数据，但它不会是容易做到，许多企业将错过机会。

IDC公司在名为“IDC Future Scape：全球CIO2017年议程预测”的报告中写道：“尽管商业领袖希望企业努力成功创造有意义的产品和收入来源。那些取得成功的企业将以坚实的IT战略和数据导向服务为基础：数据采集;运输，转型和储存;分析和仪表板;数据作为产品/服务;以及安全和访问控制。

而IDC提供的指导性建议是，IT领导者“建立一个由IT和业务人员组成的创新团队，审查现有和未来的应用程序/系统，以获得可能的结果数据货币化。

5.数据湖将最终变得有用

“许多早期采用数据湖的企业花费了大量资金，不仅购买了低成本存储和流程，而且还收集了大量服务，以便汇总和提供大量数据相关和发现以获得更好的见解。”，数据管理供应商Reltio公司首席营销官RamonChen说。企业所面临的挑战一直在寻找有能力理解信息的人;使数据湖能够向操作应用程序提供输入，并从操作应用程序接收实时更新的数据;弥合主要数据管理和运行应用程序，分析数据仓库和数据湖之间的差距。

“现有的大数据项目意识到需要一个可靠的数据基础，而新的项目被整合到一个整体的数据管理战略中，数据湖可能会在2017年履行他们的承诺。”RamonChen预测。

6.并购活动将加快进程

Reltio公司首席营销官RamonChen说，“毫无疑问，人工智能、机器学习、深度学习等新技术得到了企业的关注。”所有交易的关键驱动因素是对人工智能专家的需求。“由于被收购的大多数初创公司的运营历史很短，这些举措是尽可能招募到数量有限的人工智能专家。”他说，并预计在未来一年，行业厂商将会开展更加积极的并购活动。

7.对物联网架构师的需求将飙升

根据研究机构IDC公司的数据，到2020年，物联网（IoT）市场规模预计将达到1.46万亿美元。因为规模激增，因此也将需要大量熟练的物联网专家。

“物联网架构师的作用将使数据科学家们成为人力资源部门最有价值的独角兽。物联网的浪潮将会让边缘计算和物联网操作设计激增。”数据和分析供应商Teradata公司物联网技术营销专家DanGraham预测，届时，数以千计的简历将在一夜之间更新。“此外，不到10％的企业意识到他们需要一个物联网分析架构师，而物联网系统架构师将成为一个独特的物种。因此，能够为物联网设计分布式和中央分析的软件架构师的市场价值将飙升。”

8.流式分析将会获得重生

“分析运动中的数据并不是什么新鲜事，因为事件处理程序已经存在了近20年。”Ovum公司表示。但是有很多因素正在将实时流技术从利基技术转变为更具广泛吸引力的技术。例如，开源技术使实时流更加容易访问，也为可扩展的商品基础设施带来可用性，Ovum公司指出。在需求方面，物联网正在加强企业对可以实时感测，分析和响应的流应用程序的兴趣。

Ovum公司预测，其市场整合不会立即发生。“如今，企业有越来越多的选择，竞争新的工作负载。最终，我们预计市场会下降到三到四个流媒体平台。”但是SparkStreaming和AmazonKinesisAnalytics等平台及其竞争对手的市场竞争仍在进行中。“鉴于市场早期状况，我们预计2017年市场不会下跌;我们预计流式引擎将需要2-3年才能成熟，物联网的实施将达到临界质量。”Ovum公司指出。

云市场再掀浪潮

2017云计算六大趋势抢先看

来源：北京物联网智能技术应用协会（ID:bjwlwxh）

“第一大趋势来自企业，”Forrester分析师DaveBartoletti说，“具有大预算，数据中心和复杂程序的企业现在正在将云作为运行核心业务程序的可行场所。”Forrester发现，北美和欧洲1000多家企业基础设施技术决策者中有38%表示他们正在构建私有云，其中32%采购公共云服务，其余计划在未来12个月内实施某种形式的云技术。此外，59%的受访者表示他们正在采用混合云模型。应用应用

Forrester在2017年提供了以下云预测：

区域玩家补充“超级云提供商”

最初选择构建私有云的CIO可能siy会发现自己切换到公共云，因为他们意识到这项工作会耗费多少时间和成本。CapitalCIORobAlexander表示，CapitalOne在几年前关闭了亚马逊网络服务的私有云。其首席信息官表示“我们认识到，我们花费了大量的时间,精力,努力创建和管理带宽基础设施已经存在在一个更好的状态和发展逐渐日新月异。”

全球公共云市场将在2017年达到1460亿美元，高于2015年的87亿美元，并以复合年增长率22%的速度增长。Bartoletti说，这种增长的最大份额将来自亚马逊，微软，谷歌和IBM，他们正在开设新的数据中心和做出让步，例如微软公司同意T-系统在德国管理其云，以满足数据本地化的要求，但是大型厂商无法为每一个独特的请求提供服务，这意味着较小的区域性厂商将在2017年采用上升。

云成本遏制

一个流行的理论是，CIO通过投资公共云软件来节省资金，但并不总是这样。大多数CIO利用多个云提供商的事实意味着企业已经在复杂的云供应商管理方面陷入困境。此外，如果公司离开公共云实例运行通过周末，当他们不需要它们，CIO实际上可以花更多的钱比他们在本地解决方案。

IT高管将在2017年更好地控制云成本，因为他们的最佳实践已成熟。它已经发生了。Bartoletti说，一家大型软件公司的云架构师通过监控�...

请点击输入图片描述

2017年大数据开始进入部署阶段，大数据的炒作逐渐散去，它的应用却正在蓬勃发展，代表成熟度的标志性IPO也正在出现。而大数据在几年前经历的泡沫正在无可争议地转移到人工智能身上，过去几个月AI所经历的共同意识“大爆炸”与大数据当年相比甚至有过之而无不及。

从2013开始制作大数据版图的Matt Turck刚刚发布了最新的2017年大数据版图，我们一起来看看在这个领域有哪些最新趋势和玩家的分布情况。

高层趋势

大数据+AI=新栈

2016年无疑是机器学习之年，任何目睹过众多pitch的VC都应该能感受到这一点，那就是每一家初创企业都成为了“机器学习公司”，“.ai”变成了必备域名，而“等等，可是我们是用机器学习做到这个的”也成为了pitch deck的必备幻灯片。机器学习正在迅速成为许多应用的关键建构块。

相应地，一个新兴的技术栈正在出现，在这个技术栈里面，大数据被用于处理核心的数据工程挑战，而机器学习则用于以分析洞察或者行动的形式从数据中析取出价值。

换言之，大数据提供管道，AI提供智能。当然，这种共生关系已经出现多年，只是能实现这个的目前还不多而已。

但是，现在这些技术开始大众化的普及。“大数据+AI”正在成为众多现代应用（不管是消费者型还是企业型）的默认技术栈。无论是初创企业还是一些财富1000强公司都在利用这一新的技术栈。而且在云巨头的努力下，这个技术栈往往还有云计算这个更基础的建构块的加入，以机器学习云的形式出现。

但是AI的大众化是否就意味着这种技术在短期内能实现商品化呢？现实是AI在技术上仍然非常困难。尽管许多工程师都在争先培养AI技能，但全球这方面的领域专家仍然十分稀缺。

不过这股大众化的趋势已经不可逆转，而机器学习早晚都要从竞争优势演变成桌面筹码。

这对初创企业和大公司都会产生影响。对于初创企业来说，除非你把AI软件做成自己的最终产品，否则的话自我标榜为“机器学习公司”将变得毫无意义。对于大公司来说，如果现在你不积极推进大数据+AI的战略，就会有变得过时的风险。AI已经是下一个风口了。

企业预算：一切向钱看

从2016年的情况来看，财富1000强公司已经在纷纷增加预算用于升级核心基础设施以及分析，其关键的关注点正是大数据技术。分析机构IDC预计大数据和分析市场将从2016年的1300亿美元增长到2020年的超过2030亿美元。

而且财富1000强公司里面的许多买家在大数据技术方面正在变得越来越娴熟、越来越目光敏锐。这些公司过去几年做了很多功课，正在进入全面部署阶段。这种情况不仅发生在技术导向型的公司，在很多行业都是如此。

在大公司每隔几年就要发生的旧技术替代自然周期的推动下，这种情况得到进一步加速。大数据遭遇的环境也从逆风变成了顺风。当然，很多大公司仍然处在大数据部署的早期阶段，但是情况似乎在快速演变。

企业数据向云端迁移

直到几年前，把企业数据迁移到公有云上面对于大公司CIO来说还是不可想象的事情，顶多是在开发环境下或者拿非关键的、面向外部的应用来尝试一下。但现在画风开始有所变化，大家对此的态度似乎变得更加开放了，比方说你会听到这样的说法“不管怎么说我们的客户数据已经放到Salesforce云上面了”，或者“在网络安全方面我们永远也不会有像AWS那么多的预算”。但目前里大多数企业都向公有云迁移还远得很，这部分是因为遗留系统和管制方面的原因。不过云供应商正在竭尽全力来加速这一趋势的转变。比如说AWS甚至可以开卡车来运你的硬盘到云端。

2017年大数据版图

作为对比我们先看看2016年版本：

请点击输入图片描述

2017年版本：

请点击输入图片描述

整合要来了吗？

从上图可看出，这张图已经变得越来越拥挤，那么一个显然的问题来了：行业是否濒临大规模整合的边缘了呢？

似乎还没有。至少目前如此。

首先VC仍然继续乐于给新老公司提供资金扶持。2017年的第一季度成长阶段的大数据初创企业拿到了不少的可观融资，其中包括：Looker（8100万美元D轮），InsideSales （5000万美元F轮），DataRobot （5400万美元C轮），Confluent （5000万美元C轮），Collibra （5000万美元C轮），Uptake （4000万美元C轮），WorkFusion （35M00万美元D轮） and MapD （3500万美元B轮）等。去年12月DataBricks也拿到了6000万美元的C轮。

2016年，大数据初创企业的总融资达到了148亿美元，占到了全球技术风险投资的10%。

其次，自去年的大数据版图推出以来，本领域的并购活动一直在稳步推进，但不是特别显著，其中部分原因也许是未上市公司的估值仍然高企。入选2016大数据版图的公司当中共有41家被收购（完整清单参见附注），这个节奏跟上一年是一致的。

另一方面，2017年刚开始就发生了一些大型的并购事件，其中包括Mobileye（被英特尔以153亿美元收购），AppDynamics（被思科以37亿美元收购），以及Nimble Storage（被HPE以12亿美元收购）。

去年还有一个显著的现象，那就是大型技术公司纷纷收购AI初创企业，尤其是那些解决水平问题、有着很好团队的AI初创企业。其中包括Turi（苹果）、Magic Pony（Twitter）、Viv Labs（三星）、MetaMind（Salesforce）、Geometric Intelligence（Uber）、API.ai（Google）以及Wise.io（GE）。当然，这种现象未必能持续太久，因为对AI的需求太旺盛了，人才实在是不够用了。

第三，一些较大的大数据初创企业羽翼渐丰，正在成为独立的上市公司。Snap无疑引领了技术公司IPO的复兴，但是目前为止是大数据公司借了这股东风。

2016年只有Talend一家大数据公司上市，但2017年大数据公司已经呈现出爆发之势。其中Mulesoft和Alteryx已经上市并且表现不错，而Cloudera也即将上市，其最新估值（41亿美元）与收入（2.61亿美元）之间的差异将延至“独角兽”估值现象的成色。另外，MapR以及定位智能公司Yext也已经在排队等待了。

下一个会是谁呢？也许是Palantir这个超级独角兽。这家多年以来保持神秘的公司已经公开表达了上市的兴趣。其最新估值达到了200亿美元，如果上市的话必将引起轰动。

云大战

虽然大规模并购尚未出现，但业界的另一股趋势值得注意，这就是“功能性整合”，这种现象在云端尤其显著。一些关键的玩家正在通过自研产品和开源计算引擎的实现逐步构建“大数据+AI”的基础构件，面向众多客户群提供其所期盼的“一站式”的服务。

AWS在产品发布的速度和幅度方面继续给人留下深刻印象。目前AWS几乎提供了大数据和AI方面的所有服务，包括分析框架、实时分析、数据库（NoSQL、图谱等）、商业智能以及日益丰富的AI能力，尤其是深度学习方面的能力。按照这种速度发展下去，AWS产品几乎就要把大数据版图的所有的基础设施和分析细分领域都占据了。

加入云大战稍晚的Google一直在积极开发广泛的大数据产品（BigQuery、DataFlow、Dataproc、Datalab以及Dataprep等），并且把AI视为跨越式发展的杀手锏。在AI方面Google去年做了很多事情，包括推出了新的翻译引擎，聘请了李飞飞和李佳领导新成立的Cloud AI and Machine Learning部门，推出了视频识别的机器学习API，并且收购了数据科学家社区Kaggle。

其他大型的IT供应商，比如微软、IBM、SAP、Oracle以及Salesforce等也在努力推出大数据产品（包括云端和本地）。除了技术自研和进行收购以外，这些玩家还越来越重视通过合作来打造生态链，其合作的重点是手上有数据的公司以及有“头脑（AI）”的公司。IBM与Salesforce的合作以及SAP与Google的合作就是值得注意的案例。

用企业IT的行业标准来看，云供应商还比较小，但是其不断膨胀的野心（其中包括从企业栈底层的IaaS向应用发展的企图）与企业数据逐渐向云端迁移的趋势结合，将打开庞大的企业技术市场大门，与传统IT供应商展开激战，而大数据和AI将是核心战场。

2017数据生态体系概览

基础设施

去年的许多趋势今年仍将延续，比如流处理技术，这方面Spark目前是主宰，不过像Flink这样的有趣竞争者正在出现。此外，还有以下一些趋势：

SQL正式回归

在给NoSQL当了10年副手之后，曾经的霸主SQL数据库正式吹响了回归的号角。Google最近发布了Spanner数据库的云端版。Spanner和CockroachDB（Spanner的开源版）都提供了可行的、强一致性的、可伸缩的SQL数据库。Amaozn推出了Athena，跟Snowflake等产品类似，这是一款SQL数据引擎，可直接查询S3下的数据。Google BigQuery、SparkSQL以及Presto等在企业逐渐获得采用——这些都是SQL产品。

数据可视化

与公有云采用相关的一个有趣的趋势是数据可视化。旧的ETL处理需要转移大量的数据（而且往往要建立冗余数据集）并且建立数据仓库，而数据可视化可以在数据保持不动的情况对其进行分析，提高了速度和敏捷性。许多下一代的分析供应商现在都可以同时提供数据可视化和数据准备服务，并让客户可访问存储在云端的数据。

数据治理与安全

随着大数据在企业侧走向成熟，以及数据的多样性和体量的不断发展，像数据治理这样的主题也变得日益重要。许多公司已经选择了“数据湖”作为把所有数据收集起来的手段。但除非你知道里面有什么东西，并且能够访问到合适的数据进行分析，否则的话数据湖再大也没有意义。但是想让用户方便地找到想要的东西同时管理好权限并不容易。除了数据湖以外，治理的另一个集中的主题是以安全的、可审计的方式为任何人提供对可靠数据的便捷访问。Informatica、 Collibra、Alation等大小供应商提供了数据目录、参考数据管理、数据字典以及数据帮助台等服务。

结论

通过大数据与AI的黄金搭档，我们正在进入大数据技术的“收获”阶段。其潜能将非常巨大。随着核心基础设施不断走向成熟，以及在AI推动下应用侧的爆发，2017年的大数据（以及AI）生态体系将开足马力，驶向光明的未来。

无论是否你这个学校里面有没有人工智能、大数据、云计算等专业，老师们的研究方向中肯定会有这些。即使你所在是专业是计算机科学与技术、软件工程亦或是网络工程等，你还是可以去跟着老师研究单独的一个方向，即使你们不学这个。

人工智能强校名单

当前，中国人工智能领域的差距其实是在与美国高校的差距上。因为一篇顶尖论文的发表后，我们大概在3、4个月就能消化吸收了。所以在应用领域里，我们与美国的差距不大。但在基础研究方面，我们的差距是巨大的。下面是排名20强的高校，都是知名的学校，高考或者考研的你可以把这些高校作为目标。

智能科学与技术专业

目前，全国仅有20多所高校招收智能科学与技术专业，其中，开设该专业较早的高校有北京大学、北京邮电大学、南开大学、西安电子科技大学、华南理工大学、中南大学、中山大学、北京科技大学、厦门大学、东北电力大学、首都师范大学、北京信息科技大学、西安邮电大学等。近几年，华南理工大学、大连东软信息学院等院校也新开设了该专业。

大数据

自2015年教育部开设了“数据科学与大数据技术专业”，首批只有北京大学、中南大学和对外经济贸易大学三所学校申报成功，2016年有31所高校申报成功。从两次获批的”数据科学与大数据技术专业”名单中可以看出，该专业学制都为四年，授予工学学位或理学学位。

云计算

国内高校开展云计算专业研究最早是在2015年，目前为止也已经有不少的院校已经开设了云计算相关的专业课程，但是目前阶段，云计算相关专业还没有正式列入本科专业目录。大家可以参考一下以下的内容，首批开设云计算与数据科学专业方向的院校有：北京航空航天大学，浙江大学，复旦大学，上海交通大学，西安交通大学，南京大学，武汉大学，华南理工大学。

大数据是一个通用术语，用来指当前业务领域中存在的各种数据。从医疗机构的数字数据和记录到政府机构的大量文件，人们把这些文件存档供将来参考，技术为我们提供了一个面向服务的架构来分析这些信息。

大数据是永远不可能被归档到在个描述或定义下。关于信息技术的神器之处在于，它始终在不断发展，并且可供愿意接受信息技术的公司使用。另一方面，云计算的发展使得商业企业更容易获得可负担得起的软件包。云计算的使用大大降低了存储公司信息的成本，这也带来了小型企业可以利用的多个应用程序。自互联网诞生以来，随着云计算的不断发展，互联网上广泛的信息爆炸式增长。标准用户和数字营销人员现在可以每天使用社交媒体营销平台来生成大量关于消费者的信息。有时，对于机构和企业来说，管理每天生成和存储的数据量就是一项相当艰巨的任务。例如，每天创建2.5万亿字节的数据，这可能会给云计算带来存储和排序挑战。

这正是大数据用来管理海量数据如何通过云计算存储的地方。总而言之，这两种技术形式提供的解决方案既适应业务分析、也适用于大数据。在这篇文章中，将重点介绍如何使用大数据和云计算来管理政府机构和商业机构日常生成的大量数据。可购性对于那些预算计划比较紧张，但又需要更新技术的企业或机构来说，云技术可能是解决燃眉之需的一大利器。用于管理大数据的成本资源，即使是小公司，也在预算之内，而且在市场上也很容易找到合适的产品。在云计算出现之前，商业机构和政府机构花费大笔资金建立信息技术部门来管理数据，甚至花更多的时间来更新这些IT系统。今天，由于技术的进步，企业可以把他们的大数据托管在异地的服务器上，或者按需支付。敏捷性

替换高清大图

传统的数据存储和管理方法正变得越来越难以管理，因为数据存储和管理非常慢，需要公司花费大量时间从中检索信息。有时，安装和运行服务器可能需要几周甚至几个月的时间。云计算的出现有可能为企业或机构提供所需的全部存储需求。一个基于云计算的公司数据库可以在几分钟内完成安装，并将数据存储在数千个虚拟服务器中，在这些服务器中，只有一台计算机或移动设备和互联网连接的人可以很轻松访问它。

替换高清大图

数据处理海量数据的爆炸式增长带来了管理数据的挑战。例如，社交媒体会产生大量的数据，这对于在推文、帖子、博客或照片等类别中进行处理来说是具有挑战性的。对于大数据，有一些分析平台，比如Apache Hadoop，可以在将非结构化数据存储到云中之前处理这些数据。

大数据产业正在用一个超乎我们想象的速度蓬勃发展，在上个月贵阳的数博会上，让全世界感受到了大数据的巨大魅力。借助大数据的风口，云计算和人工智能也同时走进我们的视野，他们三者之间有着不可分割相互影响的关联。

大数据的概念

大数据，或称巨量资料，指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。简言之，从各种各样类型的数据中，快速获得有价值信息的能力，就是大数据技术。明白这一点至关重要，也正是这一点促使该技术具备走向众多企业的潜力。

大数据时代已经来临，它将在众多领域掀起变革的巨浪。但我们要冷静的看到，大数据的核心在于为客户挖掘数据中蕴藏的价值，而不是软硬件的堆砌。因此，针对不同领域的大数据应用模式、商业模式研究将是大数据产业健康发展的关键。我们相信，在国家的统筹规划与支持下，通过各地方政府因地制宜制定大数据产业发展策略，通过国内外IT龙头企业以及众多创新企业的积极参与，大数据产业未来发展前景十分广阔。进充分利用大数据的价值。

云计算的概念

云计算是基于互联网的相关服务的增加、使用和交付模式，这种模式提供可用的、便捷的、按需的网络访问， 进入可配置的计算资源共享池（资源包括网络，服务器，存储，应用软件，服务），这些资源能够被快速提供，只需投入很少的管理工作，或与服务供应商进行很少的交互。通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比喻说法。过去在图中往往用云来表示电信网，后来也用来表示互联网和底层基础设施的抽象。因此，云计算甚至可以让你体验每秒10万亿次的运算能力，拥有这么强大的计算能力可以模拟核爆炸、预测气候变化和市场发展趋势。用户通过电脑、笔记本、手机等方式接入数据中心，按自己的需求进行运算。

人工智能的概念

人工智能是研究使计算机来模拟人的某些思维过程和智能行为（如学习、推理、思考、规划等）的学科，主要包括计算机实现智能的原理、制造类似于人脑智能的计算机，使计算机能实现更高层次的应用。人工智能将涉及到计算机科学、心理学、哲学和语言学等学科。可以说几乎是自然科学和社会科学的所有学科，其范围已远远超出了计算机科学的范畴，人工智能与思维科学的关系是实践和理论的关系，人工智能是处于思维科学的技术应用层次，是它的一个应用分支。从思维观点看，人工智能不仅限于逻辑思维，要考虑形象思维、灵感思维才能促进人工智能的突破性的发展，数学常被认为是多种学科的基础科学，数学也进入语言、思维领域，人工智能学科也必须借用数学工具，数学不仅在标准逻辑、模糊数学等范围发挥作用，数学进入人工智能学科，它们将互相促进而更快地发展。

大数据、云计算、人工智能三者间的关系

物联网是互联网的应用拓展，与其说物联网是网络，不如说物联网是业务和应用。因此，应用创新是物联网发展的核心，以用户体验为核心的创新是物联网发展的灵魂。

云计算相当于人的大脑，是物联网的神经中枢。云计算是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。

大数据相当于人的大脑从小学到大学记忆和存储的海量知识，这些知识只有通过消化，吸收、再造才能创造出更大的价值。

人工智能打个比喻为一个人吸收了人类大量的知识（数据），不断的深度学习、进化成为一方高人。人工智能离不开大数据，更是基于云计算平台完成深度学习进化。

简单总结：通过物联网产生、收集海量的数据存储于云平台，再通过大数据分析，甚至更高形式的人工智能为人类的生产活动，生活所需提供更好的服务。这必将是第四次工业革命进化的方向。

云计算与大数据

从技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理,必须采用分布式计算架构。它的特色在于对海量数据的挖掘,但它必须依托云计算的分布式处理、分布式数据库、云存储和虚拟化技术。

人工智能与大数据

如果我们把人工智能看成一个嗷嗷待哺拥有无限潜力的婴儿，某一领域专业的海量的深度的数据就是喂养这个天才的奶粉。奶粉的数量决定了婴儿是否能长大，而奶粉的质量则决定了婴儿后续的智力发育水平。

与以前的众多数据分析技术相比，人工智能技术立足于神经网络，同时发展出多层神经网络，从而可以进行深度机器学习。与以外传统的算法相比，这一算法并无多余的假设前提（比如线性建模需要假设数据之间的线性关系），而是完全利用输入的数据自行模拟和构建相应的模型结构。这一算法特点决定了它是更为灵活的、且可以根据不同的训练数据而拥有自优化的能力。

但这一显著的优点带来的便是显著增加的运算量。在计算机运算能力取得突破以前，这样的算法几乎没有实际应用的价值。大概十几年前，我们尝试用神经网络运算一组并不海量的数据，整整等待三天都不一定会有结果。但今天的情况却大大不同了。高速并行运算、海量数据、更优化的算法共同促成了人工智能发展的突破。这一突破，如果我们在三十年以后回头来看，将会是不弱于互联网对人类产生深远影响的另一项技术，它所释放的力量将再次彻底改变我们的生活。

人工智能与云计算

人工智能是程序算法和大数据结合的产物。而云计算是程序的算法部分，物联网是收集大数据的根系的一部分。可以简单的认为：人工智能=云计算+大数据（一部分来自物联网）。随着物联网在生活中的铺开，它将成为大数据最大，最精准的来源。

现在已进入大数据、云计算、人工智能时代，我们必须弄清楚他们的本质，抓住机遇，跟上趋势，创新发展，才能高科技的发展大潮中立于不败之地。

云计算和大数据哪个发展前景好？

说实在话，二者之间都是未来的发展趋势，没有说那种好或者不好，根据你的兴趣，你未来的发展方向，来判断你想走那条路!

大数据相当于海量数据的“数据库”，而且通观大数据领域的发展也能看出，当前的大数据处理一直在向着近似于传统数据库体验的方向发展，Hadoop的产生使我们能够用普通机器建立稳定的处理TB级数据的集群，把传统而昂贵的并行计算等概念一下就拉到了我们的面前，但是其不适合数据分析人员使用(因为MapReduce开发复杂)，所以PigLatin和Hive出现了(分别是Yahoo!和facebook发起的项目，说到这补充一下，在大数据领域Google、facebook、twitter等前沿的互联网公司作出了很积极和强大的贡献)，为我们带来了类SQL的操作，到这里操作方式像SQL了，但是处理效率很慢，绝对和传统的数据库的处理效率有天壤之别，所以人们又在想怎样在大数据处理上不只是操作方式类SQL，而处理速度也能“类SQL”，Google为我们带来了Dremel/PowerDrill等技术，Cloudera(Hadoop商业化最强的公司，Hadoop之父cutting就在这里负责技术领导)的Impala也出现了。

整体来看，未来的趋势是，云计算作为计算资源的底层，支撑着上层的大数据处理，而大数据的发展趋势是，实时交互式的查询效率和分析能力，借用Google一篇技术论文中的话，“动一下鼠标就可以在秒级操作PB级别的数据”难道不让人兴奋吗?

在谈大数据的时候，首先谈到的就是大数据的4V特性，即类型复杂，海量，快速和价值。IBM原来谈大数据的时候谈3V，没有价值这个V。而实际我们来看4V更加恰当，价值才是大数据问题解决的最终目标，其它3V都是为价值目标服务。在有了4V的概念后，就很容易简化的来理解大数据的核心，即大数据的总体架构包括三层，数据存储，数据处理和数据分析。类型复杂和海量由数据存储层解决，快速和时效性要求由数据处理层解决，价值由数据分析层解决。

数据先要通过存储层存储下来，然后根据数据需求和目标来建立相应的数据模型和数据分析指标体系对数据进行分析产生价值。而中间的时效性又通过中间数据处理层提供的强大的并行计算和分布式计算能力来完成。三层相互配合，让大数据最终产生价值。

传统的BI分析通过大量的ETL数据抽取和集中化，形成一个完整的数据仓库，而基于大数据的BI分析，可能并没有一个集中化的数据仓库，或者将数据仓库本身也是分布式的了，BI分析的基本方法和思路并没有变化，但是落地到执行的数据存储和数据处理方法却发生了大变化。

谈了这么多，核心还是想说明大数据两大核心为云技术和BI，离开云技术大数据没有根基和落地可能，离开BI和价值，大数据又变化为舍本逐末，丢弃关键目标。简单总结就是大数据目标驱动是BI，大数据实施落地式云技术。