根据Packt的第三次Skill up年度调查，机器学习，大数据和云计算是2017年的三大技术趋势。

本次Packt Skill Up年度调查共采访了全球5000名开发人员和技术人员，收集了他们对最新技术工具和趋势的看法以及他们目前的工作和学习方式，这次调查相比于前两次更加深刻，要求受访者针对技术和职业发展等发表意见。Skill Up年度调查旨在让更多的程序员通过其他程序员的看法了解到即将到来的技术趋势和学习行为，从而在职业生涯中获得竞争优势。

2017

年最火的技术趋势是什么？

技术行业最火的趋势是什么？Packt 2016年年度调查中VR/AR、机器学习和物联网被称为三大趋势。但是在今年的调查中，机器学习、大数据和云计算强势入驻成为前三甲。

重要的事情说三遍，钱、钱、金钱

接下来，我们就来聊一聊大家最关心的事情，那就是在这一领域哪些技术人员可以赚到最多的钱，哪些人的收入最少。

收入前五名的行业：

CXO

大数据工程师

中层领导/经理

安全工程师

信息架构师

信息架构师是勉强进入第五名的，云工程师和DevOps工程师紧随其后，排在第六和第七名，并且薪资水平与行业平均水平保持基本同步。

收入最低的前五名：

程序爱好者

游戏开发者

网页开发者

技术支持

移动开发者

程序爱好者排在收入最低的首位，其实并不奇怪，因为他们当中很多人都处在非技术相关的工作岗位上。但有趣的是游戏开发人员和移动开发人员的薪资居然也在其列，这是否会影响到竞争激烈的市场呢？

技能成本

毫无疑问这对DevOps专家来说是一件好事，因为Hadoop和Chef是高薪工作所要具备的。

这对DevOps的专家好消息-

的Hadoop

和

厨师

都取得了它的土地收入最高的工作所需要的五大技巧。还有什么削减的？

Splunk

Hadoop

Kafka

Chef

SAS

哪些工具最受欢迎？

Python，Git和Visual Studio是今年最受开发者欢迎的前三甲工具，DevOps放弃了Visual Studio 而选择了Docker；云工程师选择了Python、Docker和AWS作为他们最喜欢的三个工具；信息架构师则是Python、Eclipse和Visual Studio的铁杆粉丝。

你应该学习什么技巧？

如果，你希望在未来能够在同类程序员中脱颖而出，那么你应该学习什么样的技巧呢？根据调查，Docker在未来一年内会获得技术支持，随后是Python和Angular。

对于DevOps和云工程师呢？DevOps工程师认为，Docker，Ansible和Kubernetes是明年必须学习的三大工具，云工程师几乎达成一致，要将Docker重点放在OpenStack上，而信息架构师则选择了Docker，Hadoop和React。

物联网，云计算，大数据是近两年科技、产业界的热门话题。分别什么意思？之间又有什么关系呢？很多人也非常感兴趣，经过学习了解，查阅资料，一点浅显认识和总结与朋友们分享。

物联网

简单理解：物物相连的互联网，即物联网。物联网在国际上又称为传感网，这是继计算机、互联网与移动通信网之后的又一次信息产业浪潮。世界上的万事万物，小到手表、钥匙，大到汽车、楼房，只要嵌入一个微型感应芯片，把它变得智能化，这个物体就可以“自动开口说话”。再借助无线网络技术，人们就可以和物体“对话”，物体和物体之间也能“交流”，这就是物联网。随着信息技术的发展，物联网行业应用版图不断增长。

现在的物联网产业以应用层、支撑层、感知层、平台层以及传输层这五个层次构成。

云计算

云计算是一种按使用量付费的模式，这种模式提供可用的、便捷的、按需的网络访问，进入可配置的计算资源共享池（资源包括网络、服务器、存储、应用软件、服务），这些资源能够快速提供，只需投入很少的管理工作，或与服务商进行很少的交互。

经典应用案例：苹果icloud

苹果icloud不仅是一个云端硬盘，它可让你轻松访问你所有苹果设备上的一切内容，并自动同步所有设备中的文件、图片、音乐、日程表、邮件、联系人目录，更贴心的是，在你修改文件后还能自动将修改同步到所有苹果设备并对旧文件备份。你可以选择免费的5G存储空间，也可以每年花费24.99美元购买iTunes Match服务，这样一来，你可以通过任何苹果设备收听存放在苹果云服务器中的音乐。

大数据

大数据相当于人的大脑从小学到大学记忆和存储的海量知识，这些知识只有通过消化，吸收、再造才能创造出更大的价值。

麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。

物联网和云计算的关系

云计算相当于人的大脑，是物联网的神经中枢。云计算是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。

大数据与云计算的关系

大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。

大数据、云计算和物联网的关系

物联网对应了互联网的感觉和运动神经系统。云计算是互联网的核心硬件层和核心软件层的集合，也是互联网中枢神经系统萌芽。大数据代表了互联网的信息层(数据海洋)，是互联网智慧和意识产生的基础。包括物联网，传统互联网，移动互联网在源源不断的向互联网大数据层汇聚数据和接受数据。云计算与物联网则推动了大数据的发展。

随着科学技术的迅速发展，人类开始进入大数据时代，云计算、大数据、移动互联网已成为时代三大主题，正在推动着新经济时代的发展。在科学领域、经济领域及社会生活的方方面面，呈现出海量数据特征，在海量数据中蕴含着人类各种行为、心理信息。

对此有网友表示称，常说的"大数据"和"云计算"应该当成动词。即"大数据"指大数据分析或大数据处理。"大数据"对应"小数据算法"，"云计算"对应"单个计算机的计算"。比如"1+1等于几"这个问题，我们可以通过小数据算法（口算），用单个计算机的计算（甚至计算器）完成计算。再想象一个复杂的问题，需要跨时间、跨空间计算的问题，比如"去年中国各行各业的生产总值，加上美国今年各行各业的生产总值是多少？"这个问题我们就需要通过大数据的分析或处理方法，用云计算完成。

进一步说，要通过分析或处理各地各时段存储的各种数据资源，用互联网上（云）大量的计算机进行计算（计算）得出结果。这就是大数据、云计算。你可以通俗的理解为：大数据（分析或处理）是前台，云计算是后台。

或者理解为：大数据（分析或处理）是软件方法，云计算是硬件设备资源。或者可以再直观的理解为：大数据就是人直接操作的界面（网页、软件或App），云计算就是这些网站、软件或App供应商提供的服务。

云计算和大数据哪个发展前景好？

说实在话，二者之间都是未来的发展趋势，没有说那种好或者不好，根据你的兴趣，你未来的发展方向，来判断你想走那条路!

大数据相当于海量数据的“数据库”，而且通观大数据领域的发展也能看出，当前的大数据处理一直在向着近似于传统数据库体验的方向发展，Hadoop的产生使我们能够用普通机器建立稳定的处理TB级数据的集群，把传统而昂贵的并行计算等概念一下就拉到了我们的面前，但是其不适合数据分析人员使用(因为MapReduce开发复杂)，所以PigLatin和Hive出现了(分别是Yahoo!和facebook发起的项目，说到这补充一下，在大数据领域Google、facebook、twitter等前沿的互联网公司作出了很积极和强大的贡献)，为我们带来了类SQL的操作，到这里操作方式像SQL了，但是处理效率很慢，绝对和传统的数据库的处理效率有天壤之别，所以人们又在想怎样在大数据处理上不只是操作方式类SQL，而处理速度也能“类SQL”，Google为我们带来了Dremel/PowerDrill等技术，Cloudera(Hadoop商业化最强的公司，Hadoop之父cutting就在这里负责技术领导)的Impala也出现了。

整体来看，未来的趋势是，云计算作为计算资源的底层，支撑着上层的大数据处理，而大数据的发展趋势是，实时交互式的查询效率和分析能力，借用Google一篇技术论文中的话，“动一下鼠标就可以在秒级操作PB级别的数据”难道不让人兴奋吗?

在谈大数据的时候，首先谈到的就是大数据的4V特性，即类型复杂，海量，快速和价值。IBM原来谈大数据的时候谈3V，没有价值这个V。而实际我们来看4V更加恰当，价值才是大数据问题解决的最终目标，其它3V都是为价值目标服务。在有了4V的概念后，就很容易简化的来理解大数据的核心，即大数据的总体架构包括三层，数据存储，数据处理和数据分析。类型复杂和海量由数据存储层解决，快速和时效性要求由数据处理层解决，价值由数据分析层解决。

数据先要通过存储层存储下来，然后根据数据需求和目标来建立相应的数据模型和数据分析指标体系对数据进行分析产生价值。而中间的时效性又通过中间数据处理层提供的强大的并行计算和分布式计算能力来完成。三层相互配合，让大数据最终产生价值。

传统的BI分析通过大量的ETL数据抽取和集中化，形成一个完整的数据仓库，而基于大数据的BI分析，可能并没有一个集中化的数据仓库，或者将数据仓库本身也是分布式的了，BI分析的基本方法和思路并没有变化，但是落地到执行的数据存储和数据处理方法却发生了大变化。

谈了这么多，核心还是想说明大数据两大核心为云技术和BI，离开云技术大数据没有根基和落地可能，离开BI和价值，大数据又变化为舍本逐末，丢弃关键目标。简单总结就是大数据目标驱动是BI，大数据实施落地式云技术。

云计算的核心思想，是将大量用网络连接的计算资源统一管理和调度，构成一个计算资源池向用户按需服务。云计算的基本原理是，通过使计算分布在大量的分布式计算机上，而非木地计算机或远程服务器中完成目标任务。企业数据中心的运行将更与互联网相似。这使得企业能够将资源切换到需要的应用上，根据需求访问计算机和存储系统。

对此有网友表示称，那大数据好不好学呢？其实所谓大数据，就是由很多小数据汇聚而成的，我们本身就是一个数据，比如我们的通讯信息、我们的路线信息、我们浏览网页的信息等等，都是一个个活生生的数据，而正是这一个个精确的数据组成了我们口中的大数据。什么叫做大数据？说白了就是一台机器干不完，大家一起干。可是随着数据量越来越大，很多不大的公司都需要处理相当多的数据，这些小公司没有这么多机器可怎么办呢？

说到这里，大家想起云计算了吧。当想要干这些活时，需要很多的机器一块做，真的是想什么时候要就什么时候要，想要多少就要多少。大数据和云计算其实并不难学，一般4到5个月的培训就能找工作了。

只需自己想学，感兴趣的话，不管什么根底都能够学，仅仅要比他人更努力的去学了。柠檬学院大数据，注册就能学习大数据了，一起还有大数据的根底课程java，linux，mysql等。好多机构，也是有各种活动的啊。肯定要必定的根底，仍是挺轻松的，去大讲台看看，推出在线运用科学混合式自适应学习体系安排线上教育，运用大数据可视化的在线实训体系安排实战练习。

当下的互联网领域，云计算、大数据、人工智能成为最热词汇。互联网da咖阿里云“为了无法估算的价值”将中国的计算触角伸向海外，百度首次向外界展示“百度大脑”的科技成果。移动互联网利用人口红利带来的增长已经逐渐见顶，互联网正在进入“下一幕”智能时代，科多大数据带大家来看看，云计算、大数据、人工智能将怎么使全社会迎来变革性的发展。

无论是计算机行业，还是汽车领域，技术形态的成熟是一个必然的要素。如果某个所谓的时代在技术上、硬件上没有达到产业的要求，数据库和平台都是非完整和非稳定的，时代的产业基础也就十分薄弱。从产业的政策角度分析，当技术累积到一定层次，产业政策的出台是必然的。为了激活云计算的发展，国务院在2015年就出台了《关于促进云计算创新发展培育信息产业新业态的意见》、《云计算白皮书2016》等，这些政策的出现并非偶然，在其背后有很多云计算服务商多年默默的技术耕耘。

技术和政策的形态达到一定的地步，真正的产业化和市场化是否也已经达到？

等待入局者必须考虑几个重要因素：

一、目的是什么(为了降低成本、提高效率，还是在渠道上更接近用户);

二、企业是否愿意使用(产品同质化严重，如何体现差异化);

三、是否有助于提高社会福利(消费者福利、管理效率)。

如果这些问题得到肯定的答案，云计算与时代的发展需求相契合，真正的时代大门就会开启。

大数据本身除了要有数据、采集、汇聚一定量的数据之外，更重要的是数据的处理、挖掘、分析、可视化、应用这样一整套的过程。

关于大数据的话题，基本围绕三个问题展开：

一是数据从哪里来；

二是数据如何进行分析；

三是数据如何进行商品化。

任何大数据都是以应用为主的，在未来，通过多维度、多复合的大数据的精准挖掘，最终提供出优质的商务解决方案才是最关键的。

数据的三个来源分别是政府、企业行业和个人消费。

政府数据做了授权，但由于法律和其他方面的不健全，政府数据被滥用。消费者数据来源于电信、金融或类似BAT大企业，流量入口处的数据将被自动抓取，数据提供商可以提供所有维度的数据，但每一个都是局部。数据优化商在大数据产业链里要想长久发展，必须精通大数据的模型、算法以及数据特征，同时对行业及生态要有明显的敏感性。而算法提供商如果仅仅依赖单纯算法，未来将成为成长软肋。应用提供商最贴近客户、最熟悉客户需求，同时做的是最后的数据整合，在产业链上可能发展空间更大。

中国具有高达7.22亿的大规模网民群体，目前国内仅有3万个机柜，对比美国的3亿群体2.4万个机柜可以看出，中国的数据市场规模还远未达到平衡点，未来将保持高速增长的态势。另一个方面，由于企业客户运营模式的改革，企业的云化增加了对大数据及专业数据中心的需求。

未来云计算产业和大数据产业将呈现规模化发展趋势，市场红利可观，创新、服务、合作、技术将推动互联网科技企业走得更高、更远。大数据时代已经到来，想要快速掌握这门高薪前景的技术该如何学习呢？

Linux基础和分布式集群技术

学完此阶段可掌握的核心能力：熟练使用Linux，熟练安装Linux上的软件，了解熟悉负载均衡、高可靠等集群相关概念，搭建互联网高并发、高可靠的服务架构；学完此阶段可解决的现实问题：搭建负载均衡、高可靠的服务器集群，可以增大网站的并发访问量，保证服务不间断地对外服务；学完此阶段可拥有的市场价值：具备初级程序员必要具备的Linux服务器运维能力。

学习大数据处理需要的语言：

javaMR语言这种语言产生很早了，大家也或多或少的接触过，但是在大数据中使用已经有的原型进行构建庞大系统，是一种基本的选择。

Scala语言以java为基础的语言，和java很像，对任何想要进行大规模的机械学习或是建立高阶的算法，Scala是逐渐兴起的工具，善于呈现且拥有建立可靠系统的能力。

Hadoop在以java为基础的大数据处理当中，Hadoop为作一批数据处理，发展以java为基础的架构关键。相对于其他处理工具而言，Hadoop慢许多，但是无比的准确可被后端数据库分析广泛使用。

Kafka andStorm它是一个特别快速的查询信息系统，但是因为太快了在实施操作时会犯错，有时候会漏掉东西。

Pythom语言Python拥有R语言处理复杂数据的能力及更务实的语言特质，更简单和直观，在近几年的成长很快。在数据处理范畴内，通常在规模与复杂之间要有个选择，Python无疑当选。

学习一门课程，掌握好的学习方法至关重要，大数据云计算发展趋势非常好，现在学习好这门技术，未来的就业和选择会更多。

云计算好学么？其实，小马过河的故事大家都读过，这云计算好不好学，还得看自身。有人说了，你这不是废话么？还真不是。其实我们不妨看看云计算到底是个什么东西。如今，云计算频繁出现在我们的视野，他是一种经由网络统一组织和灵活应用各种信息，通信，技术资源，来实现大规模计算的信息处理方式。

云是网络、互联网的一种比喻说法。过去在往往用云来表示电信网，后来也用来表示互联网和底层基础设施的抽象。狭义云计算指IT基础设施的交付和使用模式，指经由网络以按需、易扩展的方式获得所需资源；广义云计算指服务的交付和使用模式，指经由网络以按需、易扩展的方式获得所需服务。这种服务可以是IT和软件、互联网相关，也可是其他服务。它意味着计算能力也可作为一种商品经由互联网进行流通。

经由使计算分布在大量的分布式计算机上，而非本地计算机或远程服务器中，企业数据中心的运行将与互联网更相似。这使得企业能够将资源切换到需要的应用上，根据需求访问计算机和存储系统。好比是从古老的单台发电机模式转向了电厂集中供电的模式。它意味着计算能力也可以作为一种商品进行流通，就像煤气、水电一样，取用方便，费用低廉。不同在于，它是经由互联网进行传输的。辨析云计算常与网格计算、效用计算、自主计算相混淆。

还是没有明白？没关系，打个比方，如果我们想在办公室或者公司的网站上运行一些企业应用，传统的方式是去租用一些服务器，存储设备，在上面部署操作系统，最后在上面部署应用，这种方式就是好像吃烧烤的时候，自己准备烤炉，木炭，酱料串好食材，动手烧烤，这样比较费力。

实际上，我们在吃烧烤时，一般经由以下途径，第一种方法是串好串串去野营地租用烧烤炉子自己烤，这就像IAAS服务一样，直接使用商家提供的基础设施。第二种方法是到自助烧烤店里面，商家为你准备好烤炉和烤串，只需要你动手自己烤，这就好像PAAS服务一样，利用商家的平台。第三种方法是坐在餐馆点菜，这就好像SAAS服务一样，直接使用云服务商提供全套服务。这就是常见的云计算模式。

云计算是什么？云计算与大数据要学啥？云计算的虚拟空间无限大，物联网和互联网产生的大量数据，要找一个地方集中存储和处理，就要用云来存储。比如我们平时手机或电脑存储空间不够的情况下，会把一些图片及视频存在云盘，云端。

云计算，简单说就是把你自己电脑里的或者公司服务器上的硬盘、CPU都放到网上，统一动态调用，现在最有名的云计算服务商是亚马逊的AWS。以前你要玩最新的大型3D游戏或者做了个大型3D动画需要渲染，首先想到的都是重新买一台更高配置电脑或者换个显卡等；

有了云计算之后，你只需要一台显示器，连到服务商的云计算平台上，如果想玩两天新游戏，就单独购买这两天的高配CPU和显卡，只付两天的钱，玩腻了就恢复成普通的配置；如果你今晚要做大量渲染，就买今晚几个小时的高配，第二天早上拿到成片，就可以恢复原来的配置。所有这些计算和渲染工作都在云计算服务商的数据中心统一完成，你只需要按小时甚至按分钟计费，不用再自己买电脑和服务器了。做云计算的服务商都会自建数据中心。

大数据，简单说，就是把所有的数据放到一起分析，找到关联，实现预测。这里的所有数据对应的是之前的抽样调研取得的部分数据。比如传统的市场调研方法，就是去大街上或者网上发问卷，能得到成百上千份结果就很不错了，或者邀请几个典型用户到会议室访谈一下；大数据的做法是把收集所有人的数据进行分析，把每个人都当做独立个体进行分析，而不是找群体特征。大数据的结果就是更精准，更细致，更个性化。

再比如我们经常会看一些现代谍战片，侦察部如何找到罪犯？就是通过全城监控录像，在海量数据中搜索一个人的面孔，犯罪分子只要出现在监控中都会保留一条数据及位置，从而更好地实施下一步方案，大大提高破案效率。这也是企业为什么在极力追捧云计算大数据技术。再比如京东、淘宝、今日头条、新浪、百度、网易、等购物网站，就是采用这种技术。今天看过或搜过的，下次再打开就会主动推送什么类型的文章。

简单的说大数据就是超级存储的意思，海量数据上传到云平台后，大数据就会对数据进行深入分析和挖掘。在在各行各业均存在大数据。比如天气预报，气象中心会通过卫星发送回气象局无数条关于空气温度、湿度、密度、空气微粒等的数据，运用大数据技术，从而分析判断出这些数据。得出天气状况、空气质量、温度及风量。再比如将几千辆车的数据位置信息综合起来分析出某条路的拥堵状况。大数据必须有云作为它的基础架构，才可以推广并体现出强大的实用价值。云计算和大数据是相辅相成的。