在互联网行业，程序员一直是很受关注的人群。特别对准备步入社会的大学生们来说，从事哪方面的职业是一个很重要的问题，而程序员就是一个比较热门的选择。我们根据2017年中国程序员调查的数据，介绍一下程序员的编程语言、薪酬范围等信息，让大家对程序员有个准确的认知，也方便以后的选择。

通过对北京、广东、浙江、上海等全国28个省的优秀开发者的调查信息，对程序员的年龄组成、性别比例、擅长的计算机语言、工作时间以及薪资等进行了统计和分析。

(一)程序员地理分布

从调查结果来看，有一半以上的程序员来自于北京(23.55%)、广东(16.53%)、浙江(12.81%)和上海(12.40%)。北上广作为中国经济和科技最为发达的地区，是程序员的主要聚集地。浙江杭州地区也吸引了一大批创业者，为程序员的就业和发展提供了优质条件。

(二)程序员年龄组成

结果显示，绝大部分程序员年龄都不到35岁。超过一半的程序员年龄在23-30岁之间。当然程序员中间的“天才少年”的比例也不低。

(三)程序员性别比例

一直以来，程序员这一群体主要是男性为主。在本次调查中发现，程序员群体中男女比例超过了12:1。如此“畸形”的性别组成，也解释了为什么很多程序员自嘲“单身狗”的原因。男程序员单身比例(52.46%)略高于女程序员，但女程序员的单身比例也达到了46.90%。

(四)程序员擅长语言

图表显示，在程序员群体中，最擅长的编程语言为Java (43.03%)、HTML5(32.38%)、PHP(25.41%)。另外C语言(15.98%)、Python(15.57%)、Objective-c(12.70%)、C++(11.89%)和Node.js(11.07%)等也是使用较多的计算机语言。

从图表中可以看出，hadoop的使用人群还是非常少的(spark就更别提了，都没出现)，这也是大数据人才缺口大的最直接体现!

(五)程序员薪资状况

普遍认为，程序员是一份高薪的职业。从调查结果来看，工作3年内，1/5的程序员群体年收入在6万以下。1/5的程序员在3年内年薪就达到了20-30万的水平。大多数程序员年收入在10-20万之间，相比于其它一些行业，月薪过万已经是高收入水平。

在工作3-5年后，90%以上的程序员达到了月薪1万+的水平，只有大约10%的群体年收入低于10万。超过1/6的群体甚至年薪达到了30-50万的水平。

在工作5-10年后，只有2.7%的程序员年收入低于6万。年收入在15-20万的程序员占21.62%，1/3的程序员年收入在20-30万之间，超过1/5的程序员年收入在30-50万之间。年收入在50-70万的程序员占5.41%。

当然，上面说的都是平均值，越热门的职业最少要提高30%-50%。就拿近两年热门的大数据行业来说，因为这方面人才需求突然增加，不但薪酬猛增，应聘难度也随之降低，可见选对一门编程语言对程序员是多么重要了!

国内一线城市依然是程序员的主要聚集体，一些经济发达，科技公司密集的二线城市也聚集了大量的程序员。在计算机语言方面，懂得使用Java 、HTML5和PHP等编程语言的程序员最多。如果一名程序员能够坚持工作3年，特别是对于刚毕业不久的大学生，其收入水平会有明显的提高。

随着人们的生活和行为不断融入互联网，互联网金融犹如一头突然闯入的猛兽，不断冲击着传统银行的地盘。大数据的出现，给了银行们反击的机遇，借助庞大的金融大数据，银行可以实现精准决策和快速反应。大数据分析在金融行业的广泛应用，已经是不可阻挡的时代趋势，极星大数据分析平台，顺应趋势，为金融机构提供量身定制的大数据分析软件，帮助金融机构应对未来挑战。

现如今，互联网已经让社会生活发生根本改变，微博和微信成为了人们沟通交流的主要方式，电商、微商记录着人们的购物行为与习惯，招聘网站记录着人们的求职数据，滴滴、摩拜记录着人们的出行数据……人们的生活、工作、消费、活动的习惯与行为特点在被不断记录，由此产生的海量数据，对各行业来说，是个亟待被挖掘和使用的数据金矿，这在银行等金融机构的业务中尤为凸显。

长期以来，获取新客户、风险控制、留住客户、触发客户消费是金融行业的几大痛点，而金融大数据分析，有效克服了目前金融机构数据来源单一、覆盖率不足、数据挖掘程度不深等问题。

大数据在金融行业的具体运用

金融行业犹如国民经济的血脉，渗入市场的各个环节，与宏观经济和微观经济生活都密切相关，而中国拥有14亿的庞大人口，社会生活多元化，需求多元化。在此复杂多变的背景下，金融机构要想实现正确的商业判断，难度很大，但借助金融大数据分析软件，可以实现更全面更精准的决策。例如，在个人信用风险控制方面，金融机构除了可以从人民银行征信中心调取数据外，还可以利用网络、电商等不同来源的“大数据”，来解决个人客户信用评价的全面性与客观性不足的问题。

目前，金融行业越来越重视大数据的应用，但面临一些疑惑：分析处理什么数据？数据怎么分析处理？数据用在哪些产品或活动中？基于大数据做出的分析判断如何落地推动业务发展？

从现状来看，大数据目前最主要应用在于帮助金融机构实现“精准营销”、“客户价值管理”和“风险控制”。

首先，实现精准营销。传统上，营销无外乎是寻找目标客群、细分目标客群、触达客群个体。但采用利用大数据机器学习的分析手法，金融机构可以判断他们的习惯偏好以及短期需求，形成画像描述，从而找到精准的目标客群。在第三方大数据支持下，金融机构可以在互联网使用者中发掘需求。一般在3-5次业务数据循环后，营销的效果会达到最优。比如，某银行的现金贷款营销中，经过5次大数据优化，客户响应率、响应客户的资质合格率均有大幅度提升。

其次，高效的客户价值管理。目前，尽管大型金融机构沉淀了大量客户及客户信息，但从大数据角度看，由于对客户信息缺乏挖掘、分析，导致对存量客户的了解不能加深，金融机构在进行客户管理时的效率提升会遇到困难。

以客户激活为例，某行有4亿的存量客户，其中30%以上客户为静止客户，但在这1亿多静止客户中，银行对哪些是高净值客户，哪些需要加大力度挽留一直不得而知。如果对所有的静止客户进行激活，则成本会相对较高。

但借助大数据进行客户聚类和客户行为分析，为金融机构的客户激活、客户管理和产品设计提供更精准的依据，帮助金融机构整体提升存量客户的价值，或交叉销售更多的产品，或激活能够带来价值的客户。

最后，加强风险控制。通过客户标签的匹配，对客户进行行为分析，把客户进行聚类，标示客户的风险级别，这样金融机构在客户贷款时，就确立了精准的风险控制，进而减少了违约风险。

大数据在金融行业的未来趋势展望

不可否认互联网极大地丰富了人们行为数据的数量与种类，催生了大数据行业。国务院2015年8月下发了《促进大数据发展行动纲要》，明确表示：信息技术与经济社会的交汇融合引发了数据迅猛增长，数据已成为国家基础性战略资源，大数据正日益对全球生产、流通、分配、消费活动以及经济运行机制、社会生活方式和国家治理能力产生重要影响。

展望未来，随着社交网络化、虚拟化，以及移动互联趋势的形成，互联网交易、互联网金融业务增长必将为金融行业带来深远的影响。我们认为，时代呼唤有金融、征信、互联网和大数据基因的企业出现。可以预见，金融交易与大数据将是一个不断融合的过程，最终将形成大数据与金融相结合的大数据金融模式。在此过程中，极星大数据分析平台，将与金融机构一道，开创金融大数据的广阔未来。

极星大数据分析平台，由深圳康拓普公司开发，是一款专为大型企业及专业机构海量数据，打造的大数据一体化解决方案。极星大数据分析平台能提供强大的海量数据的处理功能，如：数据采集、数据存储、数据处理、数据挖掘、数据分析、数据可视化、数据专业算法等，广泛适用于金融、电力、制造业、石化、燃气、交通等各行各业。

原文链接：http://szcomtop/fastar/news/20170301/news164355.html

高考试卷已经结束，大多数考生将面临与高考同等重要的问题：填报志愿。今年，一个被认可的新专业吸引了许多人的注意——数据科学和大数据技术。“大数据”的概念再次流行起来。学生和家长在填写志愿者时应该冷静下来。

当前的大数据产业真的是人才稀缺吗？

几年后，大数据产业会出现产能过剩吗？

大数据产业需要什么样的人才？

“热门专业”的重点是什么？

接下来的大量数据将显示分析结果。

当前的大数据产业真的是人才稀缺吗？

对的!未来人才缺口为150万，数据分析人才匮乏。

大数据和人才之间的差距有多大？

据2017中国互联网最热门的人才报告，大数据交流学习群：72268o25o不定期分享学习资料，有兴趣的朋友欢迎加入，LinkedIn，研发，研发工程师、产品经理、人力资源、市场营销、运行和数据分析是六个最苛刻的中国互联网行业的人才。

其中，数据分析人才最稀缺，供给指数最低。同时，跳人才的速度在数据分析上也是最快的，平均跳速是19.8个月。

吴永薇，在清华大学计算机系的一名教授，透露的一组数据。去年，在未来3-5年内，中国需要180万个数据的人才，但只有约30万的人。

未来大数据产业会出现产能过剩吗？

提供大数据技术和应用服务的第三方公司正面临着调整，未来的发展将是重点。

讨论大数据的概念是过度投机”，在2013达沃斯的夏天。与此同时，支持“炒作”观点的观众达到了54.5%。在这方面，光华管理学院副教授Su Meng以三个理由反对北京大学。

在不同的机构之间仍然没有真正的数据流，而数据只是一个“孤岛”。

一个完整的生态产业链尚未形成。尽管行为数据分析已经能够区分消费者的偏好，但从供应到购买的链条尚未建成。

数据分析人才还很匮乏。

4年后，舆论热点逐渐从大数据转向人工智能，大数据产业也得到了整合。在过去的一年里，一些大数据公司被裁员，他们的业务也被调整了。有些公司一直亏损。公司面临的危机是什么？

基于数据属性，涉及大数据的公司有两类：一类是拥有数据的公司，如Amazon和阿里巴巴，另一类是集成数据资源的第三方公司，提供大数据技术和应用服务。目前，大多数行业整合中存在利润问题的公司都集中在第三方服务提供商中。

在这方面，LinkedIn，王迪，技术副总裁说，在中国，第三方供应商提供更多的技术或平台。

王迪认为，大型数据服务必须产生规模经济，至少有三点：算法、计算平台和数据本身。第三大数据初创公司的算法和计算能力实际上是在一个特定的线统一水平，如果传统企业，大数据初创公司没有区别，甚至更多的计算能力，数据采集，在许多传统行业的数据是不共享的，得到这个数据第三大数据公司更难，谁有最后的数据。谁有更高的价值，“它是白色的，而数据是金的。”。

2017，有10多家大型数据企业进行一次性融资，已有30多家企业获得了1000万以上的横向融资。互联网资本寒冬，大数据产业的投资热度有所下降。大数据产业是否存在产能过剩？

王迪认为，当前行业整合是一种常态现象。市场优胜劣汰后，第三方服务领域将出现一些优秀的企业。其他公司可能会被淘汰或转变成若干垂直产业。从社会的角度来看，总需求一定会增加。对于供应方来说，在行业自然洗牌之后，它最终将集中在几家优秀的行业公司。

随着大数据技术的飞速发展，大数据已经融入到各行各业。2017年中国的大数据行业发展趋势是什么？大数据行业整体市场规模如何?大数据行业前景如何?请看大讲台老师的分析。

（一）大数据行业整体市场规模及预测

整体来看，2017 年中国大数据行业的发展依然呈稳步上升趋势，市场规模达到了 234 亿元，和去年相比增速超过 39%。随着政策的支持和资本的加入，未来几年中国大数据规模还将继续增长，但增速可能会趋于平稳。

（二）大数据在各行业应用状况

（1）企业哪些方面需要大数据?

根据大数据分析结果，将近一半的企业将大数据运用在企业工商信息管理方面，此外，在社会保障、劳动就业、市政管理、教育科研方面分别占据33.9%，32.7%，29.4%，29%。整体来看，大数据的应用范围广泛。

（2）多少企业应用到了大数据?

大数据分析对企业的发展越来越重要，35.1%以上的企业已经开始在企业内部应用到了大数据;34.2%的企业正在考虑应用大数据，22.9%的企业在未来1年有应用大数据的计划，仅仅有7.8%的企业暂不考虑应用大数据。

（3）这些企业如何使用大数据?

根据数据显示，38.8%的企业使用实时动态处理大数据并提供分析结果;37.5% 的企业分析历史数据;通过机器学习，辅助企业管理者更好地决策的企业占比为22.5% 。

（三）各行业大数据的发展水平如何?

我国行业大数据总体发展水平较好，在各行业都有应用。其中，金融大数据、政务大数据的应用水平高，同时交通、电信、商贸、医疗、教育、旅游等行业大数据的发展水平也有显着提升。

（四）大数据助力企业发展

（1）企业在哪些领域会应用大数据?

大数据应用广泛的top3领域是营销分析、客户分析和内部运营管理。其中，营销分析占比6成以上;50.2%的企业使用大数据进行客户分析;48.4% 的企业运用大数据进行内部运营管理。 大数据应用对企业的影响

（2）这么多企业应用大数据，大数据将会为这些企业带来什么收益呢?

55.8%的企业表示应用大数据后实现了更智能的决策;应用大数据提升了运营效率的企业占比为48.2%，这两个影响较为显着。应用大数据更好的管理风险，创造新的业务收入，增强生产能力的企业也占有一定比重。

从上述数据中，我们可以看出，大数据在各行各业的应用还将继续加强。

本文转自光环国际

　大数据的两种常用定义：

　　研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。

　　麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。

总之大数据特点就是大数据的量大，变化速度快。也就是说，行业内的权威定义都是从大数据本身的特点进行界定，而没有涉及到它的应用和价值。随之数据行业的迅速发展，大数据融入了各行各业，现在，我们更多的是谈到大数据对我们生活的影响。

　大数据的4V特点：

　　Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）。

　　大数据包含哪些内容？

　　大数据是一个庞大的体系，其中大致包括以下几方面：

　　1.数据存储阶段（用户信息，行为信息存储进硬盘）。

　　2.数据挖掘 清洗 筛选（根据产品需求筛选出符合企业用于盈利需求的数据）

　　3.数据分析（通过数学分析，商业分析，将挖掘出来的数据进行产品匹配盈利分析）

　　4.产品调整（根据分析进行产品的上下架，迭代开发，达到产品迎合更多用户的选择或者销售出更多的产品。）

　　5.产品下一步的规划（譬如新开一个产品线，可以根据数据来进行分析。）

还有大家最熟悉的莫非就是上淘宝的时候，我们会看有多少评价，好评有多少？差评有多少？这家店的好评率是多少？这些都是大数据的应用。

其实大数据就是数据分析的升级！举个简单 的例子一个小卖铺，每天卖包子、豆浆、油条……当你有1000家小卖铺的时候，我们把所有的客户购买数据收集起来，你就可以把所有的这些小卖铺的售出信息做一个汇总分析，你可能会发现买包子的人大多数会买豆浆，那你就会把这两个东西放在一起，增加出货量。大数据的价值就这么体现出来了，所以说，大数据、云计算、物联网等都是不错的方向，前景很不错。

关注佳源信息，关注更多资讯。

【版权与免责声明】如发现内容存在版权问题，烦请提供相关信息发邮件至jy@jiayuaninfo，我们将及时沟通与处理。

大数据时代的到来，简单的说是海量数据同完美计算能力结合的结果。确切的说是移动互联网、物联网产生了海量的数据，大数据计算技术完美地解决了海量数据的收集、存储、计算、分析的问题。大数据时代开启人类社会利用数据价值的另一个时代。

分享之前推荐一个大数据学习交流，未来将是大数据时代，需要学习大数据的抓紧时间学习，群内不定期分享视频资料，欢迎加入关注作者其他文章，可以找到大数据学习群

大数据行业发展现状

1、一些数据的记录是以模拟形式存在，或者以数据形式存在，但是存贮在本地，不是公开数据资源，没有开放给互联网用户，例如音乐、照片、视频、监控录像等影音资料。现在这些数据不但数据量巨大，并且共享到了互联网上，面对所有互联网用户，其数量之大是前所未有。

2、移动互联网出现后，移动设备的很多传感器收集了大量的用户点击行为数据，已知IPHONE有3个传感器，三星有6个传感器。它们每天产生了大量的点击数据，这些数据被某些公司所有拥有，形成用户大量行为数据。

3、电子地图如高德、百度、Google地图出现后，其产生了大量的数据流数据，这些数据不同于传统数据，传统数据代表一个属性或一个度量值，但是这些地图产生的流数据代表着一种行为、一种习惯，这些流数据经频率分析后会产生巨大的商业价值。基于地图产生的数据流是一种新型的数据类型，在过去是不存在的。

4、进入了社交网络的年代后，互联网行为主要由用户参与创造，大量的互联网用户创造出海量的社交行为数据，这些数据是过去未曾出现的。其揭示了人们行为特点和生活习惯。

5、电商户崛起产来了大量网上交易数据，包含支付数据，查询行为，物流运输、购买喜好，点击顺序，评价行为等，其是信息流和资金流数据。

6、传统的互联网入口转向搜索引擎之后，用户的搜索行为和提问行为聚集了海量数据。单位存储价格的下降也为存储这些数据提供了经济上的可能。

我们所指的大数据不同与过去传统的数据，其产生方式、存储载体、访问方式、表现形式、来源特点等都同传统数据不同。大数据更接近于某个群体行为数据，它是全面的数据、准确的数据、有价值的数据。

中国的大数据之路任重而道远

中国目前的大数据应用环境和技术相对于美国而言，在整体技术水平、应用环境、国民意识、商业环境、技术厂商、技术平台上面相差超过5年左右。在大数据应用的国家战略层面落后的也较多。

2012年3月，美国奥巴马政府宣布推出“大数据的研究和发展计划”。该计划涉及美国国家科学基金、美国国家卫生研究院、美国能源部、美国国防部、美国国防部高级研究计划局、美国地质勘探局等6个联邦政府部门，承诺将投资两亿多美元，大力推动和改善与大数据相关的收集、组织和分析工具及技术，以推进从大量的、复杂的数据集合中获取知识和洞见的能力。美国奥巴马政府宣布投资大数据领域，是大数据从商业行为上升到国家战略的分水岭，表明大数据正式提升到战略层面，大数据在经济社会各个层面、各个领域都开始受到重视。

2014年从“两会”的提案、议案看，很多人建议将大数据业务上升为国家战略，互联网领军人物李彦宏在政协记者会上表示，政府应该把更多和人民生活有关的数据资料，公开地放到网络上；雷军则直接建议将大数据纳入国家战略，推动大数据切实地被用起来；科大讯飞刘庆峰建议国家建设声纹数据库进行大数据反恐。张近东、马化腾、杨元庆的提案也与数据应用有着紧密联系。但是在中国大数据国家战略和大数据产业发展发面还没有一个清晰的蓝图。

最后总结一下，大数据时代将会给人类社会带来巨大变化。它是一个好的工具，就像计算机一样，帮助人们提升社会生产效率，了解事物真相，认识客观规律，同时加快进入智慧社会。

以上种种，无不揭示着大数据未来发展的大好前景！时不我待，抓住机遇！

　　大数据分析师前景如何？发展趋势又是怎样的呢？谈及这个问题，我想先从大数据行业背景以及发展趋势着手，从根本上解除质疑者的忧虑。

　　大数据与大数据分析

　　数据分析是用包括检查、清洗、转换和建模等方法对数据进行处理。其目的是探索有用的信息、给出有建设性的意见，从而辅助压制决策。数据分析包含很多方面和方法，涉及的领域也遍布经济、科学、社会福利等行业。

　　数据挖掘是一个特别的数据分析技术，与传统的以纯描述为目的的技术相比，它专注于预测模型和对潜在知识的挖掘。所有的这些都是数据分析。数据分析虽然没有数据科学那样先进，可以创造新的数据结构，但是他们的目的都是一样的---探索数据可以用来怎样回答问题和解决问题。

　　大数据1.0到大数据2.0的发展

　　由维克托.迈尔舍恩伯格编写的《大数据时代》里指出大数据是指采用所有的数据进行分析，而不是抽样调查。大数据有4V特点：volume(大量)、velocity（高速）、variety（多样）、value（价值）。大数据1.0时代的特征是解决数据效率问题，大数据时代4个V中的前3个V都被有效的诠释了。但是最后一个V没有表现其作用。

　　大数据1.0时代逐一的解决了速度、容量等问题。在1.0时代积累的大数据将会在2.0时代得到其在价值上面的发挥。

　　从2015年起，大数据进入2.0时代。大数据2.0时代要求以数据本身的价值为目标，从企业本身业务需求产生的大量数据中通过深入挖掘，分析得出数据本身的价值。1.0时代留在数据认知上面，2.0则要求如何通过这些数据去解决问题。

　　大数据分析国际背景

　　在全球500强企业中，90%以上的重要投资与经营决策都取决于充分的数据分析支持。在欧盟、美国、日本等发达地区，数据分析普遍被作为运营决策的前提要素，为社会经济的高速发展做出重大贡献。可以说，数据分析技术是一把让企业通向成功之门的金钥匙。

　　大数据分析师前景如何？

　　从2003年年底信息产业部电子行业职业技能鉴定指导中心（现为“工信部教育与考试中心”）正式设立“数据分析师”培训项目，并制定出数据分析师培训、考试及管理办法。到2017年，中国的数据分析行业已经走过了11个年头。这期间中国的数据分析师、数据分析师事务所、行业协会（中国商业联合会数据分析专业委员会）从无到有，发展越来越快，业务领域也是从最初的投资数据分析转向经营数据分析。目前国家将大数据视为国家战略，并且在实施上，也已经进入企业战略层面。

　　大数据未来发展趋势又是怎样的？

　　1.大数据在经济预警方面发挥重要作用

　　2.大数据分析成为市场营销的重要手段

　　3.大数据在临床诊断、远程监控、药品研发等领域发挥重要作用

　　4.大数据为金融领域的客户管理、营销管理及风险管理提供重要支撑

　　大数据分析师前景如何？发展趋势又是怎样的？想必小编也不用煞费口舌了，上不上船，全在你一念之间。

数据分析行业发展到什么阶段了？

在我国，数据分析工作正在被逐渐的受到重视，越来越多的人们意识到此项工作环节的重要性。08年4月份，经我国国资委审批、民政部备案后，中国商业联合会数据分析专业委员会正式成立，这是数据分析行业内唯一的协会，它的成立标志着我国数据分析行业在经济发展中的地位已经被得到充分的认可，数据分析工作也会因此走向更加规范的发展轨道。

全球已进入大数据时代，在我国，数据分析工作体现在多个领域，覆盖企业运营全过程。持有数据分析师专业技能证书的专业人员所开展的数据分析工作已经涉足到了很多领域，包括政府相关机构、企事业单位以及其他领域。目前，我国对于数据分析专业人员的需求数以万计，数据分析工作的重要性不言而喻。

数据分析行业发展的怎么样？

目前为止（2018），数据分析师培训运作了十五年的时间，为我国经济发展尤其是数据分析行业输送了大量的专业人才。学员遍布全国各地，已有两万余人参加了培训并取得了数据分析师专业证书；由学员学成后成立的数据分析行业专业中介服务机构（数据分析师事务所）已经发展到近百家，在全国范围内形成了良好的社会反响。

数据分析行业有国家相关部门的政策支持吗？

从2003年底至今，数据分析师培训得到政府和社会各界的大量支持和帮助，除了中国商业联合会数据分析专业委员会的各位领导和老师们付出了大量精力外，国家发改委培训中心也给予了很多的支持和帮助，另外各地相关专业协会或机构给予了高度重视并发文共同推广此，如：多个省市大数据协会、注册会计师及地方与行业相关的政府机构协助推广等。

国外的数据分析行业发展到什么样子了?

在国际上，数据分析师主要包括从事数据挖掘和投资两大领域，投资分析、信贷融资、企业经营管理、企业战略规划、决策管理等影响政府和企业重大决策的领域担任重要角色，主要为政府和企业进行重大决策提供科学、真实和准确的依据，是社会经济运行中具有重要地位的高端技术人才。一般意义上，数据分析质量的高低反映着一个国家大数据的发达程度。

在国外，数据分析工作已广泛应用于经济发展的各个领域当中，无论是国家政府部门、企事业单位还是个人，数据分析工作都是进行决策和作出工作决定之前的重要环节，其分析结果的质量高低直接决定着决策的成败。随着我国经济决策由“经验决策”向“数据决策”的不断规范，越来越多的政府机构和企业开始意识到数据决策的准确性和安全性，从而，对于帮助实现安全准确决策的数据分析专业人士的需求越来越大。

例如，在国外，只要搜索data analyst ，会有好多的招聘信息出现在你的眼帘，我们可以看到，几乎遍及各个行业都需要data analyst，金融服务，管理，销售业、服务业、建筑业、金融业等等，软件开发人员、股票分析师（Equity Data analyst）、证券数据分析员、金融培训师、基金数据分析师、管理、数据分析、数据质量审计员（data quality analyst）固然每个行业每个领域的data analyst 的职能是不一样的，但是固然都离不开数据搜集，数据处理，依据数据计算结果进行预测进而制定方案或为决策提供可靠性建议。

2017年，对2800名商业智能专家的一项调查预测，数据可视化和数据发现将成为一股重要趋势。数据发现的范畴已经扩大，不仅包括对数据分析和关系的理解，还包括呈现数据的方式，以挖掘更深层次的商业洞见。其结果就是，作为一种把数据变成可用洞见的方法，可视化模型越来越受欢迎。日益改善和演变的可视化模型已经成为从大数据中获取洞见的必要组成部分。

人脑能高效地处理视觉图像。在这个过程中，大脑使用了潜意，让决策者可以通过迅速扫描图像来处理信息。可视化图表利用了大脑的图像识别能力，出色的可视化模型将成为处理庞大数据集的更好选择，也是2018年重要的大数据趋势之一。

预测分析

很多企业利用“历史上的”大数据分析来预测未来的行为。，在进行此类预测时，对当前最新数据的分析更有价值。俗话说，“过去的成绩不能保证以后的成功”，这也适用于商业智能领域。预测分析为用户提供了一个优势，能够实时“了解客户”，具有不可思议的创收潜力。（规范性分析还处于初期阶段，今后几年内可能还不会成为一股强劲的趋势。）

2018年的物联网

物联网将继续扩张。如何利用来自物联网设备的信息，则完全是另一个问题。

改善零售

2018年，消费者和企业主将受益于越来越多的传感器和来自各种消费类设备的数据。物联网能收集信息，使企业可以更有效地把产品推销给潜在客户。懂技术的公司已经开始投资基于传感器的数据分析，这将使他们可以追踪其商店内人流量最大的区域。

重塑医疗

现在，大数据被用来制定医疗方案，但或许也将重塑人们就医和支付医疗费用的方式。新的可穿戴技术能追踪用户的健康状况，使医院和诊所得以改善医疗质量。

改变网络安全挑战

新的网络安全挑战将在2018年成为一个棘手的问题。可以预见，心怀叵测的黑客将想方设法入侵物联网。2016年10月，黑客利用物联网发动攻击，使网络大面积瘫痪。

随着物联网继续扩张，全球网络基础设施的薄弱环节也将继续增多。人工智能和机器学习提供了解决之道，它们将变得越来越普及。由于设备彼此之间的联系更加紧密，安全专家必须学会利用人工智能和机器学习程序。

2018年的机器学习

机器学习是计算机的训练过程，现在被企业用于各种各样的商业行为，比如实时广告、模式识别、欺诈识别和医疗。但在2018年，机器学习将变得更聪明、更快速、更有效。

Advertisement公司的商务拓展总监罗纳德·范龙（Ronald Van Loon）说：

“机器学习技术正在迅速发展，你的数字业务需要转向自动化。机器学习算法从大量的结构化数据和文本、图像、视频、语音、肢体语言、面部表情等非结构化数据中学习，可用于从医疗系统、电子游戏到自动驾驶汽车的所有领域，拥有无限广阔的应用前景，为机器打开了一个新的维度。”

教育

近期已经出现了利用机器学习来改善教学的事例。例如，加利福尼亚州立大学要求教职员工寻找和使用免费或低成本的教学材料。为了简化这一过程，Intellus Learning提供了一个解决方案：把4500多万个在线资源编入索引，并教会（利用机器学习技术）程序/算法作出推荐。老师可以把免费或低成本的材料上传至课程材料管理系统，供学生使用。

2018年的人工智能

人工智能研究目前致力于开发使人机交互更加自然的算法以及训练这些算法的方法。目标是用自然的人类语言来回答复杂的提问。人工智能和机器学习使通常需要人类决断的工作有了自动化的可能，这些工作包括如下技能： 阅读手写材料、 识别面部表情、 学习、认知能力，比如规划和利用部分信息进行推理。Gartner Research公司副总裁大卫·瑟尔利（David Cearly）说：“人工智能技术正在迅速发展，企业将需要对技能、流程和工具进行大力投资，以便成功地利用这些技术，构建人工智能强化系统。投资领域包括数据准备、数据整合、算法和训练方法选择，以及模型建立。包括数据科学家、开发人员和业务流程所有者在内的多方必须展开合作。”

人工智能和网络安全

《哈佛商业评论》写道：“讽刺的是，面对利用人工智能进行的黑客攻击，我们的最佳防御策略也是利用人工智能。人工智能可用来防御和攻击网络设施，还可以扩大黑客的攻击面，也就是让黑客拥有更多的攻击手段。企业领导得到的建议，是要了解人工智能安全研究的最新进展。”

随着企业认识到开发网络安全程序的重要性，人工智能将变得更加流行。精心构建的人工智能防御系统能从多年来发生的黑客攻击事件中，学会各种攻击和防御策略。它能设定正常用户行为的基准，然后搜索异常行为，速度比人类要快得多。这比维持一支专门处理日常网络攻击的安全团队要省钱得多。人工智能也可以用来制定防御策略。在2018年，人工智能与网络安全的关系将变得更加紧密。

十九大确立了“新时代中国特色社会主义” 思想理论和战略布局。习近平总书记针对“实施国家大数据战略” 主持中共中央政治局第二次集体学习，强调加快完善数字基础设施，推进数据资源整合和开放共享，保障数据安全，加快建设数字中国，更好服务我国经济社会发展和人民生活改善。

国家大数据产业市场在国家政策引导、大数据试验区、各地试点实践基础上，面临前所未有的市场机会和前景，以下从国家大数据发展模式、大数据市场方向和大数据技术方向展开论述，并结合实践给出市场布局建议。

一、国家大数据发展模式的变迁：从“行业垂直”发展走向“聚通融合”，从“封闭沉睡”走向“开放创新”，建设“国家一体化”大数据资源目录体系，形成政府与市场的共治模式

大数据的概念处于不断认知的过程之中。上世纪八十年代，世界未来学家托夫勒在《第三次浪潮》中从文明发展阶段角度提出“农业文明”、“工业文明”和“信息文明”的划分方式，目前世界毫无疑问处于信息文明的阶段，从计算机技术的兴起和互联网的诞生，到现在层出不穷的信息系统、互联网应用、移动应用、物联网以及云计算基础实施的变革，社会和经济发展所产生的数据从GB、TB、PB、EB、ZB逐渐呈爆炸式增长，在传统数据处理工具、处理模式、复杂性、数据价值认知等方面发生巨大的变化，由此产生了大数据的概念以及分布式计算和存储模式的进一步发展，大数据的发展和利用正在带动深刻的社会变革，从电子商务、移动支付到共享经济，从政务服务、不见面审批到国家治理，从信息安全、网络安全到国家安全，大数据技术上升为国家战略层面，大数据技术正在成为信息文明发展的基石，是未来人工智能发展的基础和起点。

大数据技术的使用最早集中在“垂直行业”内，比如互联网方面的电子商务、互联网搜索、互联网金融、互联网广告等，侧重行为分析、特征分析、以分词为核心的自然语言处理、风险监控、安全监控等；在政务和企业方面，集中在通信、医疗、金融、气象、海洋、交通、公安、水利、能源、环保等数据密集、数据量较大的行业，侧重使用大数据技术在存储和分析方面的性能提升，在行业内进行业务特征分析、画像分析和趋势分析，逐步提升行业应用大数据的水平，尤其是图像技术、语音技术、分词技术以及物联网的兴起建设和云计算的大发展，极大推动了大数据的发展。

国家大数据战略的提出，是站在更高、更广泛、更深刻的经济和社会发展认识基础上提出的大数据发展思路，在国家以“放管服”为核心的全面深化改革进程中，所面临的问题具有整体性和综合型，比如商事制度改革所涉及的“证照合一”，“双随机一公开”，“综合执法改革”，“三项制度”等，牵涉到工商、国税、地税、人社、公安、民政、银行等多个部门和单位；比如国家信用体系建设基本覆盖所有政务部门和主体单位，面向政务诚信、市场诚信、社会诚信和司法公信力建设，要形成以“法人”和“自然人”为核心的信用行为库和支撑系统；比如“以审判为核心”的司法体制改革，涉及公安、检察院、法院、律师事务所、社会公众等；比如以反腐为核心的权力监管，基本覆盖党政公检法和国资国有企业，牵涉面更为广泛。

国家大数据战略的核心思路是“聚通融合”，建设覆盖全国的政务信息资源共享交换平台，重点建设基础库、主题库和部门库，形成国家、省、地区三级数据资源中心、数据共享平台和数据开放平台，在此基础上实现跨层级、跨地域、跨系统、跨部门、跨业务的全国一张网（电子政务外网+互联网），不断提升国家政务治理能力和便企便民服务，面向政务治理为各层级政府单位提供国家资源目录共享视图，在垂直行业大数据融合分析方面有了更广阔的数据维度，彻底解决没有数据，有数据不统一、数据融合度不够等突出问题，通过共享交换模式整合政务共治的突出难题；面向企业和社会公众形成“全国漫游”模式的业务能力，比如户口迁移、车辆年检、教育转学、企业投资、社保转移、医疗异地支付等，实现“让百姓少跑腿、数据多跑路”的严肃承诺；面向互联网企业、软件企业、大数据企业、数据交易所、数据研究机构、智库等各类企业事业单位，采用社会化运营的思路，通过大数据驱动产业创新，以“互联网+教育”、“互联网+医疗”、“互联网+文化”等模式建设民生保障体系并创造出新的经济增长点，实现国家和社会共治共发展模式。通过全国数据共享和交换平台，行业大数据资源从“封闭沉睡”走向“开放创新”，以政务信息大数据为基础，引导社会和企业大数据整合融合，国家大数据战略走向一体化，聚变效应必将推动大数据产业链的快速形成，在大数据确权、交易、投资、流通、加工、追溯、安全、计费、服务等方面形成一整套完备的国家管理模型和市场运营机制。

二、大数据市场方向、要点和设想：贴紧大数据资源中心建设，在信用体系、电子证照、主题工程、行业部门信息化建设方面拓展行业优势，走大数据联合运营之路

国家大数据发展战略和要求带来了广阔的市场方向，包括云数据中心基础设施建设、行业云大数据平台、数据交换共享平台、大数据细分行业协同应用、大数据处理和服务平台、大数据资产交易等，在此重点阐述数据交换和共享平台以及未来的行业应用带来的市场机遇。全国一体化的数据共享和交换平台，形成了一体化的政务数据资源中心、政务资源信息共享平台和政务资源信息开放平台。数据资源中心重点建设基础库、主题库和部门库。

基础库包括法人库、自然人库、信用库、地理信息库和电子证照库，这五个库是政务治理提升和便企便民的基础，国家治理模式的重心已经由“事前监管”转化为“事中事后监管”，行政权力事项推行“不见面审批”和“最多跑一次”，实行“一窗、一号、一网”的政务服务模式，“放管服”改革的核心思想是依靠信用机制分层管理，提高政务效率和质量并降低成本，建设和发展信用经济，符合现代经济的特征和规律，以“法人”和“自然人”为基础建设全国或者全省以生命周期为模型的电子证照库和以时间线为模型的信用行为库，可有效优化审批流程和监管模式，是未来政务大数据和行业大数据争夺的制高点，为了加强电子证照和信用行为的数据鉴权和认证，可引入区块链技术和体系，保证数据的可信性、不可篡改和追溯性；基础库中的地理信息库是全国全省一张图的基础，未来构建省级时空大数据平台是大势所趋，以GIS和大数据融合平台为基础，建设行政区划、国土规划信息、交通信息、生态资源信息、房产信息、医疗资源信息、教育资源信息、宏观经济信息、环保信息、行政服务、农业科技、精准扶贫、市场监管、城市运营信息、气象海洋测绘等等多层多领域信息，以服务的形式服务于各政务和企事业单位。

主题库的建设主要是以十二五和十三五规划的重点领域工程为基础，按照主题形成信息库，包括全民健康保障、全民住房保障、全民社会保障、药品安全监管、食品安全监管、安全生产监管、市场价格监管、金融综合监管、能源安全保障、信用体系建设、生态环境保护、行政执法监督、民主法制建设、执政能力建设、基本公共服务建设、行政许可审批等方向，这些主题工程和主题库具备延续性和完善性，未来的市场方向是依托基础库和其他主题库以及部门库进行深入融合分析；

部门库是党政公检法各领域各部门汇集的政务基础信息和业务信息，未来的市场方向是基于各部门主体业务，融合基础库和主题库进行数据融合分析以及大量新的应用创新，改造或者新建符合国家治理提升和公共服务的管理系统、互联网应用以及移动APP和微信应用，加强数据融合分析用以支撑领导决策、指挥调度和监管创新。

基于政务资源信息共享平台和政务资源信息开放平台，未来的市场机会是社会化联合运营，以政府和国资为主导，联合具备实力的软件厂商、大数据厂商、数据分析机构、互联网厂商、数据交易机构、智库、研究院等共同运营政务大数据和社会数据，运营实体可能是独立公司、控股公司或者协议合作方式，未来在常态数据分析、数据脱敏脱密、数据融合处理、数据服务产品加工、数据销售和推广方面展开合作并创造出巨大的就业机会，各类具备互联网运营特征的互联网应用、移动应用和产品将被持续孵化。

三、大数据技术方向、路线和建议：面向国家重大需求，实施创新驱动，形成自主可控的基于云平台的混合式大数据技术路线，整合资源加速形成大数据产业优势

国家大数据发展战略在技术方面提出明确要求，即：

要瞄准世界科技前沿，集中优势资源突破大数据核心技术，加快构建自主可控的大数据产业链、价值链和生态系统。要加快构建高速、移动、安全、泛在的新一代信息基础设施，统筹规划政务数据资源和社会数据资源，面向国家重大需求，面向国民经济发展主战场，全面实施促进大数据发展行动，完善大数据发展政策环境。要以数据为纽带促进产学研深度融合，形成数据驱动型创新体系和发展模式，培育造就一批大数据领军企业，打造多层次、多类型的大数据人才队伍。突出了自主可控、统筹规划和全面实施，面向重大需求在政务和社会大数据方面，促进创新驱动模式的企业、人才和研发深度融合发展。

大数据技术可行的架构一定是混合式体系，既要支撑大数据的存储和计算，又要支撑交换、共享以及各类大数据应用。从结构化数据、半结构化数据和非结构化数据方面，待选方案和产品较多，结构化和半结构化数据依托SQL数据库（传统关系型数据库，包括事务性和分析性）、NewSQL数据库(MPP数据库)，NoSQL数据库（mongodb、hbase、redis、leveldb等）进行存储，半结构化和非结构化数据主要依托文件系统、共享文件系统、分布式文件系统进行存储。在分布式计算和数据分析方向主要依托MapReduce、Yarn、hive、Spark、R、python、sas、pig、Impala、Hama、kylin等开源和商业体系。在大数据可视化方向，重点研究数据模型构建工具、数据立方以及基于WEB图形化集合。综上所述，基于Hadoop体系，在数据多源实时和非实时采集、分布式存储、分布式计算、数据模型和算法、可视化交互分析和展示、安全等方面整合研发，有效融合传统开源存储和计算技术，构建自主可控的基于开源组件的技术体系行之有效。目前国内自主知识产权的大数据分析平台基本是按照这个思路在整合研发，尤其是阿里云、腾讯云等公有云平台，整合力度和产品线较全。大数据技术体系，尤其是超大规模大数据平台，是从云计算的IAAS层、PAAS层和DAAS层统一整合，从基础实施资源虚拟资源、数据交换与采集、分布式存储和计算、大数据挖掘分析和可视化展示均实现弹性可配置、可监控、可管理、可扩展，成为事实上的大数据操作系统（DATAOS），而在私有云中心和大数据平台建设方面参照公有云大数据平台进行裁剪和定制。