2018年大数据专业就业前景

大数据人才稀缺

据数联寻英发布《大数据人才报告》显示,目前全国的大数据人才仅46万,未来3-5年内大数据人才的缺口将高达150万。

据职业社交平台LinkedIn发布的《2016年中国互联网最热职位人才报告》显示，研发工程师、产品经理、人力资源、市场营销、运营和数据分析是当下中国互联网行业需求最旺盛的六类人才职位。其中研发工程师需求量最大，而数据分析人才最为稀缺。领英报告表明，数据分析人才的供给指数最低，仅为0.05，属于高度稀缺。数据分析人才跳槽速度也最快，平均跳槽速度为19.8个月。

根据中国商业联合会数据分析专业委员会统计，未来中国基础性数据分析人才缺口将达到1400万，而在BAT企业招聘的职位里，60%以上都在招大数据人才。

大数据专业就业三大方向

大数据主要的三大就业方向：大数据系统研发类人才、大数据应用开发类人才和大数据分析类人才。

在此三大方向中，各自的基础岗位一般为大数据系统研发工程师、大数据应用开发工程师和数据分析师。

大数据专业人才就业薪资

1基础人才：数据分析师

北京数据分析平均工资： 10630/月，取自 15526 份样本，较 2016 年，增长 9.4%。

数据分析师岗位职责

业务类别:技术

业务方向:数据分析

工作职责:

1. 根据公司产品和业务需求，利用数据挖掘等工具对多种数据源进行诊断分析，建设征信分析模型并优化，为公司征信运营决策、产品设计等方面提供数据支持；

2. 负责项目的需求调研、数据分析、商业分析和数据挖掘模型等，通过对运行数据进行分析挖掘背后隐含的规律及对未来的预测；

3. 参与数据挖掘模型的构建、维护、部署和评估；

4. 整理编写商业数据分析报告，及时发现和分析其中变化和问题，为业务发展提供决策支持；

5. 独立完成项目需求管理、方案设计、实施管理和项目成果质量的把控；

6. 参与编写项目相关文档。

教育背景:

学历：本科其它：

经验要求:工作经验：3-5年

任职要求:

1. 统计学、数学或计算机、数理统计或数据挖掘专业方向相关专业本科或以上学历；有扎实的数据统计和数据挖掘专业知识；

2. 熟练使用数理统计、数据分析、数据挖掘工具软件（SAS、R、Python等的一种或多种），能熟练使用SQL读取数据；

3. 使用过 逻辑回归、神经网络、决策树、聚类 等的一种或多种建模方法；

4. 3年以上数据分析工作经验，征信从业背景人员优先；

5. 具有金融行业项目经验的相关经验者优先考虑；

6. 主动性强，有较强的责任心，积极向上的工作态度，有团队协作精神。

能力素养:

良好的分析、归纳和总结能力，善于分析、解决实际问题； 主动性强，有较强的责任心，积极向上的工作态度，有团队协作精神。

2大数据开发工程师

北京大数据开发平均工资： 30230/月。

大数据开发工程师/专家 岗位指责（引自 滴滴出行）：

职位描述：

1、构建分布式大数据服务平台，参与和构建公司包括海量数据存储、离线/实时计算、实时查询，大数据系统运维等系统；

2、服务各种业务需求，服务日益增长的业务和数据量；

3、深入源码内核改进优化开源项目，解决各种hadoop、spark、hbase疑难问题，参与到开源社区建设和代码贡献；

岗位要求：

1、计算机或相关专业本科以上学历（3年以上工作经验）；

2、精通C++/Java/Scala程序开发(至少一种)，熟悉Linux/Unix开发环境；

3、熟悉常用开源分布式系统，精通Hadoop/Hive/Spark/Storm/Flink/HBase之一源代码；

4、有大规模分布式系统开发、维护经验，有故障处理能力，源码级开发能力；

5、具有良好的沟通协作能力，具有较强的分享精神；

6、对Kudu、Kylin、Impala、ElasticSearch，github等系统有深入使用和底层研究者加分；

3Hadoop开发工程师

北京hadoop平均工资： 20130/月，取自 1734 份样本。

Hadoop开发工程师岗位职责（引自新浪网）：

职位描述：

1.参与优化改进新浪集团数据平台基础服务，参与日传输量超过百TB的数据传输体系优化，日处理量超过PB级别的数据处理平台改进，多维实时查询分析系统的构建优化；

2.分布式机器学习算法在数据平台的构建与优化（包括常见的LR、GBDT、FM、LDA、Word2Vec及DNN等）；

3.深入源码改进各种开源大数据项目（包括Hadoop、Spark、Kafka、HBase等）。

任职要求：

1.计算机或相关专业本科以上学历；

2.熟悉Linux环境下开发，熟练掌握C++/Java/Scala等一种以上编程语言；

3.熟悉Hadoop生态系统相关项目，精通以下项目之一的源码（Hadoop/Spark/Kafka/HBase/Flume/ElasticSearch/Druid/Kylin）；

4.具备良好的学习能力、分析能力和解决问题的能力。

4数据挖掘工程师

北京数据挖掘平均工资： 21740/月，取自 3449 份样本，较 2016 年，增长 20.3%；

数据挖掘工程师招聘要求（引自蚂蚁金服集团技术部）：

工作职责：

1、在分布式系统上进行数据计算、挖掘、和实现算法；

2、数据仓库模型设计和建立；

3、数据梳理流程的实现和维护；

4、物流场景下的地址文本、空间属性研究和分析。

任职资格：

1、本科以上学历，有扎实的统计学，数据挖掘，机器学习，自然语言识别理论基础，一种或几种以上的实际使用经验。

2、熟悉聚类、分类、回归等机器学习算法和实现，对常见的核心算法和数据挖掘方法有透彻的理解和实际经验。

3、深入理解Map-Reduce模型，对Hadoop、Hive、Spark、Storm等大规模数据存储于运算平台有实践经验。

4、有扎实的计算机理论基础，至少熟悉一种编程语言，Java优先。

5、有三年以上互联网公司或者海量数据处理工作经验，大数据挖掘、分析、建模经验

5算法工程师

北京算法工程师平均工资： 22640/月，取自 10176 份样本。

算法工程师 招聘要求（引自美团点评数据平台部）：

职位描述：

互联网公司背景优先

A、广告算法

岗位职责：

1.负责点击率预估等主要广告算法的技术选型；

2.负责核心算法的开发；

3.负责广告大数据处理流程的建设及相关工具的研发；

4.负责广告技术研究项目的推进与管理；

职位需求：

1.计算机或相关专业本科以上学历，3年以上相关工作经验;

2.熟练掌握一门开发语言；

3.有机器学习、数据挖掘相关知识；

4.在广告、搜索、推荐等相关领域之一有技术研究工作经验；

5.有较强的沟通协调能力；

B、推荐算法

职位描述：

1. 参与各个产品线的个性化推荐系统的研发；

2. 分析用户行为数据，并设计合理的推荐算法模型及策略，并优化推荐排序；

3. 通过对用户行为数据的挖掘，对用户进行建模，精准刻画用户各种属性；

职位要求：

1. 全日制本科及以上学历，计算机相关专业；

2. 熟练掌握各类个性化推荐算法，并有开发个性化推荐系统的实际项目经验；熟练掌握各类回归及排序算法，能够利用相关算法进行推荐排序的优化；

3. 熟练掌握分类、聚类、回归、降维等经典机器学习算法和技术，能够根据实际问题选择合适的模型和算法并进行相应的开发；

4. 有较强的工程架构和开发能力，能够实现支撑千万级用户和TB级用户行为数据的推荐系统或算法；

5. 掌握python、matlab等脚本语言，熟悉各类数据挖掘工具（如weka、Mahout），能够快速建立模型并进行验证；

C、算法工程师

岗位职责:

1、开发和优化用户行为数据挖掘，文本分类和语义理解，社交网络分析，网页搜索，推荐系统等领域的特定算法

2、能够很快学习和利用state-of-the-art的算法解决实际产品问题，提升产品用户体验

任职资格:

1、有一定的研究、实验的能力，优秀的分析问题和解决问题的能力

2、理解自然语言处理、机器学习、网页搜索，推荐系统，用户数据分析和建模的基本概念和常用方法，有相关领域的实际项目研发或者实习经历者优先。

3、熟悉C++, Java或Python，熟悉Linux或类Unix系统开发,有较强的编程能力。 能独立实现线上算法模块者优先。

4、对大数据处理平台和工具有一定经验者优先, 包括： Hadoop, Hive, Pig, Spark 等

最后一个问题，哪些公司需求大数据人才？

答：所有的公司。大到世界500强，BAT这样的公司，小到创业公司，他们都需求数据人才。

马云爸爸说“我们已从IT时代进入了DT时代，未来我们的汽车、电灯泡、电视机、电冰箱等将全部装上操作系统，并进行数据集成，数据将会让机器更“聪明”。DT时代，数据将成为主要的能源，离开了数据，任何组织的创新都基本上是空壳。”

数据，未来的一切。

高考试卷已经结束，大多数考生将面临与高考同等重要的问题：填报志愿。今年，一个被认可的新专业吸引了许多人的注意——数据科学和大数据技术。“大数据”的概念再次流行起来。学生和家长在填写志愿者时应该冷静下来。

当前的大数据产业真的是人才稀缺吗？

几年后，大数据产业会出现产能过剩吗？

大数据产业需要什么样的人才？

“热门专业”的重点是什么？

接下来的大量数据将显示分析结果。

当前的大数据产业真的是人才稀缺吗？

对的!未来人才缺口为150万，数据分析人才匮乏。

大数据和人才之间的差距有多大？

据2017中国互联网最热门的人才报告，大数据交流学习群：72268o25o不定期分享学习资料，有兴趣的朋友欢迎加入，LinkedIn，研发，研发工程师、产品经理、人力资源、市场营销、运行和数据分析是六个最苛刻的中国互联网行业的人才。

其中，数据分析人才最稀缺，供给指数最低。同时，跳人才的速度在数据分析上也是最快的，平均跳速是19.8个月。

吴永薇，在清华大学计算机系的一名教授，透露的一组数据。去年，在未来3-5年内，中国需要180万个数据的人才，但只有约30万的人。

未来大数据产业会出现产能过剩吗？

提供大数据技术和应用服务的第三方公司正面临着调整，未来的发展将是重点。

讨论大数据的概念是过度投机”，在2013达沃斯的夏天。与此同时，支持“炒作”观点的观众达到了54.5%。在这方面，光华管理学院副教授Su Meng以三个理由反对北京大学。

在不同的机构之间仍然没有真正的数据流，而数据只是一个“孤岛”。

一个完整的生态产业链尚未形成。尽管行为数据分析已经能够区分消费者的偏好，但从供应到购买的链条尚未建成。

数据分析人才还很匮乏。

4年后，舆论热点逐渐从大数据转向人工智能，大数据产业也得到了整合。在过去的一年里，一些大数据公司被裁员，他们的业务也被调整了。有些公司一直亏损。公司面临的危机是什么？

基于数据属性，涉及大数据的公司有两类：一类是拥有数据的公司，如Amazon和阿里巴巴，另一类是集成数据资源的第三方公司，提供大数据技术和应用服务。目前，大多数行业整合中存在利润问题的公司都集中在第三方服务提供商中。

在这方面，LinkedIn，王迪，技术副总裁说，在中国，第三方供应商提供更多的技术或平台。

王迪认为，大型数据服务必须产生规模经济，至少有三点：算法、计算平台和数据本身。第三大数据初创公司的算法和计算能力实际上是在一个特定的线统一水平，如果传统企业，大数据初创公司没有区别，甚至更多的计算能力，数据采集，在许多传统行业的数据是不共享的，得到这个数据第三大数据公司更难，谁有最后的数据。谁有更高的价值，“它是白色的，而数据是金的。”。

2017，有10多家大型数据企业进行一次性融资，已有30多家企业获得了1000万以上的横向融资。互联网资本寒冬，大数据产业的投资热度有所下降。大数据产业是否存在产能过剩？

王迪认为，当前行业整合是一种常态现象。市场优胜劣汰后，第三方服务领域将出现一些优秀的企业。其他公司可能会被淘汰或转变成若干垂直产业。从社会的角度来看，总需求一定会增加。对于供应方来说，在行业自然洗牌之后，它最终将集中在几家优秀的行业公司。

随着大数据时代的到来，现代信息技术的不断发展，在政府及企业的大力推进下，大数据的新技术、新业态、新模式将不断涌现，产业规模呈现高速增长态势。

趋势一： 政策环境持续优化， 产业发展将迎来“黄金期”

随着国家大数据战略推进实施以及配套政策的贯彻落实，大数据产业发展环境将进一步优化，社会经济各领域对大数据服务需求将进一步增强，大数据的新技术、新业态、新模式将不断涌现，产业规模将继续保持高速增长态势。

趋势二： 大数据产业集聚 将呈现特色化发展

大数据综合试验区建设是国家统筹推进大数据产业发展的重要举措。2016年，国家对大数据产业区域发展进行整体规划布局，共计批复了8个国家大数据综合试验区建设。2017年，随着8大国家大数据综合实验区建设不断加快，产业发展将推动形成特色领域。围绕京津冀和珠三角跨区域类综合试验区，将更加注重数据要素流通，以数据流引领技术流、物质流、资金流、人才流，支撑跨区域公共服务、社会治理和产业转移，促进区域一体化发展。结合地方产业发展和应用特色，大数据产业集聚区和大数据新型工业化产业示范基地建设也将持续推进。

趋势三： 大数据与人工智能、云计算、物联网 等技术的融合创新将更加深入

网络信息技术领域是全球研发投入最集中、创新最活跃、应用最广泛、辐射带动作用最大的技术创新领域，是全球技术创新的竞争高地。大数据、云计算、物联网、人工智能等新一代信息技术是最典型的网络信息技术，创新驱动是其发展的原动力，新兴技术间的融合创新更是产业发展的主基调。2017年，大数据的技术发展与物联网、云计算、人工智能等新技术领域的联系将更加紧密，物联网的发展将极大提高数据的获取能力，云计算与人工智能将深刻地融入数据分析体系，融合创新将会不断地涌现和持续深入。

趋势四： 工业大数据对智能制造的 赋能效应将进一步释放

在《大数据产业发展规划2016-2020年》中，提出了深化工业大数据创新应用的重点任务和实施工业大数据创新发展工程，加快工业大数据基础设施建设，推进工业大数据全流程应用，培育数据驱动的制造业新模式。2017年，随着《国务院关于深化制造业与互联网融合发展的指导意见》、《大数据产业发展规划2016-2020年》等政策规划的落地实施，我国将进一步深化工业云、大数据等技术在工业领域的集成应用，探索建立工业大数据中心，实施工业大数据应用示范工程，工业大数据对智能制造的赋能效应将进一步释放。

趋势五： 大数据安全和数据跨境流动 将成为国家和社会关注的焦点

数据资源作为信息社会的重要生产要素、无形资产和社会财富，成为一个国家的基础性战略资源。近年来，由于数据在网络空间传播迅速，且当前技术手段和行政手段都无法对其实施有效监管，使得大数据安全问题和数据跨境流动安全风险日益加剧。2017年，随着《中华人民共和国网络安全法》及相关配套细则的正式实施，大数据安全的市场空间将进一步释放，政府和企业在大数据安全技术、产品和服务创新方面的投入进一步加大；国家大力推进双边区域性跨境数据流动合作，建立国家间数据流通保护的协调机制，参与数据跨境流动国际标准和规则制定的积极性将不断提高。

大数据的概念问世这么多年来，大数据从技术，政策和资本等多个角度已经切入到社会方方面面，未来数据也会成为的经济驱动因素中越来越重要的一部分。对未来而言，大数据的发展将影响到产业、企业和个人。需要学习大数据可以加我QQ群，零基础到项目实战

就产业而言，大数据的未来变化更多的是在各个产业内部。首先大数据产业的边界会消融，大数据也渗透到其他产业中去。这个不难理解，任何一个产业在运行了这么多年的过程中，总是积累了大量的数据。很多情况下，数据过去都在沉睡，只是记录下来了，并没有产生更多价值。然而随着大数据技术的发展，沉淀数据的产业将有机会盘活以往的数据资产，最简单的是引入数据源环节，将自身积累的数据资产对外出售或交换。同时，也可以进入分析实施环节，通过对以往业务流程的改造，把过去的方法总结和创新出定量的模式，从而输出定制化方案或者标准化产品。此外还可能够在数据应用环节发挥作用，利用已有的数据收集，创新发展出新的商业模式，去产生新的价值。

于此同时，大数据产业尽管存在边界消融的情况，然而还是会有现今而言相对未来更传统的大数据产业存在独立，因为伴随着社会、经济的发展，需要有大数据技术的演进来应对未来需求。因此，未来传统意义上的大数据产业将会肩负起开发更先进的软件和硬件的责任。

对企业而言，大数据对影响将会存在于三个层面。第一个层面是在技术上，企业可以引进和开发数据工具，起到提升经营效率的方式，从而优化企业的经营和管理，例如可以购买BI工具，实现管理可视化，从而协助决策。第二个层面是在方法上，这里更需要企业构建大数据实施的能力，并且将构建的能力落实在运营、营销以及战略中去。依靠数据化经营对企业的改良，也会让企业在一定程度上改造自己所在的产业。例如沃尔玛率先在零售行业中使用条形码，使得整个行业依靠条形码能够实时掌握进销存的情况。

对个人而言，大数据的影响则和生活交织得更深。伴随着技术的发展，每个人都会成为数据源，个人的数据会随着自己的行为在不经意间收集，不论是聊天还是搜索，不论是购物还是交通都不可避免地产生大量可以被记录的数据。这里其实是一把双刃剑，一方面让我们生活更加便利，能够享受更好的服务，也能更快地得到想要的产品。然而另外一方面，每个人会有跟多隐私被记录，一旦暴露带来的负面影响也会更大。因此隐私保护和数据安全也是整个大数据产业甚至政策法律中非常重要的一部分。

除此之外，大数据的福泽也会从另外一个方向降临到每个人头上。伴随着技术的发展，大数据不再是深奥和复杂的方法，而会成为简单易学的技能，每个人都能够进行数据分析工作，未来会有大量的傻瓜式数据分析产品产生，不需要写代码，也不需要设公式，只需要简单的拖拽就能够分析数据。这种情况下，每个人都需要学习数据分析的逻辑和通用的方法，每个人也会做自己的数据分析师。

大数据的产业，就像朝阳一样冉冉升起，未来还会有更多的光芒和价值，也会有更多的空间和遐想。对产业可以是依靠数据提升效率，也可以是商业模式颠覆现状，甚至可以是通过数据的为纽带的方式，造就未来产业内部甚至产业之间协同的景象。对企业能够提升经营效率，改良管理水平，创新商业模式。对个人而言，人人都用大数据，人人都是分析师。欢迎加入722680258每天分享学习视频资料

　大数据的两种常用定义：

　　研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。

　　麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。

总之大数据特点就是大数据的量大，变化速度快。也就是说，行业内的权威定义都是从大数据本身的特点进行界定，而没有涉及到它的应用和价值。随之数据行业的迅速发展，大数据融入了各行各业，现在，我们更多的是谈到大数据对我们生活的影响。

　大数据的4V特点：

　　Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）。

　　大数据包含哪些内容？

　　大数据是一个庞大的体系，其中大致包括以下几方面：

　　1.数据存储阶段（用户信息，行为信息存储进硬盘）。

　　2.数据挖掘 清洗 筛选（根据产品需求筛选出符合企业用于盈利需求的数据）

　　3.数据分析（通过数学分析，商业分析，将挖掘出来的数据进行产品匹配盈利分析）

　　4.产品调整（根据分析进行产品的上下架，迭代开发，达到产品迎合更多用户的选择或者销售出更多的产品。）

　　5.产品下一步的规划（譬如新开一个产品线，可以根据数据来进行分析。）

还有大家最熟悉的莫非就是上淘宝的时候，我们会看有多少评价，好评有多少？差评有多少？这家店的好评率是多少？这些都是大数据的应用。

其实大数据就是数据分析的升级！举个简单 的例子一个小卖铺，每天卖包子、豆浆、油条……当你有1000家小卖铺的时候，我们把所有的客户购买数据收集起来，你就可以把所有的这些小卖铺的售出信息做一个汇总分析，你可能会发现买包子的人大多数会买豆浆，那你就会把这两个东西放在一起，增加出货量。大数据的价值就这么体现出来了，所以说，大数据、云计算、物联网等都是不错的方向，前景很不错。

关注佳源信息，关注更多资讯。

【版权与免责声明】如发现内容存在版权问题，烦请提供相关信息发邮件至jy@jiayuaninfo，我们将及时沟通与处理。

大数据作为一个新兴行业，这两年很是火热。我们进场在网上看到一些数据，比如下面这些：

1.据数联寻英发布《大数据人才报告》显示,目前全国的大数据人才仅46万,未来3-5年内大数据人才的缺口将高达150万。2.根据中国商业联合会数据分析专业委员会统计，未来中国基础性数据分析人才缺口将达到1400万，而在BAT企业招聘的职位里，60%以上都在招大数据人才。

以上是各类分析大数据行情的文章中经常见到的数据，那么光从这些数据来断定大数据的发展前景是不是靠谱？大数据的真实的前景到底是怎么样的？

想必是很多想要从事大数据或者对大数据感兴趣的朋友们最关心的问题之一。

本周四晚上，我们准备了一场关于大数据行业发展前景深入剖析的公开课，一位资深大数据行业的专家，将为大家进行一场关于大数据行业发展前景的深度剖析。将为大家一一讲解大数据目前的发展现状以及后期发展的大趋势。

分享嘉宾介绍：

杨老师

前全球十大咨询公司ESG亚太区分析师，对云计算、大数据有深入研究，曾为IBM、DELL、HP、EMC等厂商提供产品测评报告，并为国内企业华为、联想、浪潮、曙光等企业的业务现状和发展方向提供战略咨询服务。是最早接触大数据的一批人，在国外多年的大数据相关工作经验，让他对于国内大数据发展的路线和前景有着比一般人更深的理解。

时间：2017年11月9号，本周四晚上

大数据的发展现状如何？后期的发展前景到底好不好？让我们本周四晚上，一起听专家深度的剖析大数据行业的发展。

大家可以进群，提前了解本次公开讲座的更多信息。

大数据的发展前景很火!

　大数据在这几年非常的火，不仅被名企纳入战略发展的布局中，更是被国家大力支持，无疑大数据已成为当今时代的宠儿!在这个大数据时代中，越来越多的朋友加入大数据学习中，有些人就问，大数据为什么这么火?今天小编就给大家讲讲：

　大数据作为一个全新互联网的产业，仍然处于快速发展的初期，在这个快速发展的领域，每时每刻都在产生新的事物。从整体发展角度评价，大数据行业的未来将呈现直线上升发展趋势。数据是资源也是战略资源，大数据技术就是从数量庞大、结构复杂，快速获得有价值信息的能力，它已成为各行各业关注的热点。

　大数据已经不仅仅是政府用来分析居民生活状态的工具了，现在它被广泛的应用于各个领域。医疗，教育，体育，金融，娱乐产业，房地产，电影电视剧的制作等等，都用上了大数据。大数据可以用来具体研究某一疾病的治疗，可以记录提高运动员的体育成绩，可以分析金融交易，在多种行业中，大数据都可以用来分析顾客需求，优化业务流程，以此来提高企业业绩。所以在学完大数据后，你可以选择的就业领域会十分的广阔!

　大数据的发展前景很火!

　随着科技的发展，计算机技术的飞速进步，大数据显得越发重要：

　1)通过大数据的分析可以帮助解决中国城镇化发展中面临的住房、教育、交通等难题。例如，通过对交通流量数据的实时采集和分析，可以知道驾驶者选择最佳路线，改善城市交通状况。

　2)通过大数据的研究有助于推动零售等传统产业升级，向价值链高端发展。

　3)大数据的应用可以帮助中国在发展战略性新兴产业方面迅速站稳脚跟，巩固并提升竞争优势。

　大数据今后发展趋势会越来越火，紧跟社会发展人才需求，选择大数据行业非常吃香，发展前途可观!选择魔据大数据，让你合理掌握大数据，力助你步入大数据岗位!

十九大确立了“新时代中国特色社会主义” 思想理论和战略布局。习近平总书记针对“实施国家大数据战略” 主持中共中央政治局第二次集体学习，强调加快完善数字基础设施，推进数据资源整合和开放共享，保障数据安全，加快建设数字中国，更好服务我国经济社会发展和人民生活改善。

国家大数据产业市场在国家政策引导、大数据试验区、各地试点实践基础上，面临前所未有的市场机会和前景，以下从国家大数据发展模式、大数据市场方向和大数据技术方向展开论述，并结合实践给出市场布局建议。

一、国家大数据发展模式的变迁：从“行业垂直”发展走向“聚通融合”，从“封闭沉睡”走向“开放创新”，建设“国家一体化”大数据资源目录体系，形成政府与市场的共治模式

大数据的概念处于不断认知的过程之中。上世纪八十年代，世界未来学家托夫勒在《第三次浪潮》中从文明发展阶段角度提出“农业文明”、“工业文明”和“信息文明”的划分方式，目前世界毫无疑问处于信息文明的阶段，从计算机技术的兴起和互联网的诞生，到现在层出不穷的信息系统、互联网应用、移动应用、物联网以及云计算基础实施的变革，社会和经济发展所产生的数据从GB、TB、PB、EB、ZB逐渐呈爆炸式增长，在传统数据处理工具、处理模式、复杂性、数据价值认知等方面发生巨大的变化，由此产生了大数据的概念以及分布式计算和存储模式的进一步发展，大数据的发展和利用正在带动深刻的社会变革，从电子商务、移动支付到共享经济，从政务服务、不见面审批到国家治理，从信息安全、网络安全到国家安全，大数据技术上升为国家战略层面，大数据技术正在成为信息文明发展的基石，是未来人工智能发展的基础和起点。

大数据技术的使用最早集中在“垂直行业”内，比如互联网方面的电子商务、互联网搜索、互联网金融、互联网广告等，侧重行为分析、特征分析、以分词为核心的自然语言处理、风险监控、安全监控等；在政务和企业方面，集中在通信、医疗、金融、气象、海洋、交通、公安、水利、能源、环保等数据密集、数据量较大的行业，侧重使用大数据技术在存储和分析方面的性能提升，在行业内进行业务特征分析、画像分析和趋势分析，逐步提升行业应用大数据的水平，尤其是图像技术、语音技术、分词技术以及物联网的兴起建设和云计算的大发展，极大推动了大数据的发展。

国家大数据战略的提出，是站在更高、更广泛、更深刻的经济和社会发展认识基础上提出的大数据发展思路，在国家以“放管服”为核心的全面深化改革进程中，所面临的问题具有整体性和综合型，比如商事制度改革所涉及的“证照合一”，“双随机一公开”，“综合执法改革”，“三项制度”等，牵涉到工商、国税、地税、人社、公安、民政、银行等多个部门和单位；比如国家信用体系建设基本覆盖所有政务部门和主体单位，面向政务诚信、市场诚信、社会诚信和司法公信力建设，要形成以“法人”和“自然人”为核心的信用行为库和支撑系统；比如“以审判为核心”的司法体制改革，涉及公安、检察院、法院、律师事务所、社会公众等；比如以反腐为核心的权力监管，基本覆盖党政公检法和国资国有企业，牵涉面更为广泛。

国家大数据战略的核心思路是“聚通融合”，建设覆盖全国的政务信息资源共享交换平台，重点建设基础库、主题库和部门库，形成国家、省、地区三级数据资源中心、数据共享平台和数据开放平台，在此基础上实现跨层级、跨地域、跨系统、跨部门、跨业务的全国一张网（电子政务外网+互联网），不断提升国家政务治理能力和便企便民服务，面向政务治理为各层级政府单位提供国家资源目录共享视图，在垂直行业大数据融合分析方面有了更广阔的数据维度，彻底解决没有数据，有数据不统一、数据融合度不够等突出问题，通过共享交换模式整合政务共治的突出难题；面向企业和社会公众形成“全国漫游”模式的业务能力，比如户口迁移、车辆年检、教育转学、企业投资、社保转移、医疗异地支付等，实现“让百姓少跑腿、数据多跑路”的严肃承诺；面向互联网企业、软件企业、大数据企业、数据交易所、数据研究机构、智库等各类企业事业单位，采用社会化运营的思路，通过大数据驱动产业创新，以“互联网+教育”、“互联网+医疗”、“互联网+文化”等模式建设民生保障体系并创造出新的经济增长点，实现国家和社会共治共发展模式。通过全国数据共享和交换平台，行业大数据资源从“封闭沉睡”走向“开放创新”，以政务信息大数据为基础，引导社会和企业大数据整合融合，国家大数据战略走向一体化，聚变效应必将推动大数据产业链的快速形成，在大数据确权、交易、投资、流通、加工、追溯、安全、计费、服务等方面形成一整套完备的国家管理模型和市场运营机制。

二、大数据市场方向、要点和设想：贴紧大数据资源中心建设，在信用体系、电子证照、主题工程、行业部门信息化建设方面拓展行业优势，走大数据联合运营之路

国家大数据发展战略和要求带来了广阔的市场方向，包括云数据中心基础设施建设、行业云大数据平台、数据交换共享平台、大数据细分行业协同应用、大数据处理和服务平台、大数据资产交易等，在此重点阐述数据交换和共享平台以及未来的行业应用带来的市场机遇。全国一体化的数据共享和交换平台，形成了一体化的政务数据资源中心、政务资源信息共享平台和政务资源信息开放平台。数据资源中心重点建设基础库、主题库和部门库。

基础库包括法人库、自然人库、信用库、地理信息库和电子证照库，这五个库是政务治理提升和便企便民的基础，国家治理模式的重心已经由“事前监管”转化为“事中事后监管”，行政权力事项推行“不见面审批”和“最多跑一次”，实行“一窗、一号、一网”的政务服务模式，“放管服”改革的核心思想是依靠信用机制分层管理，提高政务效率和质量并降低成本，建设和发展信用经济，符合现代经济的特征和规律，以“法人”和“自然人”为基础建设全国或者全省以生命周期为模型的电子证照库和以时间线为模型的信用行为库，可有效优化审批流程和监管模式，是未来政务大数据和行业大数据争夺的制高点，为了加强电子证照和信用行为的数据鉴权和认证，可引入区块链技术和体系，保证数据的可信性、不可篡改和追溯性；基础库中的地理信息库是全国全省一张图的基础，未来构建省级时空大数据平台是大势所趋，以GIS和大数据融合平台为基础，建设行政区划、国土规划信息、交通信息、生态资源信息、房产信息、医疗资源信息、教育资源信息、宏观经济信息、环保信息、行政服务、农业科技、精准扶贫、市场监管、城市运营信息、气象海洋测绘等等多层多领域信息，以服务的形式服务于各政务和企事业单位。

主题库的建设主要是以十二五和十三五规划的重点领域工程为基础，按照主题形成信息库，包括全民健康保障、全民住房保障、全民社会保障、药品安全监管、食品安全监管、安全生产监管、市场价格监管、金融综合监管、能源安全保障、信用体系建设、生态环境保护、行政执法监督、民主法制建设、执政能力建设、基本公共服务建设、行政许可审批等方向，这些主题工程和主题库具备延续性和完善性，未来的市场方向是依托基础库和其他主题库以及部门库进行深入融合分析；

部门库是党政公检法各领域各部门汇集的政务基础信息和业务信息，未来的市场方向是基于各部门主体业务，融合基础库和主题库进行数据融合分析以及大量新的应用创新，改造或者新建符合国家治理提升和公共服务的管理系统、互联网应用以及移动APP和微信应用，加强数据融合分析用以支撑领导决策、指挥调度和监管创新。

基于政务资源信息共享平台和政务资源信息开放平台，未来的市场机会是社会化联合运营，以政府和国资为主导，联合具备实力的软件厂商、大数据厂商、数据分析机构、互联网厂商、数据交易机构、智库、研究院等共同运营政务大数据和社会数据，运营实体可能是独立公司、控股公司或者协议合作方式，未来在常态数据分析、数据脱敏脱密、数据融合处理、数据服务产品加工、数据销售和推广方面展开合作并创造出巨大的就业机会，各类具备互联网运营特征的互联网应用、移动应用和产品将被持续孵化。

三、大数据技术方向、路线和建议：面向国家重大需求，实施创新驱动，形成自主可控的基于云平台的混合式大数据技术路线，整合资源加速形成大数据产业优势

国家大数据发展战略在技术方面提出明确要求，即：

要瞄准世界科技前沿，集中优势资源突破大数据核心技术，加快构建自主可控的大数据产业链、价值链和生态系统。要加快构建高速、移动、安全、泛在的新一代信息基础设施，统筹规划政务数据资源和社会数据资源，面向国家重大需求，面向国民经济发展主战场，全面实施促进大数据发展行动，完善大数据发展政策环境。要以数据为纽带促进产学研深度融合，形成数据驱动型创新体系和发展模式，培育造就一批大数据领军企业，打造多层次、多类型的大数据人才队伍。突出了自主可控、统筹规划和全面实施，面向重大需求在政务和社会大数据方面，促进创新驱动模式的企业、人才和研发深度融合发展。

大数据技术可行的架构一定是混合式体系，既要支撑大数据的存储和计算，又要支撑交换、共享以及各类大数据应用。从结构化数据、半结构化数据和非结构化数据方面，待选方案和产品较多，结构化和半结构化数据依托SQL数据库（传统关系型数据库，包括事务性和分析性）、NewSQL数据库(MPP数据库)，NoSQL数据库（mongodb、hbase、redis、leveldb等）进行存储，半结构化和非结构化数据主要依托文件系统、共享文件系统、分布式文件系统进行存储。在分布式计算和数据分析方向主要依托MapReduce、Yarn、hive、Spark、R、python、sas、pig、Impala、Hama、kylin等开源和商业体系。在大数据可视化方向，重点研究数据模型构建工具、数据立方以及基于WEB图形化集合。综上所述，基于Hadoop体系，在数据多源实时和非实时采集、分布式存储、分布式计算、数据模型和算法、可视化交互分析和展示、安全等方面整合研发，有效融合传统开源存储和计算技术，构建自主可控的基于开源组件的技术体系行之有效。目前国内自主知识产权的大数据分析平台基本是按照这个思路在整合研发，尤其是阿里云、腾讯云等公有云平台，整合力度和产品线较全。大数据技术体系，尤其是超大规模大数据平台，是从云计算的IAAS层、PAAS层和DAAS层统一整合，从基础实施资源虚拟资源、数据交换与采集、分布式存储和计算、大数据挖掘分析和可视化展示均实现弹性可配置、可监控、可管理、可扩展，成为事实上的大数据操作系统（DATAOS），而在私有云中心和大数据平台建设方面参照公有云大数据平台进行裁剪和定制。

随着大数据技术的飞速发展，大数据已经融入到各行各业。2018年中国的大数据行业发展趋势是什么?大数据行业整体市场规模如何?大数据行业前景如何?

(一)大数据行业整体市场规模及预测

整体来看，2018中国大数据行业的发展依然呈稳步上升趋势，市场规模达到了327 亿元，和去年相比增速超过 39%。随着政策的支持和资本的加入，未来几年中国大数据规模还将继续增长，但增速可能会趋于平稳。

(二)大数据在各行业应用状况

(1)企业哪些方面需要大数据?

根据大数据分析结果，将近一半的企业将大数据运用在企业工商信息管理方面，此外，在社会保障、劳动就业、市政管理、教育科研方面分别占据33.9%，32.7%，29.4%，29%。整体来看，大数据的应用范围广泛。

(2)多少企业应用到了大数据?

大数据分析对企业的发展越来越重要，35.1%以上的企业已经开始在企业内部应用到了大数据;34.2%的企业正在考虑应用大数据，22.9%的企业在未来1年有应用大数据的计划，仅仅有7.8%的企业暂不考虑应用大数据。

(3)这些企业如何使用大数据?

根据数据显示，38.8%的企业使用实时动态处理大数据并提供分析结果;37.5% 的企业分析历史数据;通过机器学习，辅助企业管理者更好地决策的企业占比为22.5% 。

(三)各行业大数据的发展水平如何?

我国行业大数据总体发展水平较好，在各行业都有应用。其中，金融大数据、政务大数据的应用水平高，同时交通、电信、商贸、医疗、教育、旅游等行业大数据的发展水平也有显着提升。

(四)大数据助力企业发展

(1)企业在哪些领域会应用大数据?

大数据应用广泛的top3领域是营销分析、客户分析和内部运营管理。其中，营销分析占比6成以上;50.2%的企业使用大数据进行客户分析;48.4% 的企业运用大数据进行内部运营管理。 大数据应用对企业的影响

(2)这么多企业应用大数据，大数据将会为这些企业带来什么收益呢?

55.8%的企业表示应用大数据后实现了更智能的决策;应用大数据提升了运营效率的企业占比为48.2%，这两个影响较为显着。应用大数据更好的管理风险，创造新的业务收入，增强生产能力的企业也占有一定比重。

从上述数据中，我们可以看出，大数据在各行各业的应用还将继续加强。

End.

作者：夏立城

来源：蓝盟网络运维专家

近期文章推荐

女生读研占比超半数，哪些是热门专业？

Excel、SAS、R、SPSS、Python优势分析

<入职数据分析师>线下分享 · 北京站

大数据时代的到来，简单的说是海量数据同完美计算能力结合的结果。确切的说是移动互联网、物联网产生了海量的数据，大数据计算技术完美地解决了海量数据的收集、存储、计算、分析的问题。大数据时代开启人类社会利用数据价值的另一个时代。

分享之前推荐一个大数据学习交流，未来将是大数据时代，需要学习大数据的抓紧时间学习，群内不定期分享视频资料，欢迎加入关注作者其他文章，可以找到大数据学习群

大数据行业发展现状

1、一些数据的记录是以模拟形式存在，或者以数据形式存在，但是存贮在本地，不是公开数据资源，没有开放给互联网用户，例如音乐、照片、视频、监控录像等影音资料。现在这些数据不但数据量巨大，并且共享到了互联网上，面对所有互联网用户，其数量之大是前所未有。

2、移动互联网出现后，移动设备的很多传感器收集了大量的用户点击行为数据，已知IPHONE有3个传感器，三星有6个传感器。它们每天产生了大量的点击数据，这些数据被某些公司所有拥有，形成用户大量行为数据。

3、电子地图如高德、百度、Google地图出现后，其产生了大量的数据流数据，这些数据不同于传统数据，传统数据代表一个属性或一个度量值，但是这些地图产生的流数据代表着一种行为、一种习惯，这些流数据经频率分析后会产生巨大的商业价值。基于地图产生的数据流是一种新型的数据类型，在过去是不存在的。

4、进入了社交网络的年代后，互联网行为主要由用户参与创造，大量的互联网用户创造出海量的社交行为数据，这些数据是过去未曾出现的。其揭示了人们行为特点和生活习惯。

5、电商户崛起产来了大量网上交易数据，包含支付数据，查询行为，物流运输、购买喜好，点击顺序，评价行为等，其是信息流和资金流数据。

6、传统的互联网入口转向搜索引擎之后，用户的搜索行为和提问行为聚集了海量数据。单位存储价格的下降也为存储这些数据提供了经济上的可能。

我们所指的大数据不同与过去传统的数据，其产生方式、存储载体、访问方式、表现形式、来源特点等都同传统数据不同。大数据更接近于某个群体行为数据，它是全面的数据、准确的数据、有价值的数据。

中国的大数据之路任重而道远

中国目前的大数据应用环境和技术相对于美国而言，在整体技术水平、应用环境、国民意识、商业环境、技术厂商、技术平台上面相差超过5年左右。在大数据应用的国家战略层面落后的也较多。

2012年3月，美国奥巴马政府宣布推出“大数据的研究和发展计划”。该计划涉及美国国家科学基金、美国国家卫生研究院、美国能源部、美国国防部、美国国防部高级研究计划局、美国地质勘探局等6个联邦政府部门，承诺将投资两亿多美元，大力推动和改善与大数据相关的收集、组织和分析工具及技术，以推进从大量的、复杂的数据集合中获取知识和洞见的能力。美国奥巴马政府宣布投资大数据领域，是大数据从商业行为上升到国家战略的分水岭，表明大数据正式提升到战略层面，大数据在经济社会各个层面、各个领域都开始受到重视。

2014年从“两会”的提案、议案看，很多人建议将大数据业务上升为国家战略，互联网领军人物李彦宏在政协记者会上表示，政府应该把更多和人民生活有关的数据资料，公开地放到网络上；雷军则直接建议将大数据纳入国家战略，推动大数据切实地被用起来；科大讯飞刘庆峰建议国家建设声纹数据库进行大数据反恐。张近东、马化腾、杨元庆的提案也与数据应用有着紧密联系。但是在中国大数据国家战略和大数据产业发展发面还没有一个清晰的蓝图。

最后总结一下，大数据时代将会给人类社会带来巨大变化。它是一个好的工具，就像计算机一样，帮助人们提升社会生产效率，了解事物真相，认识客观规律，同时加快进入智慧社会。

以上种种，无不揭示着大数据未来发展的大好前景！时不我待，抓住机遇！