行业数据分析前景

大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

大数据特征分析

大数据，不仅有“大”这个特点，除此之外，它还有很多其他特色。在这方面，业界各个厂商都有自己独特的见解，但是总体而言，可以用“4V+1C”来概括，“4V+1C分别代表了Variety（多样化）、Volume（海量）、Velocity（快速）、Vitality（灵活）以及Complexity（复杂）这五个单词。

1、Variety（多样化）

大数据一般包括以事务为代表的结构化数据、以网页为代表的半结构化数据和以视频和语音信息为代表的非结构化等多类数据，并且它们的处理和分析方式区别很大。

与大数据现象有关的数据量为尝试处理它的数据中心带来了新的挑战：它多样的种类。随着传感器、智能设备以及社交协作技术的激增，企业中的数据也变得更加复杂，因为它不仅包含传统的关系型数据，还包含来自网页、互联网日志文件（包括单击流数据）、搜索索引、社交媒体论坛、电子邮件、文档、主动和被动系统的传感器数据等原始、半结构化和非结构化数据。简言之，种类表示所有的数据类型。

2、Volume（海量）

如今存储的数据数量正在急剧增长，毫无疑问我们正深陷在数据之中。我们存储所有事物：环境数据、财务数据、医疗数据、监控数据等。有关数据量的对话已从TB级别转向PB级别，并且不可避免地会转向ZB级。现在经常听到一些企业使用存储集群来保存数PB的数据。随着可供企业使用的数据量不断增长，可处理、理解和分析的数据比例却不断下降。

通过各种智能设备产生了大量的数据，PB级别可谓是常态，一些客户每天处理的数据量都在几十GB、几百GB左右，估计国内大型互联网企业每天的数据量已经接近TB级别。

3、Velocity（快速）

大数据要求快速处理，因为有些数据存在时效性。比如电商的数据，假如今天数据的分析结果要等到明天才能得到，那么将会使电商很难做类似补货这样的决策，从而导致这些数据失去了分析的意义。

就像我们收集和存储的数据量和种类发生了变化一样，生成和需要处理数据的速度也在变化。不要将速度的概念限定为与数据存储库相关的增长速率，应动态地将此定义应用到数据——数据流动的速度。有效处理大数据需要在数据变化的过程中对它的数量和种类执行分析，而不只是在它静止后执行分析。

4、Vitality（灵活）

在互联网时代，和以往相比，企业的业务需求更新的频率加快了很多，那么相关大数据的分析和处理模型必须快速地适应新的业务需求。

5、Complexity（复杂）

虽然传统的BI已经很复杂了，但是由于前面4个V的存在，使得针对大数据的处理和分析更艰巨，并且过去那套基于关系型数据库的BI开始有点不合时宜了，同时也需要根据不同的业务场景，采取不同的处理方式和工具。

大数据产业的战略地位

1、国家级别的战略产业

美国政府认为数据资源是继陆空海三大资源外的另一种重要的国家战略资源，已将大数据战略上升到国家层面，从2012年到现在为止提出了诸多促进大数据产业发展的宣言和计划。英国在顶着经济低迷的巨大压力下还将大数据作为重点发展的科技领域，2013年投资1.89亿英镑用来加强数据采集和分析，以求在数据革命中抢占先机，2016年，英国政府又拿出7300万英镑投入大数据技术的开发。包括：在55个政府数据分析项目中展开大数据技术的应用；以高等学府为依托投资兴办大数据研究中心；积极带动牛津大学、伦敦大学等着名高校开设以大数据为核心业务的专业等。同样日本政府也提出了大力发展IT业的发展计划，不断地对信息产业提出战略规划。世界各国也逐渐意识到大数据时代的到来，纷纷建立大数据产业。

2、推动技术和知识创新模式的变革

大数据时代的到来引发了探索知识模式的改变。大数据时代的海量数据给科研模式带来了一种新的发展方向，存在于事物之间的因果关系已经不再是科研人员进行深度研究的必要步骤和关键，现在只需从大数据中得出有意义的相互关系，也许从这些相互关系中不能准确知晓事物发生的原因，但是可以预测这件事将会发生，这个价值已经足够大。在企业界，一些精明的领导者们可以洞察出对大数据的应用其实就是为了管理方式的变革。在学术界，着名的第四范式的科学研究阶段提出，即在人类经历了经验、理论、计算三个科学研究范式后进入第四范式——数据探索。

3、推动经济结构转型

大数据产业的兴起加快了产业升级和经济结构转型的进程。随着大数据时代的到来，部分产业界已经逐渐把重点转向把传统产业和大数据产业相结合的发展模式。对于传统工业，采用大数据处理方法进行新需求的探索和新材料的研发，既可降低研发成本，又能提高新产品研发的准确性；对于传统农业，利用大数据处理方法，可以培育新品种。大数据将会带来新一浪潮的生产力增长和消费者需求。计算机行业也从开始只关注运算速度转移到提高大数据的处理分析能力上来，变成真正的信息行业。大数据时代的发展迫使软硬件的不断更新从而能够推进信息行业不断发展，这为信息产业提供了又一大的发展机遇。

大数据行业发展规模

工信部印发《大数据产业发展规划2016-2020年》，特别提出加快推进大数据产业应用能力，到2020年，技术先进、应用繁荣、保障有力的大数据产业体系基本形成。

大数据相关产品和服务业务收入突破1万亿元，加快建设数据强国，为实现制造强国和网络强国提供强大的产业支撑。

2017年我国大数据市场规模为4700亿元（大数据是新兴产业，统计口径没有标准，市场上对于大数据规模的统计数据各有不同，本文大数据产业指以数据生产、采集、存储、加工、分析、服务为主的相关经济活动，包括数据资源建设、大数据软硬件产品的开发、销售和租赁活动，以及相关信息技术服务，仍然具有增长空间。

图1：2015-2017年中国大数据产业规模

数据来源：中研普华产业研究院

中国大数据产业发展因素分析

1、有利因素

跟国外相比，国内的大数据发展，尤其在面向应用及相关技术方面，具有独特优势。国内外在大数据应用方面的差距已逐渐缩小，甚至在有些应用领域，国内比国外更灵活、更巧妙，这主要受益于我国人口基数大，随着大数据越来越深入人们的生活，全社会对数据智能化的需求不断增加，有效激发了市场活力，带动相关大数据技术发展。从总体来看，美国、英国和欧洲其他国家大数据发展处于相对成熟阶段，国内大数据发展已趋于成熟。

当前，很多大数据技术应用已被金融领域所关注。全球大数据发展得益于对计算机技术开源理念的推行，而相比国外，国内创造新技术的周期可能更短、速度更快，尤其需要满足国内庞大人口数量的广泛需求，这使国内对于大数据技术的能力要求超出国外“标准技术所达到的能力范围，促进了国内新技术的发展。国内要进一步加强对数据应用和相关技术的梳理，使之成规模化发展、成体系化传承；应进一步加强与大数据相关的立法、制度和标准化建设，强化技术理论研究与传承，稳固大数据的根基。

2、不利因素

丰富的数据源是大数据产业发展的前提。而我国数字化的数据资源总量远远低于美欧，每年新增数据量仅为美国的7%，欧洲的12%，其中政府和制造业的数据资源积累远远落后于国外。

就已有有限的数据资源来说，还存在标准化、准确性、完整性低，利用价值不高的情况，这大大降低了数据的价值。

同时，我国政府、企业和行业信息化系统建设往往缺少统一规划和科学论证，系统之间缺乏统一的标准，形成了众多“信息孤岛”，而且受行政垄断和商业利益所限，数据开放程度较低，以邻为壑、共享难，这给数据利用造成极大障碍。制约我国数据资源开放和共享的一个重要因素是政策法规不完善，大数据挖掘缺乏相应的立法，无法既保证共享又防止滥用。

一方面欠缺推动政府和公共数据的政策，另一方面数据保护和隐私保护方面的制度不完善抑制了开放的积极性。因此，建立一个良性发展的数据共享生态系统，是我国大数据发展需要迈过去的第一道砍。

我国数据处理技术基础薄弱，总体上以跟随为主，难以满足大数据大规模应用的需求。

如果把大数据比作石油，那数据分析工具就是勘探、钻井、提炼、加工的技术。

我国必须掌握大数据关键技术，才能将资源转化为价值。

图2:2018-2023年中国大数据产业市场规模预测

数据来源：中研普华产业研究院

2018年大数据专业就业前景

大数据人才稀缺

据数联寻英发布《大数据人才报告》显示,目前全国的大数据人才仅46万,未来3-5年内大数据人才的缺口将高达150万。

据职业社交平台LinkedIn发布的《2016年中国互联网最热职位人才报告》显示，研发工程师、产品经理、人力资源、市场营销、运营和数据分析是当下中国互联网行业需求最旺盛的六类人才职位。其中研发工程师需求量最大，而数据分析人才最为稀缺。领英报告表明，数据分析人才的供给指数最低，仅为0.05，属于高度稀缺。数据分析人才跳槽速度也最快，平均跳槽速度为19.8个月。

根据中国商业联合会数据分析专业委员会统计，未来中国基础性数据分析人才缺口将达到1400万，而在BAT企业招聘的职位里，60%以上都在招大数据人才。

大数据专业就业三大方向

大数据主要的三大就业方向：大数据系统研发类人才、大数据应用开发类人才和大数据分析类人才。

在此三大方向中，各自的基础岗位一般为大数据系统研发工程师、大数据应用开发工程师和数据分析师。

大数据专业人才就业薪资

1基础人才：数据分析师

北京数据分析平均工资： 10630/月，取自 15526 份样本，较 2016 年，增长 9.4%。

数据分析师岗位职责

业务类别:技术

业务方向:数据分析

工作职责:

1. 根据公司产品和业务需求，利用数据挖掘等工具对多种数据源进行诊断分析，建设征信分析模型并优化，为公司征信运营决策、产品设计等方面提供数据支持；

2. 负责项目的需求调研、数据分析、商业分析和数据挖掘模型等，通过对运行数据进行分析挖掘背后隐含的规律及对未来的预测；

3. 参与数据挖掘模型的构建、维护、部署和评估；

4. 整理编写商业数据分析报告，及时发现和分析其中变化和问题，为业务发展提供决策支持；

5. 独立完成项目需求管理、方案设计、实施管理和项目成果质量的把控；

6. 参与编写项目相关文档。

教育背景:

学历：本科其它：

经验要求:工作经验：3-5年

任职要求:

1. 统计学、数学或计算机、数理统计或数据挖掘专业方向相关专业本科或以上学历；有扎实的数据统计和数据挖掘专业知识；

2. 熟练使用数理统计、数据分析、数据挖掘工具软件（SAS、R、Python等的一种或多种），能熟练使用SQL读取数据；

3. 使用过 逻辑回归、神经网络、决策树、聚类 等的一种或多种建模方法；

4. 3年以上数据分析工作经验，征信从业背景人员优先；

5. 具有金融行业项目经验的相关经验者优先考虑；

6. 主动性强，有较强的责任心，积极向上的工作态度，有团队协作精神。

能力素养:

良好的分析、归纳和总结能力，善于分析、解决实际问题； 主动性强，有较强的责任心，积极向上的工作态度，有团队协作精神。

2大数据开发工程师

北京大数据开发平均工资： 30230/月。

大数据开发工程师/专家 岗位指责（引自 滴滴出行）：

职位描述：

1、构建分布式大数据服务平台，参与和构建公司包括海量数据存储、离线/实时计算、实时查询，大数据系统运维等系统；

2、服务各种业务需求，服务日益增长的业务和数据量；

3、深入源码内核改进优化开源项目，解决各种hadoop、spark、hbase疑难问题，参与到开源社区建设和代码贡献；

岗位要求：

1、计算机或相关专业本科以上学历（3年以上工作经验）；

2、精通C++/Java/Scala程序开发(至少一种)，熟悉Linux/Unix开发环境；

3、熟悉常用开源分布式系统，精通Hadoop/Hive/Spark/Storm/Flink/HBase之一源代码；

4、有大规模分布式系统开发、维护经验，有故障处理能力，源码级开发能力；

5、具有良好的沟通协作能力，具有较强的分享精神；

6、对Kudu、Kylin、Impala、ElasticSearch，github等系统有深入使用和底层研究者加分；

3Hadoop开发工程师

北京hadoop平均工资： 20130/月，取自 1734 份样本。

Hadoop开发工程师岗位职责（引自新浪网）：

职位描述：

1.参与优化改进新浪集团数据平台基础服务，参与日传输量超过百TB的数据传输体系优化，日处理量超过PB级别的数据处理平台改进，多维实时查询分析系统的构建优化；

2.分布式机器学习算法在数据平台的构建与优化（包括常见的LR、GBDT、FM、LDA、Word2Vec及DNN等）；

3.深入源码改进各种开源大数据项目（包括Hadoop、Spark、Kafka、HBase等）。

任职要求：

1.计算机或相关专业本科以上学历；

2.熟悉Linux环境下开发，熟练掌握C++/Java/Scala等一种以上编程语言；

3.熟悉Hadoop生态系统相关项目，精通以下项目之一的源码（Hadoop/Spark/Kafka/HBase/Flume/ElasticSearch/Druid/Kylin）；

4.具备良好的学习能力、分析能力和解决问题的能力。

4数据挖掘工程师

北京数据挖掘平均工资： 21740/月，取自 3449 份样本，较 2016 年，增长 20.3%；

数据挖掘工程师招聘要求（引自蚂蚁金服集团技术部）：

工作职责：

1、在分布式系统上进行数据计算、挖掘、和实现算法；

2、数据仓库模型设计和建立；

3、数据梳理流程的实现和维护；

4、物流场景下的地址文本、空间属性研究和分析。

任职资格：

1、本科以上学历，有扎实的统计学，数据挖掘，机器学习，自然语言识别理论基础，一种或几种以上的实际使用经验。

2、熟悉聚类、分类、回归等机器学习算法和实现，对常见的核心算法和数据挖掘方法有透彻的理解和实际经验。

3、深入理解Map-Reduce模型，对Hadoop、Hive、Spark、Storm等大规模数据存储于运算平台有实践经验。

4、有扎实的计算机理论基础，至少熟悉一种编程语言，Java优先。

5、有三年以上互联网公司或者海量数据处理工作经验，大数据挖掘、分析、建模经验

5算法工程师

北京算法工程师平均工资： 22640/月，取自 10176 份样本。

算法工程师 招聘要求（引自美团点评数据平台部）：

职位描述：

互联网公司背景优先

A、广告算法

岗位职责：

1.负责点击率预估等主要广告算法的技术选型；

2.负责核心算法的开发；

3.负责广告大数据处理流程的建设及相关工具的研发；

4.负责广告技术研究项目的推进与管理；

职位需求：

1.计算机或相关专业本科以上学历，3年以上相关工作经验;

2.熟练掌握一门开发语言；

3.有机器学习、数据挖掘相关知识；

4.在广告、搜索、推荐等相关领域之一有技术研究工作经验；

5.有较强的沟通协调能力；

B、推荐算法

职位描述：

1. 参与各个产品线的个性化推荐系统的研发；

2. 分析用户行为数据，并设计合理的推荐算法模型及策略，并优化推荐排序；

3. 通过对用户行为数据的挖掘，对用户进行建模，精准刻画用户各种属性；

职位要求：

1. 全日制本科及以上学历，计算机相关专业；

2. 熟练掌握各类个性化推荐算法，并有开发个性化推荐系统的实际项目经验；熟练掌握各类回归及排序算法，能够利用相关算法进行推荐排序的优化；

3. 熟练掌握分类、聚类、回归、降维等经典机器学习算法和技术，能够根据实际问题选择合适的模型和算法并进行相应的开发；

4. 有较强的工程架构和开发能力，能够实现支撑千万级用户和TB级用户行为数据的推荐系统或算法；

5. 掌握python、matlab等脚本语言，熟悉各类数据挖掘工具（如weka、Mahout），能够快速建立模型并进行验证；

C、算法工程师

岗位职责:

1、开发和优化用户行为数据挖掘，文本分类和语义理解，社交网络分析，网页搜索，推荐系统等领域的特定算法

2、能够很快学习和利用state-of-the-art的算法解决实际产品问题，提升产品用户体验

任职资格:

1、有一定的研究、实验的能力，优秀的分析问题和解决问题的能力

2、理解自然语言处理、机器学习、网页搜索，推荐系统，用户数据分析和建模的基本概念和常用方法，有相关领域的实际项目研发或者实习经历者优先。

3、熟悉C++, Java或Python，熟悉Linux或类Unix系统开发,有较强的编程能力。 能独立实现线上算法模块者优先。

4、对大数据处理平台和工具有一定经验者优先, 包括： Hadoop, Hive, Pig, Spark 等

最后一个问题，哪些公司需求大数据人才？

答：所有的公司。大到世界500强，BAT这样的公司，小到创业公司，他们都需求数据人才。

马云爸爸说“我们已从IT时代进入了DT时代，未来我们的汽车、电灯泡、电视机、电冰箱等将全部装上操作系统，并进行数据集成，数据将会让机器更“聪明”。DT时代，数据将成为主要的能源，离开了数据，任何组织的创新都基本上是空壳。”

数据，未来的一切。