大数据行业分析

大数据行业这么火，很多人想要转行从事大数据技术工作了，你知道大数据行业都有什么职位吗?他们的工作内容是什么?大数据工程师的工作辛苦吗?需要经常加班吗?

大数据行业相关工作分析

大数据行业范围很广，从事大数据职位的人才每天所做的工作不一样，使用的技能也不一样，下面看看大数据行业相关工作分析：

一、 大数据工程师工作分析

大数据工程师的工作内容有哪些?大数据工程师侧重点不一样，有的强调数据库编程，有的突出应用数据和统计学知识，其实大数据工程师是一个统称，数据挖掘工程师、大数据专家、数据研究员、用户分析专家等这些大数据相关职务都是大数据工程师。

大数据工程师首先要具备的条件就是逻辑思维，可以迅速定位某个商业问题的关键属性和决定因素，拥有大规模的处理数据经验知道什么是相关什么是无关，使用什么数据是有价值的，如何找到业务最核心的需求。

二、 大数据架构师工作分析

大数据架构师的主要职责就是建立和维持数据存储的技术基准，通过规划硬件软件的结构，保持数据存储系统可以支持未来数据量和分析的需求。目前行业内对大数据架构师的要求是拥有电脑科学学位并且精通数据库相关知识，对关联式数据库、数据仓库以及分散式数据系统等专业技术能力有足够的了解，而且大数据架构师的薪资也很高。

三、 大数据科学家工作分析

大数据科学师是大数据分析师的进化版，更高一级的工作岗位，大数据科学家把精力都放在分析数据的算法，提出不同的决策方案测试理论研究。

四、 大数据工作者需要掌握的技能

1.数据仓库：数据仓库是将大量数据集合到一个地方进行分析，每天大量的数据信息需要有存储的地方，数据仓库让它们聚集在一个地方，数据工程师常用数据仓库来工作。

2.计算机学习算法以及mahout库加mllib、R语言、lambad架构、kappa架构、kylin、alluxio。

3.实战项目经验，无乱是在那个工作行业就职，都想要有实战项目经验，这样的大数据人才普遍比较受重用，这样的大数据人才能力也很强。

大数据行业的每一个职位工作都不一样，工作的侧重点也不一样，重点掌握的技能也不一样，想要成为一个合格的大数据行业工作者，努力提升自己的专业技能吧!

随着大数据时代的到来，现代信息技术的不断发展，在政府及企业的大力推进下，大数据的新技术、新业态、新模式将不断涌现，产业规模呈现高速增长态势。

趋势一： 政策环境持续优化， 产业发展将迎来“黄金期”

随着国家大数据战略推进实施以及配套政策的贯彻落实，大数据产业发展环境将进一步优化，社会经济各领域对大数据服务需求将进一步增强，大数据的新技术、新业态、新模式将不断涌现，产业规模将继续保持高速增长态势。

趋势二： 大数据产业集聚 将呈现特色化发展

大数据综合试验区建设是国家统筹推进大数据产业发展的重要举措。2016年，国家对大数据产业区域发展进行整体规划布局，共计批复了8个国家大数据综合试验区建设。2017年，随着8大国家大数据综合实验区建设不断加快，产业发展将推动形成特色领域。围绕京津冀和珠三角跨区域类综合试验区，将更加注重数据要素流通，以数据流引领技术流、物质流、资金流、人才流，支撑跨区域公共服务、社会治理和产业转移，促进区域一体化发展。结合地方产业发展和应用特色，大数据产业集聚区和大数据新型工业化产业示范基地建设也将持续推进。

趋势三： 大数据与人工智能、云计算、物联网 等技术的融合创新将更加深入

网络信息技术领域是全球研发投入最集中、创新最活跃、应用最广泛、辐射带动作用最大的技术创新领域，是全球技术创新的竞争高地。大数据、云计算、物联网、人工智能等新一代信息技术是最典型的网络信息技术，创新驱动是其发展的原动力，新兴技术间的融合创新更是产业发展的主基调。2017年，大数据的技术发展与物联网、云计算、人工智能等新技术领域的联系将更加紧密，物联网的发展将极大提高数据的获取能力，云计算与人工智能将深刻地融入数据分析体系，融合创新将会不断地涌现和持续深入。

趋势四： 工业大数据对智能制造的 赋能效应将进一步释放

在《大数据产业发展规划2016-2020年》中，提出了深化工业大数据创新应用的重点任务和实施工业大数据创新发展工程，加快工业大数据基础设施建设，推进工业大数据全流程应用，培育数据驱动的制造业新模式。2017年，随着《国务院关于深化制造业与互联网融合发展的指导意见》、《大数据产业发展规划2016-2020年》等政策规划的落地实施，我国将进一步深化工业云、大数据等技术在工业领域的集成应用，探索建立工业大数据中心，实施工业大数据应用示范工程，工业大数据对智能制造的赋能效应将进一步释放。

趋势五： 大数据安全和数据跨境流动 将成为国家和社会关注的焦点

数据资源作为信息社会的重要生产要素、无形资产和社会财富，成为一个国家的基础性战略资源。近年来，由于数据在网络空间传播迅速，且当前技术手段和行政手段都无法对其实施有效监管，使得大数据安全问题和数据跨境流动安全风险日益加剧。2017年，随着《中华人民共和国网络安全法》及相关配套细则的正式实施，大数据安全的市场空间将进一步释放，政府和企业在大数据安全技术、产品和服务创新方面的投入进一步加大；国家大力推进双边区域性跨境数据流动合作，建立国家间数据流通保护的协调机制，参与数据跨境流动国际标准和规则制定的积极性将不断提高。

大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

大数据特征分析

大数据，不仅有“大”这个特点，除此之外，它还有很多其他特色。在这方面，业界各个厂商都有自己独特的见解，但是总体而言，可以用“4V+1C”来概括，“4V+1C分别代表了Variety（多样化）、Volume（海量）、Velocity（快速）、Vitality（灵活）以及Complexity（复杂）这五个单词。

1、Variety（多样化）

大数据一般包括以事务为代表的结构化数据、以网页为代表的半结构化数据和以视频和语音信息为代表的非结构化等多类数据，并且它们的处理和分析方式区别很大。

与大数据现象有关的数据量为尝试处理它的数据中心带来了新的挑战：它多样的种类。随着传感器、智能设备以及社交协作技术的激增，企业中的数据也变得更加复杂，因为它不仅包含传统的关系型数据，还包含来自网页、互联网日志文件（包括单击流数据）、搜索索引、社交媒体论坛、电子邮件、文档、主动和被动系统的传感器数据等原始、半结构化和非结构化数据。简言之，种类表示所有的数据类型。

2、Volume（海量）

如今存储的数据数量正在急剧增长，毫无疑问我们正深陷在数据之中。我们存储所有事物：环境数据、财务数据、医疗数据、监控数据等。有关数据量的对话已从TB级别转向PB级别，并且不可避免地会转向ZB级。现在经常听到一些企业使用存储集群来保存数PB的数据。随着可供企业使用的数据量不断增长，可处理、理解和分析的数据比例却不断下降。

通过各种智能设备产生了大量的数据，PB级别可谓是常态，一些客户每天处理的数据量都在几十GB、几百GB左右，估计国内大型互联网企业每天的数据量已经接近TB级别。

3、Velocity（快速）

大数据要求快速处理，因为有些数据存在时效性。比如电商的数据，假如今天数据的分析结果要等到明天才能得到，那么将会使电商很难做类似补货这样的决策，从而导致这些数据失去了分析的意义。

就像我们收集和存储的数据量和种类发生了变化一样，生成和需要处理数据的速度也在变化。不要将速度的概念限定为与数据存储库相关的增长速率，应动态地将此定义应用到数据——数据流动的速度。有效处理大数据需要在数据变化的过程中对它的数量和种类执行分析，而不只是在它静止后执行分析。

4、Vitality（灵活）

在互联网时代，和以往相比，企业的业务需求更新的频率加快了很多，那么相关大数据的分析和处理模型必须快速地适应新的业务需求。

5、Complexity（复杂）

虽然传统的BI已经很复杂了，但是由于前面4个V的存在，使得针对大数据的处理和分析更艰巨，并且过去那套基于关系型数据库的BI开始有点不合时宜了，同时也需要根据不同的业务场景，采取不同的处理方式和工具。

大数据产业的战略地位

1、国家级别的战略产业

美国政府认为数据资源是继陆空海三大资源外的另一种重要的国家战略资源，已将大数据战略上升到国家层面，从2012年到现在为止提出了诸多促进大数据产业发展的宣言和计划。英国在顶着经济低迷的巨大压力下还将大数据作为重点发展的科技领域，2013年投资1.89亿英镑用来加强数据采集和分析，以求在数据革命中抢占先机，2016年，英国政府又拿出7300万英镑投入大数据技术的开发。包括：在55个政府数据分析项目中展开大数据技术的应用；以高等学府为依托投资兴办大数据研究中心；积极带动牛津大学、伦敦大学等着名高校开设以大数据为核心业务的专业等。同样日本政府也提出了大力发展IT业的发展计划，不断地对信息产业提出战略规划。世界各国也逐渐意识到大数据时代的到来，纷纷建立大数据产业。

2、推动技术和知识创新模式的变革

大数据时代的到来引发了探索知识模式的改变。大数据时代的海量数据给科研模式带来了一种新的发展方向，存在于事物之间的因果关系已经不再是科研人员进行深度研究的必要步骤和关键，现在只需从大数据中得出有意义的相互关系，也许从这些相互关系中不能准确知晓事物发生的原因，但是可以预测这件事将会发生，这个价值已经足够大。在企业界，一些精明的领导者们可以洞察出对大数据的应用其实就是为了管理方式的变革。在学术界，着名的第四范式的科学研究阶段提出，即在人类经历了经验、理论、计算三个科学研究范式后进入第四范式——数据探索。

3、推动经济结构转型

大数据产业的兴起加快了产业升级和经济结构转型的进程。随着大数据时代的到来，部分产业界已经逐渐把重点转向把传统产业和大数据产业相结合的发展模式。对于传统工业，采用大数据处理方法进行新需求的探索和新材料的研发，既可降低研发成本，又能提高新产品研发的准确性；对于传统农业，利用大数据处理方法，可以培育新品种。大数据将会带来新一浪潮的生产力增长和消费者需求。计算机行业也从开始只关注运算速度转移到提高大数据的处理分析能力上来，变成真正的信息行业。大数据时代的发展迫使软硬件的不断更新从而能够推进信息行业不断发展，这为信息产业提供了又一大的发展机遇。

大数据行业发展规模

工信部印发《大数据产业发展规划2016-2020年》，特别提出加快推进大数据产业应用能力，到2020年，技术先进、应用繁荣、保障有力的大数据产业体系基本形成。

大数据相关产品和服务业务收入突破1万亿元，加快建设数据强国，为实现制造强国和网络强国提供强大的产业支撑。

2017年我国大数据市场规模为4700亿元（大数据是新兴产业，统计口径没有标准，市场上对于大数据规模的统计数据各有不同，本文大数据产业指以数据生产、采集、存储、加工、分析、服务为主的相关经济活动，包括数据资源建设、大数据软硬件产品的开发、销售和租赁活动，以及相关信息技术服务，仍然具有增长空间。

图1：2015-2017年中国大数据产业规模

数据来源：中研普华产业研究院

中国大数据产业发展因素分析

1、有利因素

跟国外相比，国内的大数据发展，尤其在面向应用及相关技术方面，具有独特优势。国内外在大数据应用方面的差距已逐渐缩小，甚至在有些应用领域，国内比国外更灵活、更巧妙，这主要受益于我国人口基数大，随着大数据越来越深入人们的生活，全社会对数据智能化的需求不断增加，有效激发了市场活力，带动相关大数据技术发展。从总体来看，美国、英国和欧洲其他国家大数据发展处于相对成熟阶段，国内大数据发展已趋于成熟。

当前，很多大数据技术应用已被金融领域所关注。全球大数据发展得益于对计算机技术开源理念的推行，而相比国外，国内创造新技术的周期可能更短、速度更快，尤其需要满足国内庞大人口数量的广泛需求，这使国内对于大数据技术的能力要求超出国外“标准技术所达到的能力范围，促进了国内新技术的发展。国内要进一步加强对数据应用和相关技术的梳理，使之成规模化发展、成体系化传承；应进一步加强与大数据相关的立法、制度和标准化建设，强化技术理论研究与传承，稳固大数据的根基。

2、不利因素

丰富的数据源是大数据产业发展的前提。而我国数字化的数据资源总量远远低于美欧，每年新增数据量仅为美国的7%，欧洲的12%，其中政府和制造业的数据资源积累远远落后于国外。

就已有有限的数据资源来说，还存在标准化、准确性、完整性低，利用价值不高的情况，这大大降低了数据的价值。

同时，我国政府、企业和行业信息化系统建设往往缺少统一规划和科学论证，系统之间缺乏统一的标准，形成了众多“信息孤岛”，而且受行政垄断和商业利益所限，数据开放程度较低，以邻为壑、共享难，这给数据利用造成极大障碍。制约我国数据资源开放和共享的一个重要因素是政策法规不完善，大数据挖掘缺乏相应的立法，无法既保证共享又防止滥用。

一方面欠缺推动政府和公共数据的政策，另一方面数据保护和隐私保护方面的制度不完善抑制了开放的积极性。因此，建立一个良性发展的数据共享生态系统，是我国大数据发展需要迈过去的第一道砍。

我国数据处理技术基础薄弱，总体上以跟随为主，难以满足大数据大规模应用的需求。

如果把大数据比作石油，那数据分析工具就是勘探、钻井、提炼、加工的技术。

我国必须掌握大数据关键技术，才能将资源转化为价值。

图2:2018-2023年中国大数据产业市场规模预测

数据来源：中研普华产业研究院