数据分析发展现状

数据分析，作为一个新的行业领域，正在全球迅速发展，它开辟了人类获取知识的新途径。

目前数据库技术、软件工具、各种硬件设备飞速发展，在这些软硬件技术与设备的支持下，信息技术的应用已在各行各业全面展开，尤其是对通信、互联网、金融等行业的发展做出了巨大贡献，并且经过长期的应用，积累了大量丰富的数据。但大部分企业对其存储信息的利用率极低。庞大的历史数据是否有价值？有何价值？是否可以综合利用分析？是否能够为领导决策提供参考依据？

回答是肯定的，数据分析这一项工作越来越受到决策层的重视，借助数据分析的各种工具，从海量的历史数据中提取、挖掘对业务发展有价值的、潜在的知识，找出趋势，为决策层的决策提供有力的依据，对产品或服务的发展方向起到积极作用，有力推动企业的科学化、信息化管理。

从20世纪90年代起，欧美国家开始大量培养数据分析师，直到现在，对数据分析师的需求仍然长盛不衰，而且还有扩张之势。根据美国劳工部预测，到2018年，数据分析师的需求量将增长20%，就算你不是数据分析师，但数据分析技能也是未来必不可少的工作技能之一。

数据分析师如此抢手的原因何在呢？

一个简单的原因就是社会越发达，人们对数据的依赖就越多，无论是政府决策，还是公司运营，科学研究还是媒体宣传，都需要数据支持。那么，对数据有如此大的依赖，就必然导致对数据分析的大量需求。因此，将数据转化为知识、结论和规律，就是数据分析的作用和价值。

数据究竟会庞大到什么地步呢？

据国际知名咨询公司估计，到2020年，全球每年产生的数据量将达到3500万亿GB，打个比方，就是用普通的DVD一张一张的摞起来，可以从地球摞到月球两次。

全球每年产生的数据量

面对这样庞大的数据，对数据分析师的要求就不仅仅是单纯做分析了，更重要的是与相关业务部门进行合作，将数据真正应用到业务中，根据实际的业务发展情况，识别哪些数据可用，哪些不适用，而不是孤立的在“真空环境”下进行分析。这就要求数据分析师不仅具备洞察数据的能力，还要对相关业务的背景有深入的了解，明白客户或业务部门的需求，从而将数据信息化、可视化，最后转化为生产力，帮助企业获得利润，这就是整个数据“供应链”，当然数据分析师也要理解这个“供应链”。

（读书笔记：狄松）

一、何为数据分析？

简单来说，就是对数据进行分析，较为专业的说法是，数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，将它们加以汇总和理解并消化，以求最大化地开发数据的功能，发挥数据的作用。

数据分析是为了提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。这里的数据也称观测值，是通过实验、测量、观察、调查等方式获取的结果，常常以数量的形式展现出来。

数据分析的目的是把隐藏在一大批看似杂乱无章的数据背后的信息集中和提炼出来，总结出所研究对象的内在规律。在实际工作中，数据分析能够帮助管理者进行判断和决策，以便采取适当策略与行动。例如：企业的高层希望通过市场分析和研究，把握当前产品的市场动向，从而制定合理的产品研发和销售计划，这就必须依赖数据分析才能完成。

在统计学领域，有些学者将数据分析划分为描述性数据分析、探索性数据分析以及验证性数据分析。

数据分析类别

其中，探索性数据分析侧重于在数据中发现新的特征，而验证性数据分析则侧重于验证已有假设的真伪证明。

从另一个角度看，描述性数据分析属于初级数据分析，常见的分析方法有对比分析法、平均分析法、交叉分析法等。而探索性数据分析以及验证性数据分析属于高级数据分析，常见的分析方法有相关分析、因子分析、回归分析等。我们日常学习和工作中涉及到的数据分析主要是描述性数据分析，也就是大家常用的初级数据分析。

二、数据分析的作用

1、现状分析

简单来说就是告诉你过去发生了什么。

具体体现在：

第一，告诉你企业现阶段的整体运营情况，通过各个经营指标的完成情况来衡量企业的运营状态，以说明企业整体运营是好了还是坏了，好的程度如何，坏的程度又到哪里。

第二，告诉你企业各项业务的构成，让你了解企业各项业务的发展及变动情况，对企业运营状况有更深入的了解。

现状分析一般通过日常通报来完成，如日报、周报、月报等形式。

2、原因分析

简单来说就是告诉你某一现状为什么发生。经过第一阶段的现状分析，我们对企业的运营情况有了一个基本的了解，但是不知道运营情况具体好在哪里，差在哪里，是什么原因引起的。这时候我们就需要开展原因分析，以进一步确定业务变动的具体原因。

例如2012奶奶2月运营收入环比下降5%，是什么原因导致的呢？是各项业务收入都出现下降，还是个别业务收入下降引起的？是各个地区业务收入都出现下降，还是个别地区业务收入下降引起的？这就需要我们开展原因分析，进一步确定收入下降的具体原因，对运营策略做出调整与优化。

原因分析一般通过专题分析来完成，根据企业运营情况选择针对某一现状进行原因分析。

3、预测分析

简单来说就是告诉你将来会发生什么。

在了解企业运营现状后，有时候还需要对企业未来发展趋势做出预测，为制定企业运营目标及策略提供有效的参考与决策依据，以保证企业的可持续健康发展。

预测分析一般通过专题分析来完成，通常在制定企业季度、年度等计划时进行，其开展的频率没有现状分析及原因分析高。

数据分析的三大作用

（读书笔记：狄松）

1.什么是数据分析？

数据分析的目的是把隐藏在一些看似杂乱无章的数据背后的信息提炼出来，总结出所研究对象的内在规律。在实际工作中，数据分析能够帮助管理者进行判断和决策，以便采取适当策略与行动。比如：企业的高管希望通过市场分析和研究，把握当前产品的市场动向，从而制定合理的产品研发和销售计划，这就必须依赖数据分析才能够完成。

简单的说，就是对数据进行分析，比较专业的说法是，数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，未提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。以求最大化地开发数据的功能，发挥数据的作用。

数据分析包含“数据”和“分析”两个方面一方面包括加工和整理数据，另一方面也包括分析数据，从中提取有价值的信息并形成对业务有帮助的结论。

数据分析的成果通常以分析报告的形式呈现。对于数据分析报告，分析就是论点，数据就是论据，两者缺一不可。

2.数据分析类别

其中，探索性数据分析侧重于在数据中发现新的特征，而验证性数据分析则侧重于验证已有假设的真伪证明。

数据分析的划分：描述性数据分析、探索性数据分析、验证性数据分析。

1）描述性数据分析：属于初级数据分析，常见的分析方法有对比分析法、平均分析法、交叉分析法。

2）探索性数据分析：侧重于再数据之中发现新的特征

3）验证性数据分析：侧重于验证已有假设的真伪证明

其中探索性数据分析和验证性数据分析属于高级数据分析，常见的分析方法有相关分析、因子分析、回归分析等等。

3.数据分析的作用

数据分析在日常企业运营中主要有三大作用：

1.现状分析

简单的说就是告诉你过去发生了什么。

具体表现在：

第一，告诉你企业现阶段的整体运营情况，通过各个经营指标的完成情况来衡量企业的运营状态，以说明企业整体运营是更好了还是坏了，好的程度是如何，坏的程度又到哪里。

第二，告诉你企业各项业务的构成，让你了解企业各项业务的发展及变动情况，对企业经营状况有更深入的了解。

现状分析一般通过日常通报来完成，如日报、周报、月报等形式。

2.原因分析

简单的说就是告诉你某一现状为什么发生。经过第一阶段的现状分析，我们对企业的运营情况有了一个基本的了解，但是不知道运营情况具体好在哪里，差在哪里，是什么原因引起的。这时候我们就需要开展原因分析，以进一步确定业务变动的具体原因。

原因分析一般通过专题分析来完成，根据企业运营情况选择针对某一现状进行原因分析。

3.预测分析

简单来说就是告诉你将来会发生什么。

在了解企业运营现状后，有时候还需要对企业未来发展趋势做出预测，为企业制定经营目标以及提供有效的策略参考与决策依据，以确保企业的可持续健康发展。

预测分析一般通过专题分析来完成，通常在制定企业季度、年度等计划时进行，其开展的频率没有现状分析及原因分析高。

什么时候开展什么样的数据分析，需要根据自身的需求及目的来确定。

分享IT技术和行业经验，请关注-技术学派。

大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

大数据特征分析

大数据，不仅有“大”这个特点，除此之外，它还有很多其他特色。在这方面，业界各个厂商都有自己独特的见解，但是总体而言，可以用“4V+1C”来概括，“4V+1C分别代表了Variety（多样化）、Volume（海量）、Velocity（快速）、Vitality（灵活）以及Complexity（复杂）这五个单词。

1、Variety（多样化）

大数据一般包括以事务为代表的结构化数据、以网页为代表的半结构化数据和以视频和语音信息为代表的非结构化等多类数据，并且它们的处理和分析方式区别很大。

与大数据现象有关的数据量为尝试处理它的数据中心带来了新的挑战：它多样的种类。随着传感器、智能设备以及社交协作技术的激增，企业中的数据也变得更加复杂，因为它不仅包含传统的关系型数据，还包含来自网页、互联网日志文件（包括单击流数据）、搜索索引、社交媒体论坛、电子邮件、文档、主动和被动系统的传感器数据等原始、半结构化和非结构化数据。简言之，种类表示所有的数据类型。

2、Volume（海量）

如今存储的数据数量正在急剧增长，毫无疑问我们正深陷在数据之中。我们存储所有事物：环境数据、财务数据、医疗数据、监控数据等。有关数据量的对话已从TB级别转向PB级别，并且不可避免地会转向ZB级。现在经常听到一些企业使用存储集群来保存数PB的数据。随着可供企业使用的数据量不断增长，可处理、理解和分析的数据比例却不断下降。

通过各种智能设备产生了大量的数据，PB级别可谓是常态，一些客户每天处理的数据量都在几十GB、几百GB左右，估计国内大型互联网企业每天的数据量已经接近TB级别。

3、Velocity（快速）

大数据要求快速处理，因为有些数据存在时效性。比如电商的数据，假如今天数据的分析结果要等到明天才能得到，那么将会使电商很难做类似补货这样的决策，从而导致这些数据失去了分析的意义。

就像我们收集和存储的数据量和种类发生了变化一样，生成和需要处理数据的速度也在变化。不要将速度的概念限定为与数据存储库相关的增长速率，应动态地将此定义应用到数据——数据流动的速度。有效处理大数据需要在数据变化的过程中对它的数量和种类执行分析，而不只是在它静止后执行分析。

4、Vitality（灵活）

在互联网时代，和以往相比，企业的业务需求更新的频率加快了很多，那么相关大数据的分析和处理模型必须快速地适应新的业务需求。

5、Complexity（复杂）

虽然传统的BI已经很复杂了，但是由于前面4个V的存在，使得针对大数据的处理和分析更艰巨，并且过去那套基于关系型数据库的BI开始有点不合时宜了，同时也需要根据不同的业务场景，采取不同的处理方式和工具。

大数据产业的战略地位

1、国家级别的战略产业

美国政府认为数据资源是继陆空海三大资源外的另一种重要的国家战略资源，已将大数据战略上升到国家层面，从2012年到现在为止提出了诸多促进大数据产业发展的宣言和计划。英国在顶着经济低迷的巨大压力下还将大数据作为重点发展的科技领域，2013年投资1.89亿英镑用来加强数据采集和分析，以求在数据革命中抢占先机，2016年，英国政府又拿出7300万英镑投入大数据技术的开发。包括：在55个政府数据分析项目中展开大数据技术的应用；以高等学府为依托投资兴办大数据研究中心；积极带动牛津大学、伦敦大学等着名高校开设以大数据为核心业务的专业等。同样日本政府也提出了大力发展IT业的发展计划，不断地对信息产业提出战略规划。世界各国也逐渐意识到大数据时代的到来，纷纷建立大数据产业。

2、推动技术和知识创新模式的变革

大数据时代的到来引发了探索知识模式的改变。大数据时代的海量数据给科研模式带来了一种新的发展方向，存在于事物之间的因果关系已经不再是科研人员进行深度研究的必要步骤和关键，现在只需从大数据中得出有意义的相互关系，也许从这些相互关系中不能准确知晓事物发生的原因，但是可以预测这件事将会发生，这个价值已经足够大。在企业界，一些精明的领导者们可以洞察出对大数据的应用其实就是为了管理方式的变革。在学术界，着名的第四范式的科学研究阶段提出，即在人类经历了经验、理论、计算三个科学研究范式后进入第四范式——数据探索。

3、推动经济结构转型

大数据产业的兴起加快了产业升级和经济结构转型的进程。随着大数据时代的到来，部分产业界已经逐渐把重点转向把传统产业和大数据产业相结合的发展模式。对于传统工业，采用大数据处理方法进行新需求的探索和新材料的研发，既可降低研发成本，又能提高新产品研发的准确性；对于传统农业，利用大数据处理方法，可以培育新品种。大数据将会带来新一浪潮的生产力增长和消费者需求。计算机行业也从开始只关注运算速度转移到提高大数据的处理分析能力上来，变成真正的信息行业。大数据时代的发展迫使软硬件的不断更新从而能够推进信息行业不断发展，这为信息产业提供了又一大的发展机遇。

大数据行业发展规模

工信部印发《大数据产业发展规划2016-2020年》，特别提出加快推进大数据产业应用能力，到2020年，技术先进、应用繁荣、保障有力的大数据产业体系基本形成。

大数据相关产品和服务业务收入突破1万亿元，加快建设数据强国，为实现制造强国和网络强国提供强大的产业支撑。

2017年我国大数据市场规模为4700亿元（大数据是新兴产业，统计口径没有标准，市场上对于大数据规模的统计数据各有不同，本文大数据产业指以数据生产、采集、存储、加工、分析、服务为主的相关经济活动，包括数据资源建设、大数据软硬件产品的开发、销售和租赁活动，以及相关信息技术服务，仍然具有增长空间。

图1：2015-2017年中国大数据产业规模

数据来源：中研普华产业研究院

中国大数据产业发展因素分析

1、有利因素

跟国外相比，国内的大数据发展，尤其在面向应用及相关技术方面，具有独特优势。国内外在大数据应用方面的差距已逐渐缩小，甚至在有些应用领域，国内比国外更灵活、更巧妙，这主要受益于我国人口基数大，随着大数据越来越深入人们的生活，全社会对数据智能化的需求不断增加，有效激发了市场活力，带动相关大数据技术发展。从总体来看，美国、英国和欧洲其他国家大数据发展处于相对成熟阶段，国内大数据发展已趋于成熟。

当前，很多大数据技术应用已被金融领域所关注。全球大数据发展得益于对计算机技术开源理念的推行，而相比国外，国内创造新技术的周期可能更短、速度更快，尤其需要满足国内庞大人口数量的广泛需求，这使国内对于大数据技术的能力要求超出国外“标准技术所达到的能力范围，促进了国内新技术的发展。国内要进一步加强对数据应用和相关技术的梳理，使之成规模化发展、成体系化传承；应进一步加强与大数据相关的立法、制度和标准化建设，强化技术理论研究与传承，稳固大数据的根基。

2、不利因素

丰富的数据源是大数据产业发展的前提。而我国数字化的数据资源总量远远低于美欧，每年新增数据量仅为美国的7%，欧洲的12%，其中政府和制造业的数据资源积累远远落后于国外。

就已有有限的数据资源来说，还存在标准化、准确性、完整性低，利用价值不高的情况，这大大降低了数据的价值。

同时，我国政府、企业和行业信息化系统建设往往缺少统一规划和科学论证，系统之间缺乏统一的标准，形成了众多“信息孤岛”，而且受行政垄断和商业利益所限，数据开放程度较低，以邻为壑、共享难，这给数据利用造成极大障碍。制约我国数据资源开放和共享的一个重要因素是政策法规不完善，大数据挖掘缺乏相应的立法，无法既保证共享又防止滥用。

一方面欠缺推动政府和公共数据的政策，另一方面数据保护和隐私保护方面的制度不完善抑制了开放的积极性。因此，建立一个良性发展的数据共享生态系统，是我国大数据发展需要迈过去的第一道砍。

我国数据处理技术基础薄弱，总体上以跟随为主，难以满足大数据大规模应用的需求。

如果把大数据比作石油，那数据分析工具就是勘探、钻井、提炼、加工的技术。

我国必须掌握大数据关键技术，才能将资源转化为价值。

图2:2018-2023年中国大数据产业市场规模预测

数据来源：中研普华产业研究院