什么是数据分析报告：公共安全管理的“论述题”

数据分析报告在社会不同行业、不同用途中的概念各有不同，其内涵与数据研判、比对分析也多有重叠。

本文仅针对公共安全管理领域，区别于警务实战中的数据建模、比对碰撞、数据关联、情报研判等应用，对公安数据分析报告做如下定义：公安数据分析报告是指在公共安全管理领域，通过对事物多维数据的全方位分析，揭示发现事物产生和发展的深层规律，服务于各项公安事物的评估、决策和研究等需求的数据应用形式。

如果将公安大数据中的关联分析、碰撞比对、数据建模看作是以求得答案为目的的选择、填空和问答题，那么数据分析报告更像是论述题。

与上述实战应用相比，数据分析报告更注重分析过程，以得出更加科学的研究结论。

以实有人口数据为例，人口数据库一般由6-8个数据表的100余个数据项组成。不仅包括常见的姓名、身份证号、住址，还有迁出(迁入)时间、迁移原因、学历、工作、家庭、原住地等数据。

一份详细的人口数据分析报告，可以分析不同时间地点，基于不同原因的人口变化趋势，其背后反映了经济社会发展的宏观环境和政策的变化。

比如新城区的人口迁入数据，反映了新城区建设吸引外来人口的趋势和效率;重点学区房屋实有人口变化幅度，反映了稀缺教育资源对群众购房定居选择的影响程度等等。

总之，公安数据分析报告的目的不同于实战中的数据比对碰撞，重点不在于得出某个具体答案，而更侧重于分析本身和由此得出的结论，用于支撑宏观决策，研究关于公共安全管理的宏观形势趋势。

决策分析支撑：数据分析报告作用日益凸显数据时代的公共政策制定，离不开全面的数据分析。而自媒体时代也使得政策施行过程中，一份有说服力的数据分析报告，可以起到事半功倍的宣贯效果。

我们曾经以某市重点中学搬迁政策的执行为例进行了数据分析实验。由于城市发展需要，政府制定了将某重点中学搬迁至新区的政策。在政策实施之初，出现了部分群众不能理解和反对的情况，致使搬迁无法按时实施。

本文仅从公安数据分析角度，谈谈数据分析报告在类似政府决策执行中的应用探索。

其实，笔者分析了原中学驻地的交通和人口相关数据，形成了如下报告和结论：该区域集中了重点小学、初中和高中，单位面积的在校生密集度远高于其他区域。

从交通数据看：在放学高峰时段，其他路段平均每车行驶单位距离用时约为0.2分钟的情况下，而该路段平均每车用时约15分钟，75倍于其他路段。即使平均到全天，该路段平均过车用时仍然是全市平均值的10到20倍。

交通压力过大制约了目标道路作用的发挥，降低了区域生产生活效率，也增加了全市平均交通成本。

从“一标三实”实有房屋、实有人口数据看，在校生多造成区域人口流动较大，暂住陪读人口占比远高于其他区域，流动商贩集中，而作为老城区，该区域功能性建筑和基础设施远远不能满足需求，从“实有房屋”数据分析，被用于经营的社区住宅占比较高，导致管理成本增加，安全隐患增多。

类似的宏观决策从制定到执行，会综合经济社会民生等海量数据及分析，公共安全领域的数据分析作为不可替代的组成部分，无疑将起到重要作用。

因此一份多维度分析、全面详实、有所侧重的数据分析报告，一方面有力支撑政府决策前的调研研判，另一方面又可以在政策制定后的宣贯执行中更好地支撑说明。

公安机关在大数据应用研究、探索和实践过程中也发现了不少问题，成为制约公安大数据深度应用的瓶颈，并且在一定程度上挫伤了基层科所队对大数据应用的积极性。其中主要表现以下几个方面：

一是对大数据的认识上有偏差。

大数据应用的基础是数据自身所蕴含的价值，需要考察数据的“价值比重”，因为对于价值比重较低的数据会极大地耗费数据清洗、处理和运算资源，投资回报率很低。

因此对于公安机关来讲，并非数据越多越好，而是需要对数据的价值进行预先评价和甄别。公安机关管控和服务的对象主要是人，把“人”管好了，服务好了，社会也就好了，因此数据价值评价的标准首先是数据是否能够和人产生关联，以及产生关联的代价。目前很多公安机关在大数据应用中，不加甄别地把互联网上的很多数据直接来用，消费了宝贵的数据运算资源，反而起到了事倍功半的效果。

二是与人直接关联的数据资源较少。

当前公安机关所掌握的数据资源，除了人口库、机动车登记数据库等相对静态的数据外，还有机动车卡口采集、实名制住宿乘车（机）记录、上网行为、手机MAC地址采集等数据，其中车辆号牌、实名制登记等数据虽然可以直接关联到人，但对于一个公安机关重点打击和管控的对象来讲，完全可以通过套牌、冒名等手段进行躲避，使我们无法采集到真实的数据，且数据采集的范围受到很大限制。

而上网行为、手机MAC数据具有采集范围广、采集成本低、真实性高等特点，但又很难与人进行关联。

三是视频图像等非格式化数据无法直接参与大数据运算。

公安机关掌握的众多数据资源中，覆盖最广、信息最丰富、规模最大、采集成本最高的是视频图像资源，但由于视频图像数据是非格式化数据，无法直接参与大数据运算和处理，还需要传统的人工方式和人海战术进行查看和甄别，不仅极大地降低了大数据的应用效能，也造成了极大的资源浪费。

四是大数据应用层级还比较低。

不少大数据应用还仅仅停留在信息组合查询和对数据的宏观统计分析上，如本月发生了多少起案件、分布在哪些区域等等，并以数据可视化的方式在中心大屏上呈现出来，看起来很高大上，实际上对公安业务产生不了多少实战意义。

公安大数据应用的目的是要通过大数据的分析把关注的目标具体到某个人和未来可能会发生的某个事件，从而形成以“人+事件”为核心的分级分类管控和预测预警机制，做到先发制人，掌握社会治安防控的主动权和主导权。

　　大数据分析师前景如何？发展趋势又是怎样的呢？谈及这个问题，我想先从大数据行业背景以及发展趋势着手，从根本上解除质疑者的忧虑。

　　大数据与大数据分析

　　数据分析是用包括检查、清洗、转换和建模等方法对数据进行处理。其目的是探索有用的信息、给出有建设性的意见，从而辅助压制决策。数据分析包含很多方面和方法，涉及的领域也遍布经济、科学、社会福利等行业。

　　数据挖掘是一个特别的数据分析技术，与传统的以纯描述为目的的技术相比，它专注于预测模型和对潜在知识的挖掘。所有的这些都是数据分析。数据分析虽然没有数据科学那样先进，可以创造新的数据结构，但是他们的目的都是一样的---探索数据可以用来怎样回答问题和解决问题。

　　大数据1.0到大数据2.0的发展

　　由维克托.迈尔舍恩伯格编写的《大数据时代》里指出大数据是指采用所有的数据进行分析，而不是抽样调查。大数据有4V特点：volume(大量)、velocity（高速）、variety（多样）、value（价值）。大数据1.0时代的特征是解决数据效率问题，大数据时代4个V中的前3个V都被有效的诠释了。但是最后一个V没有表现其作用。

　　大数据1.0时代逐一的解决了速度、容量等问题。在1.0时代积累的大数据将会在2.0时代得到其在价值上面的发挥。

　　从2015年起，大数据进入2.0时代。大数据2.0时代要求以数据本身的价值为目标，从企业本身业务需求产生的大量数据中通过深入挖掘，分析得出数据本身的价值。1.0时代留在数据认知上面，2.0则要求如何通过这些数据去解决问题。

　　大数据分析国际背景

　　在全球500强企业中，90%以上的重要投资与经营决策都取决于充分的数据分析支持。在欧盟、美国、日本等发达地区，数据分析普遍被作为运营决策的前提要素，为社会经济的高速发展做出重大贡献。可以说，数据分析技术是一把让企业通向成功之门的金钥匙。

　　大数据分析师前景如何？

　　从2003年年底信息产业部电子行业职业技能鉴定指导中心（现为“工信部教育与考试中心”）正式设立“数据分析师”培训项目，并制定出数据分析师培训、考试及管理办法。到2017年，中国的数据分析行业已经走过了11个年头。这期间中国的数据分析师、数据分析师事务所、行业协会（中国商业联合会数据分析专业委员会）从无到有，发展越来越快，业务领域也是从最初的投资数据分析转向经营数据分析。目前国家将大数据视为国家战略，并且在实施上，也已经进入企业战略层面。

　　大数据未来发展趋势又是怎样的？

　　1.大数据在经济预警方面发挥重要作用

　　2.大数据分析成为市场营销的重要手段

　　3.大数据在临床诊断、远程监控、药品研发等领域发挥重要作用

　　4.大数据为金融领域的客户管理、营销管理及风险管理提供重要支撑

　　大数据分析师前景如何？发展趋势又是怎样的？想必小编也不用煞费口舌了，上不上船，全在你一念之间。

按大众化的分法，产品的生命周期(PLC, Product Lifetime Cycle)分为初创期、成长期、成熟期、衰退期，在产品的每个阶段，数据分析的工作权重和分析重点有所区别，下面按阶段结合案例来聊聊。

一、初创期

初创期的重点在于验证产品的核心价值，或者说验证产品的假设：通过某种产品或服务可以为特定的人群解决某个问题。这个阶段应当遵循MVP(Minimum Variable Product) 的思想，以最小的成本来验证创业的想法，并根据用户的反馈快速迭代以调整解决方案，最终在数据上得到验证。

案例：

拿之前做的某款国外移动端论坛社交应用为例，产品在idea时期(12,13年左右)发现了论坛用户经常在吐槽从移动端Wap页访问论坛速度慢、广告多、完全没有移动端适配，于是我们提出假设：做一个App，连接论坛系统与用户，让论坛用户在移动端也能享受流畅的论坛访问体验，并且用户愿意为了这种体验付费。

于是在初期，整个产品完全围绕看帖、发帖两个核心场景进行挖掘，在论坛里进行宣传，售价$18，发现有许多用户为之付费，且这些用户的留存率达到60%+(当然与用户付费了有关)，有一半的用户使用时长都超过了70分钟。当时没过多久陆续出来了一些竞品 (Vbulletin团队，当时最大的论坛系统，开发了一个移动端的App，意图解决同样的问题)，但是没过多久都远远落在了我们后面，就是因为整个团队遵循MVP的思想，按用户反馈专心反复打磨看帖、发帖的流畅体验，获得了非常好的用户口碑并领先市场，也获得了某著名硅谷投资机构的投资。

关键数据——目标人群画像

除此之外，初创期可以通过接入一些第三方的应用监测SDK来了解初期用户群体的画像，从侧面验证用户群体与假设的目标用户群体特征是否一致，常见的是人口学属性(性别、年龄、学历、地域)。

案例：

今年4月初在和国内某健身类的APP的产品经理聊到， 该APP最初是一款健身、运动记步的工具App，在产品前期新用户的次日留存处于业内平均水平，在其观察到目标用户群体的画像时，发现女性用户明显比男性用户要多，且女性用户留存明显比男性用户要高。于是决定在产品策略上向女性用户倾斜，主攻女性健身、减脂、美容方向的功能以及内容推荐，产品整体次日留存率相比之前增长近100%。

同样，最近服务了一个鹅厂内部客户，他们开发了一款新产品，意在面向年轻人群体，结果却发现其用户年龄分布以青少年和老年人居多：

这正好与他们的用户渠道相关，原来他们有一款面向青少年和老年人的产品，为了给产品带来第一批用户，他们直接从老的产品将用户引流过来，结果发现他们并非产品的目标用户。

关键数据——留存率

在当前用户符合目标受众特征时，核心关注这些用户的留存率、使用时长/频率、用户的黏性等指标，这里就留存率展开来讲。

留存率的维度分很多种(7日，双周，30日等)，依据产品特征来选择，若产品本身满足的是小众低频需求，留存率则宜选择双周甚至是30日;留存率高，代表用户对产品价值认可并产生依赖，一般来说，假设便能得到验证，通常低于20%的留存会是一个比较危险的信号。

介绍一个以数据为驱动的先行指标模型，可以通过找到先行性指标指导产品设计，从而提升留存率。先看下先行性指标的定义，先行性指标是指新用户在使用产品早期的一种产品行为，这个指标与用户的留存率指标之间存在着非常高的线性相关关系，可以预测用户是否会在产品中留存下来。

用自己总结的公式来描述，大致如下：

积极预测可能性(%)：表示用户执行了该行为，即可预测该用户留存活跃的可能性

消极预测可能性(%) ：表示用户如果不执行该行为，即可预测该用户不留存活跃的可能性

最终，先行性指标的可信度=积极预测可能性 X 消极预测可能性 ，我们直接看案例。

案例

拿之前的论坛社交App为假设，假设“用户在注册前10天内添加好友超过7个”为先行性指标，那么我们计算一组数据：

其中，用户前10天内添加好友超过7个，则其30日留存下来可能性为99%;若添加好友小于7个，则其30日不留存下来(流失)可能性为95%，综合指标可信度为0.9405。

同理，计算以下两个先行性指标可信度：

最终，我们得到对比：

以上只是假设的数据，实际上，我们需要对比十几个甚至是二十几个行为指标才能找出先行性可信度最高的行为。

这个模型中第一条“新用户在注册后的10天内添加好友超过7个”，也就是Facebook一个经典的“aha moments”，所谓”aha moments”即当用户意识到产品的核心价值的时刻，也就是我们的“先行指标”。

(Facebook，Instagram推荐好友截图)

除此之外，先行性指标应当满足以下条件：

二、快速成长期

经过了产品打磨的初始阶段，产品有了较好的留存率了，这个时候产品开始进入自发增长期。自发增长期的产品阶段，仍需要关注用户留存、用户时长、用户画像的变化等数据，但可以将侧重点关注在用户的整个生命周期的管理，其中以新用户的增长、激活、触发“aha moments”到产品稳定活跃用户的整个漏斗分析为主。

新用户的增长和激活

其中新用户的增长和激活一般有两种方式，第一种是构建产品的病毒性传播系数, 让产品自发增长，《精益运营数据分析》书中有提到的几个用户病毒式传播分类很有趣：

原生病毒性，即通过App本身的邀请好友功能而传播吸引的新用户的方式;

口碑病毒性，即通过口碑传播，用户主动通过搜索引擎成为的新用户;

人工病毒性，即通过人工干预，如有奖邀请等激励措施来鼓励用户进行邀请行为。

这里关注的一个指标称之为“病毒式传播系数”，感兴趣的同学可以自行深入了解。

新用户下载->激活->‘Aha Moments’->产品稳定活跃

产品开始进入自发增长期后，需要关注用户从新用户到活跃用户(留存后)、到核心用户的生命周期，并将每个过程的关键指标提炼并精细化。

案例

以之前的论坛社交APP为例，新用户进入产品会看到一个欢迎页(如左下图)，经过注册、登录后会看到产品的首页(如右下图的Feed流页面)，多数App都有类似的流程：

一个新用户从进入App欢迎页到最终成为核心用户大概是以下流程：新用户(探索发现产品价值中)-> 旁观者(逐渐认知产品价值并有一定的参与感)->生产者(认同产品价值并积极参与)：

按大众化的分法，产品的生命周期(PLC, Product Lifetime Cycle)分为初创期、成长期、成熟期、衰退期，在产品的每个阶段，数据分析的工作权重和分析重点有所区别，下面按阶段结合案例来聊聊：

此时，对各个阶段的用户行为进行指标分解：

新用户&探索发现者：

欢迎页跳出率新用户注册率新用户引导流程转化率初始看到Feed页跳出率搜索结果转化率推送权限开通率

旁观者(路过者)：

平均每个用户关注板块数平均每个用户关注其他用户数平均每个活跃用户赞/分享数Feed卡片展示数Feed卡片点击数订阅内容推送点击率

内容生产者：

· 平均每个活跃用户发帖数

· 平均每个活跃用户发照片、视频数

· 平均每个用户在论坛内使用时长

· 活跃用户在论坛内行为分布

精细化的拆分用户生命周期前中期的行为指标，在产品快速增长期帮助了产品不断打磨细节，将用户从新进到成为核心用户体验不断完善。与此同时，在各节点数据提升并稳定后，产品运营的同学则开始进行各种推广、投放的宣传以扩大盘子、占领市场。

三、成熟期

随着用户快速增长，产品不断完善，产品在进入成熟期前后，数据运营关注的重心开始从用户生命周期的前半段(吸引、激活、留存)往后半段(流失、回流)开始偏移。

这里分享一个在增长期和成熟期关注的数据模板 Daily Net Change (应用自John Egan@Pinterest)，区别于只关注DAU、MAU数据，只关注活跃用户数的增减很多时候都是取悦自己，而这个模型能帮助直观地观察到用户增长的因子是什么，或者用户盘子变化的情况，通过一张图展示了产品的新增、回流和留存情况。

其中Net Change = 新增用户 + 回流用户 – 流失用户。

新增用户即当天有多少新用户加入

回流用户即多少老用户连续28天没有使用，今天又开始使用

流失用户即有多少已有用户刚好最后一次使用应用是在28天前

流失与回流

在关注流失回流的过程中，数据会揭示当前用户盘子的一个变化情况，具体分析流失原因则可以参考下方流程：

核心思路即，通过回访定性+数据验证为主要手段，确定流失原因，改变产品运营策略以预防用户流失或拉回用户，促进回流。

除此之外，对于一些稳定的投放渠道，普通的改善方法可能提升转化有限，此时可以进行更精细化的渠道分析来优化提升ROI：

案例：

提升ROI

四、衰退期

最终，产品进入衰退期，一般在进入衰退期前可以采取两种方式：

1、规模化

常出现在零售业中，如开一家按摩养生店，在一定范围内收获好评，那产品成熟的时候则可以开启连锁加盟模式，通过迅速而广泛的扩大市场形成品牌效应，以形成壁垒，此时衰退的风险则被抵御。

2、生态化

在产品增长或接近完善时，单一的产品很容易存在需求过于垂直、用户无法形成依赖的问题，可以开发具有协同能力的新产品以搭建完整的产品生态，使得在当前产品上无法被得到满足或失去兴趣的用户被引流到新产品，作为新产品的新用户;同时新产品的用户也能在新产品上被引流回老产品，产品之间形成互相依赖的链条，最终用户有效流转，形成生态。

在对数据分析岗位进行整理与研究时，通过对于这些岗位的企业性质、从事数据分析岗位职责、岗位要求及薪资待遇进行研究。我们对于未来的数据分析这个职业充满了希望，但是也对于这个职业二极分化充满了担忧。

一、数据分析职业概述

越来越多的企业将选择拥有项目数据分析师资质的专业人士为他们的项目做出科学、合理的分析，以便正确决策项目；越来越多的风险投资机构把项目数据分析师所出具的项目数据分析报告作为其判断项目是否可行及是否值得投资的重要依据；越来越多的企业把项目数据分析师课程作为其中高管理层及决策层培训计划的重要内容；越来越多的有志之士把项目数据分析师培训内容作为其职业生涯发展中必备的知识体系，数据分析这个职业应运而生，毫不夸张的说，数据分析师带给企业的不仅仅是一个个数据报告，更是一桶桶黄金，一片片亟待探索的蓝海。

二、数据分析职业现状分析

这个职位目前呈现是二八原则，好的数据分析师的收入是非常高，差不多平均水平在13k左右，但是处境不好的数据分析人员只能拿到跟内勤同等收入的水平。比如数据分析招聘中，185号岗位，这是一家公司需要大量招聘初级的数据分析师进行长期的培养广告公司；高级数据分析师在全国的范围内来说还是很少一个群体，主要承担对于某个数据分析项目进行建模与分析及算法研究等，这批人员一般的薪资待遇在16K以上，大多数在互联网与金融行业等利润率比较高的行业，数据分析招聘中，199号岗位，该岗位是杭州大型电商公司为其呼叫中心招聘数据分析师，待遇在P7左右，也就20-22K/月，还有盛大招聘数据分析师岗位也其实有很有代表性；最高端是一些互联网数据分析部门的管理层与数据科学家，一般是大型公司对于某个项目进行数据挖掘研究，全国也只有微软与阿里及一些从事数据挖掘公司里有这些数据科学家，一般的待遇差不多在50万以上年薪，这个大家可以关注一些互联网公司的招聘信息。

三、数据分析师的能力标准

格局是决定一个数据分析师的能力标准，一个好的数据分析师应该从行业的层面来分析公司现在所处的位置以及整个行业的分析，而且通过内外的数据得出富有逻辑性的结论，然后从这些结论中提供公司战略层面思考的策略，当然我也明白现在我们很多的分析师朋友都在沉浸在业务或者项目分析中，但是我认为格局观是决定一个数据分析师的能力标准。

数据分析师要做到基于内部与外部的数据结合通过严密的完整商业思考及严密逻辑推理，得出针对业务好坏的结论，并得出业务改进的策略。

什么内部与外部的数据的结合，我们即要看内部的数据还要结合行业的数据，而商业思考是做数据分析师通用的技能，那么结论是基本产出物，策略是分析师高级产出物。

四、数据分析师的三类素质

第一类是基本素质，第二类是通用技能，第三类是专业技能。

基本素质包括：1、聪明与好奇心；2、愿意学习并愿意能沉下心来付出；3、耐心与专注。

通用技能是核心思考能与展现自己的能力，第一点，结构化的思考能力与逻辑推理能力即智商不能差，如果是这样你看到的越多就做的越好，怎么来判断呢？第二点，良好商业感觉与商业判断能力；第三点，要有宏观思考能力，你要看到的格局要到；第四点，要有良好沟通能力。

专业能力从专业上要有基本统计学知识，从能力上要包括扎实数据分析能力与数据处理能力包括SAS\R\SPSS及tableau、FineBI等可视化表达的能力。那么高级数据分析师，我们应该更看中基本素质与通用能力，如果专业操作类分析师那么我们需要基本素质与专业技能。

五、企业要求及需备的知识点

大多数的互联网行业特别是电商行业对于数据分析师这块还是比较看重，主要的原因其主要的资产除了产品、人员就是长期积累的数据而这些海量的数据已经不能用人工经验来还原业务，这就需要数据分析师对于数据进行归纳与还原商业规则与逻辑，一般主要涉及商业分析、用户分析、产品分析、运唯支撑等这几块；从各家公司招聘信息来看，要求几乎雷同，同时也说明这个职业的互通性很强，说白了就是换个行业都可以在职场上存活下来；一般需要以下几个要求：

1、数据分析经验；

2、商业数据敏感度；

3、基本工具（SAS、SPSS、SQL、EXECEL等）；

4、建模；

5、知识点（统计学、会编程）；

六、如何获得数据分析知识点？

1、数据分析经验，大家可以每天浏览我们西线学院官网的文章，我们每天都会发布一些最新的分析实战文章；

2、基本工具类，我们西线学院帮助学员从零基础学会数据分析工具编程，丰富的知识扩展，实用性强,不掺杂无用讲解,只为给学员最极致的教学体验!

随着计算机信息时代的来临，企业在发展和运营管理的过程中会产生还大量的数据，而这些数据是企业宝贵的资源，对企业未来的经营发展决策有着重要的作用。然而现实却是很多企业在信息数据的集成应用和信息化建设方面存在严重的滞后，尚未从信息数据的集成和信息化服务产品研发等角度进行考虑，进而导致企业的数据开发应用水平较低，其为企业发展提供服务的功能更是没有得到充分有效的发挥。

为推动和加快企业的信息化建设，提升信息数据为企业发展提供服务的能力，应本着数据集成化、服务化和应用化的原则，提升企业自身的数据管理水平。具体而言，企业需要跟上国家大数据中心建设的脚步，只有在有效归集自身数据的同时，也切入到国家大数据中心的建设中，才能真正实现海量数据的充分共享和利用。云联星空结合实践经验，就企业如何提升自身的数据管理水平以跟上国家大数据中心建设的脚步进行了探讨，希望对相关工作能够有所借鉴。

一、当前企业的信息化建设现状

（一）数据的管理模式落后

现阶段，我国很多企业的数据管理模型都严重落后，没有形成可供后期进一步开发和应用的数据管理模式。企业中包括众多部门，而这些部门都会产生自身的业务数据，这些数据的形成时间不同，存储方式各异，进而导致企业的信息数据往往呈现出“多源、异构、多维、海量”的特点，再加上信息化管理模式和制度落后，造成企业中存在比较严重的“信息孤岛”效应。

（二）系统平台落后

在信息数据的管理和应用方面，没有形成可供各种数据统一存储、管理和分析展示的系统平台。

（三）开发利用技术缺乏

近年来，尽管很多企业都加强了在办公自动化和经营管理信息化方面的投入力度，但在数据的开发利用层面还缺乏有效技术和统一规划，企业生产经营管理中产生的海量数据大多被闲置在数据库中，对它们进行有效的挖掘和应用更是无从谈起，导致企业的信息数据利用率极低。

（四）信息数据的服务受限

企业所积累的各类信息数据对企业未来的生产经营决策具有巨大价值，然而现实却是大量企业对这些数据的潜在价值缺乏有效的挖掘手段，无法及时根据企业的发展需求对这些数据进行及时的信息加工和提取。

二、企业切入到大数据建设中的必要性

数据的统一集成规划和管理是提升信息数据服务水平的核心，也是企业当前信息化发展的主要障碍之一。为推动企业的信息化发展水平取得进一步的提升，有必要加速推动企业切入到大数据的建设中去。事实上，当前我国很多领域(例如医疗、教育、电商等)的企业已基本切入到了大数据中心的建设中，并逐渐实现了信息的共享、分析和利用等功能，而这也代表了企业信息化发展的趋势。在这种背景形势下，企业只有跟上时代发展的脚步，才能在未来激烈的市场竞争中占据一席之地。具体而言，企业应该先实现对自身生产数据的快速收集和有效管理，然后再切入到国家大数据中心中进行统一归集，最后再应用云计算服务提升信息数据的应用水平。这种模式能够实现更高效地数据集成和管理，而且不需要企业投入过多资源，兼具高效性和经济性。笔者坚信，企业能否跟得上国家大数据中心建设的脚步必将在企业未来的信息化发展中起到决定性的作用。

三、对企业提升数据管理水平的技术要点的

思考

（一）多源异构数据的混合存储和快速检索

企业在生产经营管理的过程中会产生大量异构数据，所以首先要解决的就是这些多源异构数据的统一存储和管理问题，同时这也是对这些数据进行充分挖掘和应用的前提。作为提升数据管理水平的技术关键点，必须解决多源异构数据的混合存储问题，并要求能够在适当的场合下实现快速查询。事实上，多源异构数据的混合存储和快速检索查询，是后续进行数据应用服务开发的基础，必须得到足够的重视。

（二）新一代的数据分析挖掘体系

对于企业的数据管理工作而言，一方面要求能够对多种结构类型的数据进行深度的分析；另一方面还要提供多源异构数据的融合能力，从而可以将不同结构类型的数据转化为对企业有用的知识资源。通过建立基于云平台的数据分析挖掘体系，可以实现对多源异构数据的快速接入、分析、挖掘和展示功能。数据分析挖掘体系包括各种新型的数据分析挖掘算法，可以实现对各种结构类型数据的深度挖掘和加工提取，是提升数据应用服务价值的关键所在。

（三）超量信息的可视化分析、交互和辅助决策技术

信息的可视化旨在解决信息的展示问题，而超量信息的可视化就是解决大量、多维、异构数据的展示问题。信息数据的规模越大、结构类型越多，那么对其进行直观展示就会越困难。此时就需要用到新型的超量信息的可视化分析技术，从而将复杂的数据集变为直观的交互式图像，这显然会极大地提升企业对数据的分析能力和洞察数据变化趋势的能力，进而也有效地保障了企业依据这些数据进行生产经营管理决策的科学性。

四、对提升数据应用水平的思考

国家大数据中心深度融合了社会上各行各业所产生的海量数据，可以有效实现对海量数据的统一存储和调配。在此基础上，借助云计算技术就可以显著提升数据的服务应用能力。鉴于此，企业要提升数据对其自身发展经营的服务能力，首先要做的就是紧跟国家大数据中心建设的脚步，将自身深度切入到大数据建设中去，同时再借助云计算技术，打造深度融合数据存储、分析、挖掘、加工处理和应用展示的高度集成平台，从而促使企业的信息化管理水平取得全面提升。

为了提升信息数据对企业经营管理决策的服务能力，要求开发出各种功能强大的应用，这也为云计算技术的引入提供了契机。云计算技术的一个最大优势就在于它具有强大的资源共享和集中能力，企业不需要开发或购买相关软件，只需要花费较低成本就能购买到云中提供的各种数据分析和应用服务，这对企业提升经济效益具有积极意义。

五、结束语

随着计算机技术和信息网络技术的不断发展，当前我国已经进入了大数据时代。海量的信息数据为数据的分析和应用工作提供了发展机遇，同时也对数据的存储和管理模式提出了更高的要求。在大数据的背景环境下，企业的数据管理工作既面临着严峻的挑战，又面临着前所未有的发展机遇。一方面，大数据环境使得传统以数据库存储为主的数据管理模式正变得不再适用；另一方面，大数据也推动了企业信息化的发展趋势，对提升信息数据的利用水平和服务能力具有重要意义。总而言之，企业提升自身的数据管理水平是大势所趋，必须引起充分的重视。

对于一家店铺来说，智能数据分析其实包括很多方面的：销售分析、会员分析、产品分析，那么怎么做到让这些数据一目了然呢？下面小编就要为大家说说通过德客会员管理系统，是可以实现的。

销售统计分析

对于销售报表、退货报表、计次报表、充值报表、充次报表、每日对账单的数据都是一目了然的，还可以查看每个时间段的相关数据，导出相关数据的报表。

会员统计分析

从列表切换至统计图，一键搞定。在时间段内，可清晰查看散客与会员销售比重、销售笔数、销售额、销售毛利、每个会员的消费详情。

产品统计分析

在时间段内，商品销售笔数丶销售额丶销售毛利等直观显示，有利于您通过商品数据，对店铺商品销售方面做出切实调整；也可以导出相关数据的报表；还有产品类别分析，可以查看不同产品类别的销售详情。

围绕大数据分析，德客会员管理系统为经营管理者提供智能高效的分析数据。数据对于商家而言是一笔无形资产，利用好数据是实现精细化管理的基石，也是核心竞争力的基础。通过洞察数据背后的逻辑、规律和趋势，用数据来指导和决策商业经营管理。

CDA数据分析师原创作品

马云在2018年云栖大会上提到：“按需制造的核心是数据，数据是制造业必不可少的生产资料，以前制造业发展好不好是看电力指数，未来我们看数据”。

有前瞻眼光的企业家早已把数据看作重要的资产，抢占未来市场的利器。如何挖掘数据这座“大金矿”已经成为很多企业的重要任务，而其中充当这座“大金矿”矿工的首要职业就是——数据分析师。

那么，数据分析在一个企业中起到哪些关键性作用呢？我们可以通过分析招聘网站中数据分析岗位的“岗位职责”信息来得到一些我们想要的答案。

CDA数据分析研究院于2018年9月爬取某知名招聘网站中以“数据分析”为关键字的招聘信息。经过数据清洗之后，我们对剩下的5298条招聘信息进行分析。

我们发现，数据分析在不同的企业所起到的作用大小会有所不同：

从上图可见，当前数据分析主要在互联网/电子商务、计算机软件、IT服务这三个行业起作用，这些行业对数据分析的招聘需求占了就业市场的60%以上。接下来我们也会对这些行业进行重点分析。

我们对所有行业的“岗位职责”信息生成词云图：

通过对高频词汇的分析，CDA数据分析师总结出数据分析在企业中所起作用的主要几个方面：

1、市场营销方面：

（1）精准寻找目标用户

利用数据挖掘技术，发现用户特征，构建用户画像，预测用户行为，对用户进行合理分群，用户偏好预测、用户个性化推荐等。

（2）用户行为研究

用户行为分析研究，针对用户的多维度属性、标签和行为数据，用户流失预警、用户生命周期分析、用户影响力分析、用户价值分析等相关用户行为研究。

（3）行业竞争品和行情监控

监测并分析行业竞品情况，收集并解读相关用户和市场研究报告，为公司产品规划提供支持。

2、运营管理方面：

（1）提供最新运营情况

对日报、周报、月报等日常报告和数据的制作与维护，即使反馈最新的运营情况。

（2）为运营管理提供决策支持

基于公司业务的运营情况展开深入分析，提出运营业务发展策略建议。

（3）监控运营活动效能

监控、分析运营活动，评估运营活动效能，提出营销活动优化和成本控制解决方案，并主导或协助落实。

（4）团队绩效考核

针对运营团队整体KPI考核及情况制定对应绩效考核方案并跟踪绩效考核实施。

如果我们对互联网/电子商务的数据分析岗位职责描述作词云分析（上图），会发现互联网/电子商务行业对数据分析在市场营销和运营方面的作用尤为重视。

3、产品研发方面

（1）产品优化支持

对相关业务线产品进行用户分析，营收分析，行为分析、活动效果评估等，产出相应报告，为产品优化和业务运营提供支持。

（2）新产品研发支持

根据已有数据为新产品的开发提供决策依据和方向，实现业务所需的数据分析、数据产品设计。

4、大数据平台支持方面

对于数据量容易达到海量级别的行业，比如金融行业（基金、证券、期货、投资），或者是提供数据服务的IT企业，往往会有大数据平台搭建和维护等需求。

我们通过下面两个行业的词云图可以看出，词云里面有大量大数据平台和工具的高频词汇，比如Hadoop、Spark、Hbase、Hive等。

我们可以从中归纳出数据分析在这方面工作所起到的作用：

（1）对公司Hadoop/Hive/Spark等大数据基础设施的研发与运维，提升运行效率、稳定性和可用性；

（2）大数据项目的数据挖掘和建模，并对实现BI分析、数据产品开发、算法开发提供系统性支持；

除了上面提及的作用，数据分析在不同的行业也会起到其他不同的作用。比如在教育行业可能还会需要数据分析师发表学术论文或专利，或者科研成果转换等。物流企业会需要数据分析师对仓储效率、成本、库存等方面分析挖掘。互联网金融企业会对反欺诈信用风控系统、策略、模型开发有更多的需求。

总的来讲，有数据产生的行业就需要数据分析岗位，以数据驱动的产品和经营活动更需要数据分析师。数据分析师在不同行业、不同职能部门，其所起到的作用也会有所不同。但是在DT时代，能更好发挥数据分析作用的企业必定能抢占到发展先机。

市面上所有一切讲大数据的书，或者个人，都是垃圾

因为这些假大空的数据除了让你看看之外无任何用处，营销实战中真正的数据分析应该有什么标准呢？符合以下两条：一可落地执行、二能产生收益。

因为研究与赚钱无关的「大」数据，一不能指导你的营销、销售、策划、执行中的实战，二不能为你所做的事情带来收益；这跟看着苍老师的电影撸了一发有什么区别；你懂了天文地理钱就会从天上掉下来？从地理钻出来？懂历史难不成还去挖祖坟么？

知道国家数据党和政府不会分一毛给你，知道国际数据联合国都不带看你一眼、知道行业数据同样被竞争对手打得找不着北。

所以关注大数据的分四类人：

1、五百强企业决策层，

2、写毕业论文的大学生，

3、写商业计划的骗投资者，

4、傻逼；

大数据代表性来源分一下几个部分：

一、国家层面的数据：

data.stats.gov

tjcn.orgceicdata/zh-hans 二、行业数据：

soshoo、

iresearch  analysys、

re.qq

199it 

告诉你以上这些，为了让你拉黑他，忘掉吧，我们来看一下务实有用，接地气的数据分析：能带你做正确的事情赚到钱的营销相关性数据和竞争比较性数据。

什么是营销相关性数据？与市场、受众、产品、价格、渠道、宣传、顾客相关的数据。

什么是竞争比较性数据？和品类比，和对手比，和自己历史比较的数据。

OK,那么今天先上一道小菜，从分析市场数据说起

如何分析市场数据，市场数据分区域热点数据、品类热点数据、潜在机会品类数据、市场缝隙数据

1、分析区域热点数据

用阿里指数-区域指数-搜索词排行-涨幅榜（网址：alizs.taobao/area），

查看各省有哪些涨幅迅猛的搜索词

然后用百度指数和微指数判断转播效果以及是否值得往下拆解，用微博可视化分析工具查看传播节点，用新榜、蓝标公众号榜单（http://blueview.cc/user/toRegister.do?type=oSohw0qBVAn1VQ5aZ6nPmw长按复制打开）、搜狗微信搜索查询微信传播。

为什么要进行区域数据分析？因为有人气的地方一定有钱赚

2、分析品类热点

还是用阿里指数-行业指数-搜索词排行-涨幅榜（网址：https://alizs.taobao/industry），

查看自己品类有哪些涨幅迅猛的搜索词，并用百度指数和微指数判断转播效果以及是否值得往下拆解，用微博可视化分析工具查看传播节点，用新榜、蓝标公众号榜单（http://blueview.cc/user/toRegister.do?type=oSohw0qBVAn1VQ5aZ6nPmw长按复制打开）、搜狗微信搜索查询微信传播，拆解其增长原因，及我们如何借鉴。

总之，有行业人气的地方，一定有钱赚。

 3、分析机会品类

分析品类机会可通过以下五项指标长期监测分析

五项指标是：

1、小类目占大类目比（数据魔方）（淘宝生意参谋）

2、小类目的最近一年增幅（数据魔方）（淘宝生意参谋）

3、小类目的人群基数（淘宝生意参谋、阿里指数、淘宝指数）

4、淘内搜索人群重合度（淘宝指数）（生意参谋）

5、每年的需求高峰（百度指数）不过没前四项没啥卵用

每周导出生意参谋子行业交易排行榜，对比各细分品类的支付金额占比、与上一周期的比、买家数占比，并长期监测。

4、分析市场缝隙

庞大市场处处红海，你得学会用数据分析的方法找到一条缝让自己钻进去，一为遮羞，二为机会；所以，重磅工具来了，如今市面上的工具适用于定位理论的无非两大工具，一是淘宝生意参谋搜索词分析，一是百度关键词规划师；

所以用淘宝生意参谋-搜索词查询，分析品类相关关键词的搜索人气与在线商品数，搜索人气高需求越多，在线商品数少对手越少。

打开淘宝生意参谋-关键词查询（网址：https://mq.sycm.taobao/words/search_words.htm），然后：

1、搜索品类关键词

2、导出并分类品类数据 关键是采集完数据分类的过程 比如：

导出女鞋百度关键词规划师数据，并进行清洗、分析、提取，得到以下表：

进行统计分析得到下表：

从而得出如下结论：

以上，为数据分析分析市场数据，抛砖引玉部分，深藏功与名，你可以用淘宝生意参谋，提取客户数据，然后分析，来与我讨论。下一篇更新不知道是什么时候，会写完写尽如何分析受众心智数据！

静待下次更新！

　　随着数据量的增大，数据统计分析的计算量和复杂性也随之剧增，所以需要借助各种统计分析软件来提高运算效率与分析准确性。

　　Excel也提供一组数据分析工具，包含常用的数据统计分析工具，能够满足基本的数据分析需求。只需为每一个分析工具提供必要的数据和参数，该工具就会使用适宜的统计或工程函数，在输出表格中显示相应的结果，某些工具在生成输出表格时还能同时生成图表。

　　一、常用的函数

　　1、Vlooup()：它可以帮助你在表格中搜索并返回相应的值。让我们来看看下面Policy表和Customer表。在Policy表中，我们需要根据共同字段 “Customer id”将Customer表内City字段的信息匹配到Policy表中。这时，我们可以使用Vlookup()函数来执行这项任务。

　　2、CONCATINATE()：这个函数可以将两个或更多单元格的内容进行联接并存入到一个单元格中。例如：我们希望通过联接Host Name和Request path字段来创建一个新的URL字段。

　　3、LEN()-这个公式可以以数字的形式返回单元格内数据的长度，包括空格和特殊符号。

　　4、LOWER()， UPPER() and PROPER()—这三个函数用以改变单元格内容的小写、大写以及首字母大写(即每个单词的第一个字母)。

　　5、TRIM()：这是一个简单方便的函数，可以被用于清洗具有前缀或后缀的文本内容。通常，当你将数据库中的数据进行转储时，这些正在处理的文本数据将会保留字符串内部作为词与词之间分隔的空格。并且，如果你对这些内容不进行处理，后面的分析中将产生很多麻烦。

　　二、由数据得出结论

　　1. 数据透视表：每当你在处理公司的数据时，你需要从“北区分公司贡献的收入是多少?”或“客户购买产品A订单的平均价格是多少?”以及许多类似的其它问题中寻找答案。

创建数据透视表的方法： 第一步：点击数据列表内的任何区域，选择：插入—数据透视表。EXCEL将会自动选择包含数据的区域，包括标题名称。如果系统自动选择的区域不正确，则可人为的进行修改。建议将数据透视表创建到新的工作表，点击New Worksheet（新工作表），然后点击OK。

第二步：现在，你可以看到数据透视表的选项板了，包含了所有已选的字段。你要做的就是把他们放在选项板的过滤器中，就可以看到在左边生成相应的数据透视表。

从上图可以看到，我们将“Region”放入行，“Productid”放入列中，“Premium”放入值中。现在，数据透视表中展示了“Premium”按照不同区域、不同产品费用的汇总情况。你也可以选择计数、平均值、最小值、最大值以及其他的统计指标。

2.创建图表：在EXCEL里面创建一个图表，你只要选择相应的数据，然后按F11，就会自动生成系统默认的图表。除此之外，你可以手工改变不同的图表类型。如果你倾向于在当前工作表中生成图表，可以按ALT+F1，而不是F11。

当然，在任何一种情况下，只要你创建了图表，就可以通过定义特定数据源来展示期望的信息。

三、数据清洗

1.删除重复值：EXCEL有内置的功能，可以删除表中的重复值。它可以删除所选列中所含的重复值，也就是说，如果选择了两列，就会查找两列数据的相同组合，并删除。

如上图所示，可以看到A001 和 A002有重复的值，但是如果同时选定“ID”和“Name”列，将只会删除重复值（A002，2）。

按照下列步骤操作可以删除重复值：选择所需数据-转到数据面板-删除重复值

2.文本分列：假设你的数据存储在一列中，如下图所示：

如上如所示，我们可以看到A列中单元格内容被“；”所区分。我们需要将其进行分列，建议使用EXCEL的文本分列功能。按照下面的步骤可以实现分列：1.选择A1：A62.点击：数据—分列

上图中，有两个选项，“分隔符号”和“固定宽度”。我选择“分隔符号”是因为有分隔符“；”。如果我们希望按照宽度分列，例如：前四个字符为第一列，第五到第十个字符为第二列，则可以选择按固定宽度分列。3.点击下一步—点击“分号”，然后下一步，然后点击完成。

评语：EXCEL作为使用最广泛的数据统计分析软件，无论你是小白还是资深用户，总会有一些东西值得你去学习。

1.什么是数据分析？

数据分析的目的是把隐藏在一些看似杂乱无章的数据背后的信息提炼出来，总结出所研究对象的内在规律。在实际工作中，数据分析能够帮助管理者进行判断和决策，以便采取适当策略与行动。比如：企业的高管希望通过市场分析和研究，把握当前产品的市场动向，从而制定合理的产品研发和销售计划，这就必须依赖数据分析才能够完成。

简单的说，就是对数据进行分析，比较专业的说法是，数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，未提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。以求最大化地开发数据的功能，发挥数据的作用。

数据分析包含“数据”和“分析”两个方面一方面包括加工和整理数据，另一方面也包括分析数据，从中提取有价值的信息并形成对业务有帮助的结论。

数据分析的成果通常以分析报告的形式呈现。对于数据分析报告，分析就是论点，数据就是论据，两者缺一不可。

2.数据分析类别

其中，探索性数据分析侧重于在数据中发现新的特征，而验证性数据分析则侧重于验证已有假设的真伪证明。

数据分析的划分：描述性数据分析、探索性数据分析、验证性数据分析。

1）描述性数据分析：属于初级数据分析，常见的分析方法有对比分析法、平均分析法、交叉分析法。

2）探索性数据分析：侧重于再数据之中发现新的特征

3）验证性数据分析：侧重于验证已有假设的真伪证明

其中探索性数据分析和验证性数据分析属于高级数据分析，常见的分析方法有相关分析、因子分析、回归分析等等。

3.数据分析的作用

数据分析在日常企业运营中主要有三大作用：

1.现状分析

简单的说就是告诉你过去发生了什么。

具体表现在：

第一，告诉你企业现阶段的整体运营情况，通过各个经营指标的完成情况来衡量企业的运营状态，以说明企业整体运营是更好了还是坏了，好的程度是如何，坏的程度又到哪里。

第二，告诉你企业各项业务的构成，让你了解企业各项业务的发展及变动情况，对企业经营状况有更深入的了解。

现状分析一般通过日常通报来完成，如日报、周报、月报等形式。

2.原因分析

简单的说就是告诉你某一现状为什么发生。经过第一阶段的现状分析，我们对企业的运营情况有了一个基本的了解，但是不知道运营情况具体好在哪里，差在哪里，是什么原因引起的。这时候我们就需要开展原因分析，以进一步确定业务变动的具体原因。

原因分析一般通过专题分析来完成，根据企业运营情况选择针对某一现状进行原因分析。

3.预测分析

简单来说就是告诉你将来会发生什么。

在了解企业运营现状后，有时候还需要对企业未来发展趋势做出预测，为企业制定经营目标以及提供有效的策略参考与决策依据，以确保企业的可持续健康发展。

预测分析一般通过专题分析来完成，通常在制定企业季度、年度等计划时进行，其开展的频率没有现状分析及原因分析高。

什么时候开展什么样的数据分析，需要根据自身的需求及目的来确定。

分享 IT 技术和行业经验，请关注-技术学派。