文| 傅一平原文自：与数据同行

在数据管理领域，我们通常将数据分为：主数据、交易数据、参考数据、元数据和统计分析数据（指标）， 指标是BI里面核心的概念，是一个企业数据运营关注的核心数据，一般以KPI和报表的形式体现。

从实践来看，一个企业要进行数据治理，涉及了架构、安全等诸多层面，但最迫切的是提升数据质量，其中指标质量则是重中之重，一般业务上90%以上关于数据的疑问都从指标的质疑开始，只要你从事数据相关工作，就应深有体会。

“这个指标好像跟业务发展实际不符，快去查查”，估计这是报表取数人员听到的最多的一句话了。

笔者就来谈谈如何从根本上去提升指标的数据质量，即实现指标的标准化，作为一个数据管理人员，不管你有多少能力，曾经解决了多少问题，当过多少回救火英雄，都应该从更为长远的角度来思考这个问题。

指标标准化的核心价值在于实现“书同文，车同轨”，即通过针对指标的一系列管理过程，去提升指标准确性、一致性、敏捷性及开放性，在以前的文章《如何才能做好一张报表》中对此有详细的阐述。

DAMA将数据治理放到核心地位，指标的标准化就是个典型的数据治理问题，治标是容易的，治本的代价则太高，但如果要实现进阶，还是要站的高一点，多思考一下，想想是否有更好的方法，就从笔者多年前做过的指标标准化项目开始吧，分为组织保障、报表梳理、指标整合、实现方式、功能架构、可视化引擎及管理流程等七个方面。

1、组织保障

指标库这类数据管理项目，或称BI项目，一般业务部门参与的力度是不大的，这是大多BI项目实施效果不佳的一个深层次原因。

DAMA提到要实施数据治理活动，跨部门的数据治理委员会等是关键的组织，的确是这样，指标跟全公司每个单位都相关，对于其进行规范化改造当然应该获得大家的一致同意。

可惜的是，大多企业没有这个理想条件，也不会有数据治理委员会，在数据还未成为真正的实质性资产前，比如纳入财务部的资产目录，很少有企业会设立这个数据组织，因为效益不明显，因此，哪个企业都不大可能为指标出一个规范并且通令全公司贯彻执行，对于数据管理人员，指标库这个事情也许意义不小，但对于全公司意义则小了，这是现状。

在没有公司层面的组织保障前，数据管理人员或BI部门大多得靠自己，通过自己来推动事情往前走， 这是应有的态度，你不提，公司也没有任何人会提，毕竟你是最大受益者，实施指标库这个事情非常复杂，谁都没有成功的把握，秉持小步快跑，试点探索的原则是不错的。

笔者的这个指标库项目获得了分管领导的强力支持，这是项目能进行的现实组织保障，其实这类管理项目设立之初，很难让业务部门和一线人员马上认识到其价值并充分参与进来，这个沟通管理成本太高了，但无论如何，一个数据治理项目能否成功，公司的支持是第一要务，不仅仅是IT部门的事情，DAMA的很早就在《DAMA数据管理知识体系指南》明确了数据治理的组织要点，以下是DAMA的数据治理组织架构图，非常超前：

当然笔者觉得现实的组织演进也许如下图更合适，但道理是一样的，相关利益方需要对这个事情达成共识：

2、报表梳理

指标的主要表现形式是报表，因此第一要务就是报表梳理，公司的报表浩如烟海，因此这个项目设立之初就限制了范围，主要针对一线市场部经理、终端管理、流量管理三类核心角色，共梳理了相关的39个彩信、48份邮件通报及数据集市上的733张报表。（下图是用excel，下载企业大多用帆软、水晶一类的报表工具）

3、指标整合

各类报表及相关指标表达各不相同，梳理前应该给出一个描述指标的标准框架，包括指标大类、子类、维度、周期、归属、命名规范等等，曾经由于框架漏了一些要素导致返工现象，这个顶层设计一定要做好，以下是示例：

命名规范：业务限定词+业务名称+量值限定词+量值描述（量、收、用）

举例1：两网有效用户到达数

举例2：自建有线宽带出账用户数

下图列出了大致的梳理步骤，主要以省公司报表和彩信KPI为基础确定基准指标，各地市指标剔除个性指标后，合并到省公司的基准指标中，形成本次的最终指标范围。

全省指标共计6841个（未剔重），经过归并整合，得到基础共性指标2306个，如下图所示：

此项工作耗时巨大，以下是成果的示意：

4、实现方式

根据指标性质不同可以分为3类，即基础指标1046个、计算指标652个和通用营销类指标303个。

5、功能架构

为了支撑指标快速，标准化实现，通过增强数据管理平台来实现指标的快速开发、部署和管理，主要包括指标信息维护、指标开发、运维管理、指标质量管理等功能。

比如指标库每月需要新增超过9. 5亿行的数据，存储周期按12+1，即123亿行，以传统关系型数据库的查询能力无法支撑，这里就采用Hbase架构支撑海量指标的快速查询。

6、可视化引擎

为了支撑指标组装报表与配置报表的快速开发，使用数据可视化引擎产品，主要包括指标组装、报表开发、报表展现功能，现在的这类产品很多了，但定制化给予一个创新性项目更大的自由度。

指标组装报表工具是区别传统基于SQL配置报表的灵活度更高的报表配置方式，主要提供基于指标选择组装生成报表。

7、管理流程

指标的建设只是走完了数据治理的第一步，为了确保指标库长期可用，必须要有一套针对的指标管理机制和流程，否则建设的结束就是混乱的开始，理想的做法当然是发布一套公司级别的指标管理规范，但这个时候时机往往并不成熟，比如系统可用性到底如何，因此，我们当时就确立了一个简单原则，一条开发铁律：不重复开发，能用指标实现的不允许单独开发报表，当然这非常考验数据管理的艺术，极大依赖于团队的业务和数据能力，但有主见的数据管理团队一定要懂得如何与业务人员进行博弈，记得你才是全公司数据的管理者，而不仅仅是个开发者。

笔者在关于指标库的实现简要谈完了，但我对于大多企业搞指标库却是持悲观态度的，传统BI部门面对浩海的数据需求时，往往是没有管理原则的，因为公司对你的数据管理授权是不明确的，我们不得不以牺牲长远来满足当前，其实BI每接收一个不规范（比如胡乱的指标命名和定义）的报表需求就要承担由此带来的管理成本，而不仅仅是开发成本，这为后续数据管理的混乱埋下了祸根。

但存在的又是合理的，因为搞个指标库在开始的时候，无论是管理及运维成本都不低，关键是短期来看效益还不明显，这也许是成功案例不多的一个原因。

因此，当我们在抱怨业务指标口径一塌糊涂的时候，要记得是企业没有数据管理的原则导致了这个现象，也是你的不作为导致了这个现象，这跟公司的文化、机制及流程是息息相关的，顶层设计没解决，也许只能将就了，或者，你就要付出百倍的努力去改变或优化这个设计吧，这需要巨大的决心和毅力。

DAMA谈数据治理首当其冲谈组织设置，显然是非常睿智的，奇怪的是在知乎上关于DAMA数据治理的讨论几乎没有，这倒是值得思考的问题。

日常一提数据分析和可视化，就想到这个工具操作要多简单易用，图表要多美多炫，然而总是忽略背后的数据支撑。

excel 几十万行数据就卡死崩，谈何数据透视表、可视化？近千万行的数据，订单提交数据库，sql sever处理要5分多钟，如果频繁入库/取数的话.....

要知道，为了支撑起业务人员的数据分析，以及日常不考虑计算逻辑和技术难度，IT人员也是要花费很大的心血和精力啊（心疼运维人员n秒）。

随着公司业务的发展，数据量变大是必然的事实。那么，数据部门要做分析，业务部门要看报表，要跑数据，要用BI，大数据量（千万级及以上）的分析，性能该如何优化？

这里借某公司的真实案例，来阐述一下方案。

----------------------------------

作为公司的科技部门人员，经常听到业务部门对自己使用的数据库各种吐槽：

竟然存放在mongoDB中啊，震惊(ΩДΩ)。

数据库慢慢熟悉了还好啊，但是现在每天的数据量越来越大，而且还在增加啊，增加大家很开心，然而数据库并不开心啊，简单的查询统计10多分钟还出不来结果，更不用说有稍微复杂点的统计分析了。

我天天找DBA优化啊，然而并没有什么水花。

数据量还在不断增长，到现在都上亿啦，全量查询统计根本出不来结果啊。

... ...

最终业务人员找到科技部门提需求要弄个BI系统给处理下。

对mongodb瞄了一大通，这就是个业务库。那直接对接mongodb自然不行，速度慢不说，mongodb挂了，分析系统也瘫了。自然就想到了使用中间库，emm mysql oracle 倒是有，可以跑调度抽过来，但是速度依旧不快呢，还要花功夫优化，性价比不高。公司有自己的hadoop平台，将数据抽过来再对接倒是可以，但是要花很大精力跑调度，而且这个数据库不能随意给这个业务部门提供，万一玩挂了可就得不偿失。假设有个具备离线数据存储功能的BI工具，岂不美哉。

于是将市面上有离线数据存储功能的BI工具翻了个遍。期望找到个性能好，可以支持大数据量数据分析的BI工具。

Tableau的hyper功能看起来OK，经不起实际使用，数据量过了亿，等了好久数据抽不好，pass；

其他某BI工具有mpp离线存储，看起来很棒，还能横向扩展，不错。抱有最大期望的用，结果数据量一上亿，直接崩了，崩了，pass；

另一个BI工具去看了看，咦，数据是放在vertica里面的......

后来，找到了FineBI的分布式计算引擎方案，拿的『定制的 Alluxio』作为分布式内存存储框架，内存存储有数据安全性的担心，所以持久化层存储用了HDFS。为了数据分析嘛，自然是列式存储的。计算核心则以熟知的Spark，加上自研算法来处理的。使用熟知的zookeeper整合框架，并用于调度通信。

分布式嘛，横向扩展自然不在话下。而列式存储、并行内存计算、计算本地化加上高性能算法，在FineBI中数据展示速度超快。有意思的是其计算本地化的操作，能减少不必要的shuffle，节省数据传输的消耗，提升数据计算速度。

以下记录利用FineBI4.1工具的系统建设过程。

一、需求分析

针对以上的需求，可以预估到，18年内，常用分析预计最大数据量会达到4.7kw，不常用分析会达到3亿到4亿（包含淡季），数据总的体量最多会达到100G。后面的情况难以预估，就需要系统可横向扩展节点。

二、方案描述

1.系统架构

根据官方推荐，将FineBI的web应用端与数据存储的分布式引擎放在一个机器上（处于安全考虑，也可以分开。这里不涉及太多部门使用，放一起即可），架构如下所示。

架构图难以理解的话，可以看看灵魂画手的杰作~

结合分布式引擎说明的技术原理，将各个机器再细分化各个组件的作用。

以上，将系统架构规划完成，即可具体完成系统。

2.完成从MongoDB取数

在使用BI工具对接MongoDB的时候，使用MongoDB的BI连接器。

感兴趣可以看：MongoDB Download Center

方案原理：mongodb是非结构的数据库，而要想BI来连接，通过建模的方式取表，拆表，建模来分析。通过MONGODB CONNECTOR FOR BI连接器的方式，使用mysql的JDBC驱动来获取数据。

实现过程：

第一步：安装MONGODB CONNECTOR FOR BI

从官网选择版本：MongoDB Download Center

第二步：生成DRDL文件

mongodrdl是生成该文件的主命令。通过添加monogdb的相关参数来获取其中的表生成drdl文件。从官方文档上我们可以找到生成DRDL文件命令的范式：

1 mongodrdl --host myhost.example:27017 \2 --username dbUser \3 --password myPassword \4 --db reports \5 --authenticationDatabase admin \6 --out schema.drdl

范式说明：

--host 是mongodb的ip+端口号，通常可为127.0.0.1:27017--username 是mongodb的用户，需具备相关的数据权限--password 是username的密码--db 是要生成DRDL的数据库实例名--authenticationDatabase 是指定创建用户的数据库。即username创建时被指定到的数据库名。--out 是DRDL输出文件定义。值使用.drdl的文件即可。

第三步：启动连接器，连接上monogdb

启动连接器的主命令服务是mongosqld，由于mongodb开启用户认证了（auth=true）。从官方文档上可知，连接器的启动需要使用-auth参数，再使用auth参数的情况下，mysql驱动来取数就需要SSLl加密认证。

所以第一步需要配置mongosqld的SSL认证；才能启动连接器来取数！！！！！！！！！！这一步神坑，也是踩了多少坑，才找到的解决办法。

此处认证关系是FineBi端的mysql连接与mongosqld的连接之间的SSL认证。在认证时，只需要配置单向SSL的认证即可（mongosqld认证FineBI的连接）。

（1）生成SSL认证文件

SSL认证文件通常采用openSSL来生成，先看看是否安装了openSSL；执行命令：

rpm -qa|grep -i openssl

如安装了会返回信息，未安装需要自行安装OpenSSL。

采用以下命令来生成证书：（由于是测试，就直接自己生成证书，密钥）

openssl req -newkey rsa:2048 -new -x509 -days 365 -nodes -out mongodb-cert.crt -keyout mongodb-cert.key

命令返回会让填写一些值，在后面填写即可。

一般情况下，文件会生成到你所使用的linux用户的要根目录下：比如我用的root用户，就到/root下面查找。

再使用以下命令，将key合到.pem的文件里。

cat mongodb-cert.key mongodb-cert.crt >mongodb.pem

将该文件移动/etc/ssl下面用于验证使用：

mv mongodb.pem /etc/ssl

（2）启动连接器&SSL

再来看官方文档，从所有的参数命令里面，找一找需要的参数；得出以下的范式，在bin目录下启动即可。

mongosqld --auth --sslMode --sslPEMKeyFile --sslAllowInvalidCertificates --defaultAuthSource --mongo-uri --mongo-username --mongo-password --mongo-authenticationSource --schema

说明：

--auth 是开启用户认证的参数，默认值是true--sslMode是开启SSL的标识，如开启可以选择值为“requireSSL”--sslPEMKeyFile是SSL认证文件，一般为.pem结尾的文件；单向认证的时候。--sslAllowInvalidCertificates--defaultAuthSource是mongosqld使用username指向mongodb的有权限的库，默认值是admin--mongo-uri是mongodb的host，一般为ip+端口号--mongo-usrname是drdl生成的用户名--mongo-password是drdl生成的密码--mongo-authenticationSource指定用户的创建库--schema是要连接的drdl文件。

注：一般还是要用nohup 的命令来生成，保证shell断掉，连接器依然可用。

第四步：启动FineBI连接到连接器上

启动FineBI，打开FineBI>数据配置>数据连接：添加数据连接选择mysql，配置如下：

连接名：mongodbURL：jdbc：mysql：//127.0.0.1:3307/test?ssl-key=/etc/ssl/mongodb.pem用户名：密码：注：URL：jdbc：mysql://ip+3307/dbname?ssl-key=xx.pem，后面ssl-key是ssl参数

点击测试连接即可。

过程坑点：mongodb的BI连接器神坑，官网文档不多，踩过了几脚坑。

（1）mongosqld按ssl认证开启成功，打印也不错，但是BI连接的时候，还是抛错1043 SQLSTATE: 08S01 (ER_HANDSHAKE_ERROR):this server only allows SSL xxxxx该抛错是mysql抛出来的，握手不良的错误。按道理SSL已经开启了，不应该是这样。后来查了mysql的文档，mysql5.5以上的版本才支持SSL；更换新的driver驱动，使用的是5.1.44完全没问题的。

（2）BI连接的时候抛错 handshake error: ERROR 1043 (08S01): error performing authentication: unable to authenticate conversation 0: unable to authenticate using mechanism "SCRAM-SHA-1": (AuthenticationFailed) Authentication failed.

该抛错的意思，使用“SCRAM-SHA-1”的认证方式，没有认证成功。SCRAM-SHA-1是指用户名密码的方式，这里看是不是用户名/密码错误，注意mongosqld启动时的使用的用户名/密码

（3）一定要开启SSL认证啊！！！

（4）期间有设计器无故死掉的情况，发现是由于内存不足导致。记得空闲内存要足够！！

三.系统效果

1.数据更新

（1） 单个表先全量抽取，之后每天对单表依据时间戳，做增量增加。其中有错误数据做增量删除即可。

（2）有些内部使用的实时性较高的表，设定每2小时更新一次，从上午9点到下午6点。直接从业务库抽取其实是有风险的，当时数据库压力大，抽取比较慢，因此这部分仅作为非重点用户需求场景。

2.数据展示速度

做了一个简单的依据时间的group by，时间在1s之内，翻页速度也很快。

至此，对接mongodb完成，一个用户可以随便玩的系统就好了。即使偶尔mongodb发疯修整，有离线数据在，也不担心业务部门来嚷嚷了。而且速度超快，体验很棒~

最后

如果你也在寻求一个高性能展示分析、数据分析的BI工具的话，不妨尝试下FineBI。

上一篇给大家分享了一下筛选功能的使用，特别要注意不能随意复制粘贴的原因和解决办法。有兴趣的朋友们可以点击或关注百家号，进去查看历史文章。

那么，今天给大家分享下EXCEL透视表功能的简单使用。通常情况下，我们需要做批量数据的统计、用excel出图表等等的时候，需要计数或者求和的结果作展示的时候都会用到。可以说是在大数据分析以及展示结果的时候，所必须会使用到的一个功能。

在此，让我们一起通过一个实例来看一下，excel数据透视表的具体使用方法。只需要简单几步，就可以完成一个简单的数据透视！

首先，我们打开一个要处理的EXCEL，比如需要统计各部门总工资。如下图的数据。通过1月到5月每个人的工资记录，来计算出部门工资的总数及每个月的走势。

第一步：选定A列到H列，即包含所有数据的列。

第二步：点击插入-数据透视表，出现一个创建数据透视表的小窗口，直接点击确定。

此时出现了一个新的sheet页，如下图。这里为了方便大家看全，我把表格横向缩小到了一起。实际上数据透视表字段是在EXCEL最右侧。

第三步：新sheet页的最右侧数据透视表字段，有一个选择要添加到报表的字段，可以看到原始表格的标题列。继续往下看，有四个区域，分别为筛选器，列，行，值。我们把月份点住，拖动到列的区域中。

再分别把部门、姓名拖动到行，部门在上。最后把工资拖动到值。

第四步：值里边默认是计数项，我们需要修改一下，工资是以求和来统计。点击计数项：工资，会出现值字段设置。打开后，选择求和，然后点击确定。

第五步：此时已经可以看到表中的数据都已经出现，每个部门每个人1月到5月工资以及总计的工资。可以点击技术部、科研部、运营部前边的-号，代表隐藏姓名；最后一列的总计，每一行代表这一行数据的总计，比如第一行代表技术部1月到5月的总计工资数目；最后一行的总计，每一列代表的是这一列数据的总计，比如1月的那一列代表1月各个部门的总计工资。这样就满足我们的需求了，可以看到每个部门在每个月以及合计的工资数目。

习惯而言，统计的数据都喜欢有高低顺序来浏览，方便一眼看出哪个部门的工资总额高低。我们可以再点击一下总计那列，然后点击排序，选择降序排列。这样就可以看到一个按高到低排序的工资图表了。

好了，本篇就给大家讲到这里，大家可以自己试着随意在四个区域里，把其他的标题也拖进去，看看会出现什么变化？其实看似枯燥的Excel工具也有非常有趣的一面，更多的技巧就留给大家自己开发吧！有什么问题欢迎留言给我们哦！

浅谈统计学在生活中的应用

统计学并不是一门独立存在的学科，它是以数学知识和数理统计作为基础，将数理统计方法和其他学科专业知识交叉融合形成的具有极强推断性的一种分析方法。现阶段，随着科学技术的快速发展，为了加强对自然社会各个领域现象的判断和整理能力，将统计学应用在生活各个方面已经成为现阶段的数理统计的一种便捷方法。

一、统计学的概念 　　统计学指的是调研人员通过一些列的手段对整理出来的数据信息进行整理分析，从而推断出调研对象本质，甚至可以对未来的类似事情进行预判的一门综合性学科。在进行统计学整体分析的过程中需要用到大量的数学知识以及其他相关学科的专业知识，统计学由于其自身独特的性质，在社会科学和自然科学的各个领域几乎都可以使用。 　　二、统计学在生活中的应用分析 　　（一）统计学在经济学中的重要应用 　　运用统计学对生活中的数据信息进行整理分析，首先要学习统计学的基础知识以及数据统计个分析等学科，这些基础知识和方法都是在开展统计学应用活动之前调研人员所必须掌握的。统计学课程的学习作为经济学学科当中的重要分支，在经济学课程中经常被应用，例如，经济学的计量统计就需要根据统计学在金融里面的重要意义和地位作为基础，将金融知识和统计学知识相结合，将金融计量和时间的序列进行结合，对收集到的金融数据进行整理分析，最后得出金融计量和时间序列的一定关系。 　　统计学在金融经济学中有着十分重要的工具性作用，主要包括两个方面，分别是：在思想上而言，统计学是对数据统计分析结果进行研究，最后得出研究对象的判断结果，为了保证研究结果的准确可靠性，统计学在进行数据整理分析过程中必须是带着严谨的科学态度，这种严谨的科学态度对于经济学的相关理论分析具有十分重要的指导地位，这是由于研究人员在对金融量进行数学分析的过程中，为了保证金融数学分析结果的准确可靠性就必须保证金融量数据收集分析等预处理过程是科学合理的；其本收集整理次，统计学是经济学进行科学试验研究最优化的选择，经济试验研究活动的多样性以及研究对象之间错综复杂的关系导致经济学的试验研究活动受到诸多限制，运用统计学进行经济学试验研究活动，使得经济学实验研究的对象变得简洁明了，降低试验研究的成本支出。从统计学在经济学中的应用我们可以看出，经济学当中的统计学应用主要是运用了统计学当中经济必然性的思想，使得经济学当中的统计结论不具备复杂的思想成本。 　　

（二）统计学在医学中的重要应用 　　统计学在医学中应用的主要原因就是生物医学中存在的不确定性和变异性。生物医学主要的研究目标就是与人体健康相关的不确定因素，也就是通常所说的医学变异现象，变异现象在生物体当中是普遍存在的，例如，对于外在条件基本相同的两个病人，在相同的条件下进行治疗时，却有可能出现有的病人被治愈，有的病人治疗效果不明显，甚至还会出现死亡的现象。造成这些外在条件相同的生命体却出现不同程度治愈的主要原因就是生物医学中存在的不确定性或者是人体中存在的错综复杂的随机因素，客观差异存在的原因是因为某种偶然性的潜在的揭露必然性的发现。 　　在医学临床统计中发现，对于同一种病因的客观性规律进行调查，对于健康人的共同作用的交织与疗效的考查的病人很少。在医学当中运用统计学最主要的就是通过观察不同疗效病人的医疗诊断效果，将实际的医学诊断治疗效果与医学理论和假设进行验证，运用概率论以及数学方法对对比结果进行分析、判断，运用电子计算机等相关软件设备对研究对象的指标进行记录，并绘制相应的图表等，通过综合运用多种数理统计方法，得出与研究对象相关的研究结果。将统计学应用到医学当中，可以促进统计方法和多变量分析法在医学试验研究中的应用，对未知病因所造成的医疗诊断事故进行分析，可以促进医疗诊治手段的不断创新發展。

（三）统计学在体育比赛中竞技指标的应用。 　　统计学在体育比赛中的应用主要是用统计的职业联赛的数字反应比赛队伍能否成为世界顶级，这是因为在体育比赛中应用统计学可以对比赛中的胜率进行分析，主要是将每个队员在每个赛季比赛的分数和常规赛场上的分数进行统计，通过一系列的数学计算分析，制定出每个队员得分平均值和标准差之间的正态分布图，通过正态分布图的稳定性来判断队员的技术稳定性。以众所周的NBA篮球比赛为例，NBA比赛中由于明星球员众多，在运用统计学进行数据整体分析时，需要依据本质上的规律进行数据统计，而不是随意的选择数据进行统计，例如在进行篮球比赛发球这一项双方队员的进攻和防守的概率时，在进行指标选择时就涉及到随机事件的发生概率，因此，可以运用统计学统计球员在每一场比赛上的均得分，通过这些数据指标的正态分布图来确定球员的技术稳定性。 　　三、结束语 　　在日常生活中应用统计学对数据进行管理分析，可以极大提高生产生活中对研究对象的管理效率，使得研究对象变得明确，降低管理成本。在实际的生产生活中应用统计学时，调研人员需要通过多次的试验和随机概率对比来确定事件发生的概率，通过定量定性的数理统计分析工作，充分发挥统计学对生产生活的促进作用。

统计学方法在数据挖掘中的应用探究

数据挖掘就是指从众多实际应用数据中获取批量大、有噪声、且随机性强的数据，将潜在的信息与数据提取出来，就是从数据中挖掘有价值的知识，而大多数原始数据具有一定的结构化特征，比如，关系数据库中的数据；也可以通过文本、图形、图像等半结构化发掘有用知识，这些知识可以是数学的也可以是非数学形式的；数据挖掘能以归纳形式存在，能够被广泛应用到信息查询、信息管理、信息决策控制中，方便数据的维护与管理。由此可见，数据挖掘是一门交叉性强的学科，加强对其的研究非常有意义，下面将对统计方法在数据挖掘中的具体应用进行分析。　

　一、数据挖掘与统计学的关系　　（一）数据挖掘的内涵　　通常来说，数据挖掘的定义较为模糊，没有明确界定，大部分对其的定义只是停留在其背景与观点的内容上。通过对不同观点的统一整理，人们最终将其描述为：从大量多样化的信息中发现隐晦性、规律性等潜在信息，并对这些信息进行创造、加工的过程。数据挖掘作为一门重要的交叉学科，能够将数据库、人工智能、机器学习、统计学等众多的科学融入到一起，从而实现技术与理论的创新与发展[1]。其中，数据库、人工智能与统计学是数据挖掘当中的三大支柱理论。数据挖掘的目的是从数据库当中发掘各种隐含的知识与信息，此过程的方法非常多，有统计学知识、遗传算法、粗集方法、决策法、模糊逻辑法等，还可以应用向邻近的可视技术、模式识别技术等，在以上所有技术的支持上能够使数据挖掘更为科学、有序。　　（二）数据挖掘与统计学间的关系　　通常来说，统计学的主要功能是对统计原理与统计方法进行研究的科学。具体来说就是指对数字资料进行的收集、整理、排序、分析、利用的过程，数字资料是各种信息的归纳与总结，可以将其作为特性原理的认知、推理方法[2]。而统计学则表示的是使用专业的统计学、概率理论原理等对各种属性关系的统计与分析过程，通过分析成功找到属性间的关联与发展的规律。在此过程中，统计分析方法是数据挖掘最为重要的手段之一。

　　在数据挖掘这一课题被提出来之前，统计分析技术对于人们来说更熟悉，也是人们日常开展工作、寻找数据间规律最常使用的收集整理方法。但是不能简单的将数据挖掘作为统计学的延伸与替代工具，而是要将两者的区别认识到位，再结合两者间的不同特点分析其应用特点[3]。大部分的统计学分析技术都是建立在数学理论与技巧上的，预测通常较为准确，效果能够让大部分人满意。数据挖掘能够充分借鉴并吸收统计学技术，在融入到自身特点以后成为一种数据挖掘技术。　　统计学与数据挖掘存在的目标都是一致的，就是不断对数据结构进行发掘。鉴于统计学与数据挖掘在目标上的一致性，致使很多研究学者与专家将数据挖掘作为了统计学的一个分支机构[4]。但是这种认知非常不正确，因为数据挖掘不仅体现在与统计学的关系上还体现在思想、工具与方法上，尤其是在计算机科学领域对数据挖掘起到的作用非常大。比如，通过借助数据库技术与人工智能的学习，能够关注到更多统计学与数据挖掘上的共通点，但是两者存在的差异依然非常大。数据挖掘就是指对大量的数据信息不断挖掘的过程，DM能够对数据模式内的数据关系进行充分挖掘，并对观测到的数据库处理有着极高的关注度。　　二、数据挖掘的主要过程　　从数据本身出发探讨数据挖掘过程，数据挖掘的过程分为信息的收集、数据集成、数据处理、数据变换、数据挖掘实施等过程。

　首先，要将业务对象确定下来，明确不同业务定义，并认清数据挖掘的目的，这是做好数据挖掘最关键的一步，也是最重要的一步，虽然挖掘的结果不能被准确预测到，但却需要对问题的可预见性进行探索[5]。其次，还要做好数据准备工作，包含数据清理、数据变换等工作，数据清理的实际意义是将噪声与空缺值补全，针对这一问题，可以使用平滑技术，而空缺值的处理则是属性中最常见的，可以将统计中最可能出现的值作为一个空缺值[6]。　　信息收集指的是按照特定的数据分析对象，可以将分析中需要的特征信息抽象出来，并在此基础上选择出较为科学、适合的信息收集方法，将全部的信息全部录入到特定的数据库中。如果数据量较大，则可以选择一个专门的管理数据的仓库，实现对信息的有效保护与管理；数据集成就是指将来源不同、格式不同、性质不同、特点不同的数据集成到一起，进而为企业提供更为全面、系统的数据共享平台；数据变换就是通过聚集、概化、规范化等方式对数据进行挖掘，对于一些实用数据，则可以通过分层与分离方式实现对数据的转换；数据挖掘就是结合数据仓库中的数据信息点，并选择正确的分析方法实现对有价值数据的挖掘，事例推理、规则推理、遗传算法等都是应用较多的方法[7]。　　三、统计学方法中的聚类分析　　在统计学聚类方法基础上能够构建出潜在的概率分布假设，可以使用试图优化的方法构建数据与统计模型的拟合效果。基于统计学聚类方法当中，Cobweb方法是在1987年由Fisher提出的，能够以分类树作为层次聚类创建的方法，在分类树上，每一个节点都能代表着一个概念，该方法就是对节点概率描述的过程。Cobweb方法还使用了启发式估算方式，使用分类效用对分类树的构建进行指导，从而实现对最高分类的划分目的，能够将不同分类对象全部归类到一个类别中，并依据这些内容创建出一个新的类别。但是这种方法也存在一定局限性，局限性在于假设的属性概率分布都是独立的，并不能始终处于成立状态中。

前言：数据是资产，对企业而言，对网络品牌推广而言，数据的价值体现在描绘推广现状、呈现推广问题、帮助解决问题、指导推广策略规划。

一、数据分析的价值（为什么要做监测分析）

移动营销时代，数据是资产，也是影响企业决策的重要依据。数据分析的价值在于：企业在做推广时，实际效果是否达到预期目标；如未达到目标，问题在哪里，如何优化；达到目标后，下一步如何优化，如何发挥其最大价值。

企业所处发展阶段和行业特性决定了企业的品牌推广策略，企业必须要根据自个儿所处的发展阶段、产品或服务的市场情势、消费者的消费成熟度等等有关因素采用不同的推广策略。因此品牌推广策略的制定也决定了企业关键KPI的数据指标。

以推广目标来划分可以分为：品牌类推广、效果类推广。二者的推广策略又不尽相同。效果类推广，我们关注的数据时注册、咨询、下单、转化、分享等一些列数据；品牌类推广目的是让品牌更加深入人心，增强品牌文化认同，提升品牌认识度、美誉度及品牌忠诚度。

推广的形式多样性，比较常见的有带链接的图片（文字链接）、视频/flash广告、SEM、微信（微信二维码）、APP开屏、移动DSP、EDM邮件、手机短信、应用市场、手机厂商等。

投放的内容和目标

推广的形式多种多样，企业如何根据投放内容，制定投放目标呢？可以分两种，图片（含二维码）/文字链接及文案，不同的投放渠道反映不同的数据指标，比如以图片（含二维码及链接）来说，一般的效果类推广则反应在App下载，转化，分享等，其中APP下载的渠道，又分本地和应用市场两种渠道。

对于文案来说，通常是通过二维码及文章中嵌入二维码等形式，达到点击原文，进入minsite的目标。

二、如何让数据分析带来价值？

1、数据产生价值的前提条件

数据分析是让数据产生价值，但是前提是这些是：1、真实的数据2、准确的数据3、正确的分析，前面两个我们是从数据、监测的角度来说，后面则是从运营的角度来说的。数据产生价值三者缺一不可。

2、数据会说谎：真实的数据背后

在这个看数据的时代，一切成果用数据来说话。但是实际在操作过程中，常常掺杂一些虚假数据，这些异常虚假的数据，也就是我们常说的作弊。因此要透过表面数据看实质，揭开真实的数据面纱。

通常数据作弊分机器行为和人工行为。具体表现如下图所示：

机器行为：服务器刷量、客户端刷量、流量劫持

人工行为：真人作弊、程序作弊

在这些作弊行为中，机器行为中的客户端刷量，是比较常见的手段；而流量劫持，也是客户常见问题，比如下面这个例子：

流量劫持前：

http://99click

http://99click?utm_source=baidu

http://99click?ozs=1754574-1336

流量劫持后：

http://99click?utm_source=ABC

通过劫持对方流量，转为自己的流量。我们给出的解决方法就是：监测代码可以用一串没有明确意义的数字代码来替代，但是对于有地域域名的则不适用。

人工行为中的真人作弊判定时间较长，分析的时间也要长一些，这些行为常发生在旅游、航空等企业，通常都有一些占座的行为。日常可从点击、转化等判断出是否作弊，但对于广告量大、数据多的情况，则需要通过专业的工具来判定。

3、异常数据清洗

既然数据有真有假，我们就要学会剥离虚假的数据，常见的异常数据分析模型分为机器认为、人工行为。异常数据表现为：广告来源异常；曝光、点击频次异常；曝光、点击IP/地域集中；用户平均曝光量、点击量过大； 曝光、点击的UA分布异常；数据时段分布异常；到达率、二跳率、转化率异常；用户行为异常；用户留存异常等。掌握这些异常数据有助于我们快速辨别数据真伪。

4、数据会说谎：正确的分析

数据要产生价值，正确的数据才是前提，对于分析师来说，一切无法校验准确性的数据都是耍流氓。除了提供真实、准确的数据，还要对数据进行正确的分析。

正确的分析—案例分析：

1、推广策略：推广的目标，渠道已经给出了，现在需要在两个媒体投放广告。

2、媒体投放结果：

修正前：（媒体有异常数据投放后期，点击量暴涨），这时候A、B两家的媒体监测的用户数已达到500万。

修正后：清除虚假数据后，去除异常数据后A、B两家媒体监测的用户数470万

问题：修正后的数据，用户数470万就是正确的数据吗？非也，这时候我们要继续做深一步的分析，经过媒体重合度分析，A，B媒体的用户重合数为80万，去除重合用户，此次品牌推广实际覆盖人数390万。 再经过用户的性别与年龄层分析，找出本次目标用户，20-40岁男性用户覆盖人数为200万。仅完成了目标的一半。

从上面的案例我们不难发现，正确的数据分析帮助我们发现并锁定问题，重新制定解决方案， 可以制定两种不同的物料内容根据媒体属性进行投放，同时可根据时间段、地域、用户属性、客户端等因素制定不同的推广方案，比如根据不同省市消费人群的上网时间分时间段进行广告投放，锁定有需要的人群，才能实现最终的目的。

数据的核心价值来自对推广目标完成度的正确判断（查漏补缺），对现有渠道效果的评估、以及对下一次活动的客观指导，历史数据的积累。只有充分利用好大数据才能让品牌产生价值，让销量得到提升。

方法/步骤

1、首先，打开或者是新建一组数据，这里是打开一组案例分析中的数据进行分析。

2、在浏览窗口中找到需要分析的数据。

3、选择分析，描述统计中的比率，单击打开。

4、弹出一个设置窗口，我们再这里设置比率的分子和分母还有分组变量。

分子和分母分别表示比率变量中的分子和分母变量。

分组变量一般是叙事变量，使用数值代码或者是字符串对分组变量进行编码。

5、这是根据数据中的变量设置的三个分值。

6、下面是对统计量进行设置分析。

打开统计量窗口，里面有四大块，根据数据统计分析自定义设置，设置完成之后确定即可。

7、下面是根据数据分析设置的显示结果，如下图所示：

（本文内容由百度知道网友贡献）

本期，我们总结不同设计类型分类数据在在各种情况下比较所用的统计分析方法、泊松分布数据的统计分析方法以及变量之间关联性的统计分析方法。

分类数据的统计分析

1. 样本数据与总体比较

1)二分类资料：

(1)小样本数据：用二项分布进行确切概率法检验；

(2)大样本数据：用U检验；

2)多分类数据：用Pearson检验（又称拟合优度检验）。

2. 四格表（2×2表）数据

1)完全随机设计的四格表数据的分析

（1）当样本量n>40，并且4个格子理论数均大于5时，则用Pearson 检验；

（2)当样本量n>40，并且4个格子理论数均大于1且至少存在一个格子的理论数<5时，则用校正检验或用fisher’s精确概率法检验；< span="">

（3)当样本量n40或存在任一格子理论数<1，则用精确概率法检验；< span="">

2)配对设计的四格表数据的分析

（1)b+c≥40，则用McNemar配对检验；

（2)b+c<40，则用二项分布确切概率法检验；< span="">

3. 2×C表或R×2表数据的统计分析

1)列变量为效应指标，并且为有序多分类变量，行变量为分组变量，则可以采用行平均得分差（Row Mean Scores Differ）的CMH 或成组的Wilcoxon秩和检验；

2)列变量为效应指标并且为二分类，行变量为有序多分类变量，则可采用普通的Pearson 检验比较各组之间有无差别，如果总的来说有差别，还可进一步作两两比较，以说明是否任意两组之间的差别都有统计学意义。

3)行变量和列变量均为无序分类变量：

(1)当样本量n>40，并且理论数小于5的格子数少于行列表中格子总数的25%，则用Pearson 检验；

(2)当样本量n40，或理论数小于5的格子数多于行列表中格子总数的25%，则用Fisher’s确切概率法检验；

4. R×C表数据的统计分析

1)完全随机设计的R×C表数据的统计分析

（1)列变量为效应指标，并且为有序多分类变量，行变量为分组变量，则CMH 或Kruskal Wallis的秩和检验；

（2)列变量为效应指标，并且为无序多分类变量，行变量为有序多分类变量，则采用普通的Pearson 检验比较各组之间有无差别，如果总的来说有差别，还可进一步作两两比较，以说明是否任意两组之间的差别都有统计学意义；

（3)列变量和行变量均为有序多分类变量，可以作Spearman相关分析或者非零相关（none zero correlation）的CMH ；

（4)列变量和行变量均为无序多分类变量：

i. 当样本量n>40并且理论数小于5的格子数少于行列表中格子总数的25%，则用Pearson 检验进行分析；

ii. 当样本量n40或理论数小于5的格子数多于行列表中格子总数的25%，则用Fisher’s 确切概率法检验；

2)配对设计的C×C表数据：

（1)配对比较：用McNemar配对检验；

（2）一致性检验（Agreement）：用Kappa检验；

Poisson分布数据

1. 单样本数据与总体比较：

1)当观察值较小时：可以用确切概率法进行检验。

2) 当观察值较大时：可以用正态近似的U检验。

2. 两个样本数据的比较：可以用正态近似的U检验。

两个变量之间的关联性分析

1. 两个变量均为连续型变量

1)当两变量为小样本并且两个变量服从双正态分布时，可以用Pearson相关系数来衡量两个变量之间的关联性；

2)当两变量为大样本或两个变量不服从双正态分布，则用Spearman相关系数来衡量两个变量之间的关联性；

2. 如果两个变量均为有序分类变量，可以用Spearman相关系数来衡量两个变量之间的关联性；

3. 如果一个变量为有序分类变量，另一个变量为连续型变量，可以用Spearman相关系数来衡量两个变量之间的关联性。

“一站式”医学科研管理工具！

LinkLab帮您轻松做科研

成为更好的临床医生！

1、一列数据同时除以10000

复制10000所在单元格，选取数据区域 - 选择粘性粘贴 - 除

2、同时冻结第1行和第1列

选取第一列和第一行交汇处的墙角位置B2，窗口 - 冻结窗格

3、快速把公式转换为值

选取公式区域 - 按右键向右拖一下再拖回来 - 选取只保留数值。

4、显示指定区域所有公式

查找 = 替换为“ =”（空格+=号） ，即可显示工作表中所有公式

5、同时编辑所有工作表

全选工作表，直接编辑，会更新到所有工作表。

6、删除重复值

选取数据区域 - 数据 - 删除重复值

7、显示重复值

选取数据区域 - 开始 - 条件格式 - 显示规则 - 重复值

8、把文本型数字转换成数值型

选取文本数字区域，打开左上角单元格的绿三角，选取 转换为数值

9、隐藏单元格内容

选取要隐藏的区域 - 设置单元格格式 - 数字 - 自定义 - 输入三个分号;;;

10、给excel文件添加密码

文件 - 信息 - 保护工作簿 - 用密码进行加密

11、给单元格区域添加密码

审阅 - 允许用户编辑区域 - 添加区域和设置密码

12、把多个单元格内容粘贴一个单元格

复制区域 - 打开剪贴板 - 选取某个单元格 - 在编辑栏中点击剪贴板中复制的内容

13、同时查看一个excel文件的两个工作表

视图 - 新建窗口 - 全部重排

14、输入分数

先后输入 0 ，再输入 空格， 再输入分数即可

15、强制换行

在文字后按alt+回车键即可换到下一行

16、删除空行

选取A列 - Ctrl+g打开定位窗口 - 定位条件：空值 - 整行删除

17、隔行插入空行

在数据表旁拖动复制1~N，然后再复制序号到下面，然后按序号列排序即可。

18、快速查找工作表

在进度条右键菜单中选取要找的工作表即可。

19、快速筛选

右键菜单中 - 筛选 - 按所选单元格值进行筛选

20、让PPT的图表随excel同步更新

复制excel中的图表 - 在PPT界面中 - 选择性粘贴 - 粘贴链接

21、隐藏公式

选取公式所在区域 - 设置单元格格式 - 保护：选取隐藏 - 保护工作表

22、行高按厘米设置

点右下角“页面布局”按钮，行高单位即可厘米

23、复制时保护行高列宽不变

整行选取复制，粘贴后选取“保持列宽。

24、输入以0开始的数字或超过15位的长数字

先输入单引号，然后再输入数字。或先设置格式为文本再输入。

25、全部显示超过11的长数字

选数区域 - 设置单元格格式 - 自定义 - 输入0

26、快速调整列宽

选取多列，双击边线即可自动调整适合的列宽

27、图表快速添加新系列

复制 - 粘贴，即可给图表添加新的系列

28、设置大于72磅的字体

excel里的最大字并不是72磅，而是409磅。你只需要输入数字即可。

29、设置标题行打印

页面设置 - 工作表 - 顶端标题行

30、不打印错误值

页面设置 - 工作表 - 错误值打印为：空

31、隐藏0值

文件 - 选项 - 高级 - 去掉“显在具有零值的单元格中显示零”

32、设置新建文件的字体和字号

文件 - 选项 - 常规 - 新建工作簿时....

33、快速查看函数帮助

在公式中点击下面显示的函数名称，即可打开该函数的帮助页面。

34、加快excel文件打开速度

如果文件公式过多，在关闭时设置为手动，打开时会更快。

35、按行排序

在排序界面，点击选项，选中按行排序

36、设置可以打印的背景图片

在页眉中插入图片即要

来源：网络整理

百家号-【袁帅数据分析运营】运营者：袁帅，会展业信息化、数字化领域专家。新社汇平台联合创始人，永洪数据科学研究院MVP。认证数据分析师、网络营销师、SEM搜索引擎营销师、SEO工程师、中国电子商务职业经理人。畅销书《互联网销售宝典》联合出品人。

摘　要：统计分析是一种反映统计结果的工具,它在现在的企业中,被运用得很广泛,但它所使用的技术水平也在不断的提高,特别是在反映企业统计结果方面,更具有一定的实用性。企业在使用统计分析时,涉及到很多种行业中,例如:工业、商业、建筑业和交通以及邮电等各企业统计分析工作中。

关键词：

一、统计分析的概念统计分析是指运用统计方法及与分析对象有关的知识，从定量与定性的结合上进行的研究活动。它是继统计设计、统计调查、统计整理之后的一项十分重要的工作，是在前几个阶段工作的基础上通过分析从而达到对研究对象更为深刻的认识。它又是在一定的选题下，集分析方案的设计、资料的搜集和整理而展开的研究活动。系统、完善的资料是统计分析的必要条件。二、统计分析的特点 　统计分析是对客观现象的一种认识活动，它在定性分析的基础上，经过定量研究，达到对现象本质及规律性的认识。　　统计分析方法具有特殊性　统计分析方法是以总体现象的数量关系为对象的一类特殊科学研究方法的总称。从应用的角度来看，统计分析方法可分为经验方法和数学方法两大类。经验方法是指一些与初等数学知识和人们的实践经验相关联的方法。数学方法又称为数理统计方法，是以数学理论，特别是概率论为基础对客观现象进行研究的方法。它可以通过对现象貌似偶然的变动来探求其必然的规律性。

统计分析的对象具有综合性　统计分析的对象不是某种社会经济现象的个体数量方面，而是现象的总体数量方面，分析研究其综合数量特征。从总体上对客观现象的数量方面进行分析，可以避免以偏概全，使认识较为全面和正确。三、统计分析方法 统计分析方法很多，但基本方法是定量分析 。l、从统计理论上看，我们所见到的统计学著作，除了统计设计、统计调查、统计整理等理论和方法外，其他大部分内容都是统计分析方法，这些统计分析方法有一个共同点，它们都是定量分析方法。 2、统计实践上看，统计分析所起的作用，是通过定量分析实现的。统计分析在人们的认识过程中有三个作用：第一，对客观事物量化，包括反映客观事物规律的数量表现；第二，根据量变程度确认事物的质，即确定区别事物质量的数量界限；第三，揭示新的规律，即通过分析数量关系，发现尚未被认识的事物的规律。　　四、企业如何运用统计分析 　　随着社会主义市场经济的发展,统计为企业发展战略的研究和制定,为各项职能管理提供必要的信息,为防范和化解风险,发挥其预警作用,新经济时代统计信息是影响企业管理层决策成败的关键。

（一）在企业经营过程中：在企业的经营管理中，统计分析占据着十分重要的地位。在认识统计的过程中，企业通过统计调查以及整理取得的统计资料能够对客观现象的数量特点取得一定的认识。若不进行深入的整理和分析，对于这些现象的认识还只停留在表面的初步认识状态，所以必须对这些统计资料加以分析和研究，才可以掌握事物的本质以及内在的发展规律，通过逐渐地深化认识，有效的深入的分析方法，查找出经营管理中存在的问题和薄弱环节，就可以提出改进的举措，给各级领导各级管理部门参考改进建议，是企业的各项管理工作不段得到改善和提高，充分显示出统计分析在企业经营管理中发挥的广泛应用。（二）在企业目标管理中：（1）在企业的各项经济指标的预测中，通常强调动态的分析预测与静态的分析预测相互结合，其中以静态分析预测为主。企业首先要根据自身发展的特点，寻找到经济运行波动的共性和差异，根据企业的总体规划以及企业的特殊性，依据企业的历史统计数据，运用相应的预测模型给出企业相关指标的科学性预测，根据预测数据制定出各项计划经营指标和各项KPI考核指标，再通过把企业的月度统计预测、季度统计预测和年度统计预测与月度、季度及年度各解段实际完成情况进行对比分析，进行不断调整修正完善，使得企业的目标管理以及考核指标得到实现和完成的保证。

（三）、在企业的决策性分析中：在我国的经济管理领域，决策性分析方法是最先被引入和普及的定量化分析方法。随着企业信息化建设的推进，企业受外部环境的影响逐步加深，这就要求企业及时对相关信息进行处理和分析。一是对市场需求和供给能力的分析。主要包括居民的购买力、商品的潜在和实际市场需求量、品牌成熟度、订单满足率、消费偏好等。通过分析，可以判断企业的赢利空间、供需缺口等，为领导层确定商品销售规模、制定阶段性营销策略等提供依据。二是对社会经济环境的分析和影响。主要包括国内、国际的宏观环境对我国行业发展的影响和对地方法规、民风民俗对企业的发展的影响。三是对企业竞争力的分析。通过分析本行业其他企业的经营情况，在对比中认识自身发展的差距和潜力，从而为制定正确的发展战略提供参考。（四）在企业过程分析和阶段分析控制中：在计划方案的落实过程中，往往会出现一些不可预知的状况。需要及时的进行过程分析和阶段分析。企业利用统计数据定期分析计划完成情况、进度情况等，可以及时的发现执行过程中所存在的问题。通过对完成阶段的结果进行对比分析，有利于确定指标完成率。便于衡量市场潜力相同的不同市场之间的业绩。也作为销售目标制定的依据。 　

在企业当中，统计分析工作是了解现状、预测未来，为了更好的促进企业发展进步的重要方法。做好统计分析工作具有重要的作用和意义。因此，我们要提高对统计分析的研究，使统计分析工作更好地成为企业发展的有力推动力量。 参考文献：[1]百度百科.统计分析[EB/OL]. 　[2]赵井霞．试谈如何进行统计分析[J]．商业经济．2004.4． 　　[3]宋安. 统计分析在企业管理与经营决策中的应用[J].经济师.2003.6