1、一列数据同时除以10000

复制10000所在单元格，选取数据区域 - 选择粘性粘贴 - 除

2、同时冻结第1行和第1列

选取第一列和第一行交汇处的墙角位置B2，窗口 - 冻结窗格

3、快速把公式转换为值

选取公式区域 - 按右键向右拖一下再拖回来 - 选取只保留数值。

4、显示指定区域所有公式

查找 = 替换为“ =”（空格+=号） ，即可显示工作表中所有公式

5、同时编辑所有工作表

全选工作表，直接编辑，会更新到所有工作表。

6、删除重复值

选取数据区域 - 数据 - 删除重复值

7、显示重复值

选取数据区域 - 开始 - 条件格式 - 显示规则 - 重复值

8、把文本型数字转换成数值型

选取文本数字区域，打开左上角单元格的绿三角，选取 转换为数值

9、隐藏单元格内容

选取要隐藏的区域 - 设置单元格格式 - 数字 - 自定义 - 输入三个分号;;;

10、给excel文件添加密码

文件 - 信息 - 保护工作簿 - 用密码进行加密

11、给单元格区域添加密码

审阅 - 允许用户编辑区域 - 添加区域和设置密码

12、把多个单元格内容粘贴一个单元格

复制区域 - 打开剪贴板 - 选取某个单元格 - 在编辑栏中点击剪贴板中复制的内容

13、同时查看一个excel文件的两个工作表

视图 - 新建窗口 - 全部重排

14、输入分数

先后输入 0 ，再输入 空格， 再输入分数即可

15、强制换行

在文字后按alt+回车键即可换到下一行

16、删除空行

选取A列 - Ctrl+g打开定位窗口 - 定位条件：空值 - 整行删除

17、隔行插入空行

在数据表旁拖动复制1~N，然后再复制序号到下面，然后按序号列排序即可。

18、快速查找工作表

在进度条右键菜单中选取要找的工作表即可。

19、快速筛选

右键菜单中 - 筛选 - 按所选单元格值进行筛选

20、让PPT的图表随excel同步更新

复制excel中的图表 - 在PPT界面中 - 选择性粘贴 - 粘贴链接

21、隐藏公式

选取公式所在区域 - 设置单元格格式 - 保护：选取隐藏 - 保护工作表

22、行高按厘米设置

点右下角“页面布局”按钮，行高单位即可厘米

23、复制时保护行高列宽不变

整行选取复制，粘贴后选取“保持列宽。

24、输入以0开始的数字或超过15位的长数字

先输入单引号，然后再输入数字。或先设置格式为文本再输入。

25、全部显示超过11的长数字

选数区域 - 设置单元格格式 - 自定义 - 输入0

26、快速调整列宽

选取多列，双击边线即可自动调整适合的列宽

27、图表快速添加新系列

复制 - 粘贴，即可给图表添加新的系列

28、设置大于72磅的字体

excel里的最大字并不是72磅，而是409磅。你只需要输入数字即可。

29、设置标题行打印

页面设置 - 工作表 - 顶端标题行

30、不打印错误值

页面设置 - 工作表 - 错误值打印为：空

31、隐藏0值

文件 - 选项 - 高级 - 去掉“显在具有零值的单元格中显示零”

32、设置新建文件的字体和字号

文件 - 选项 - 常规 - 新建工作簿时....

33、快速查看函数帮助

在公式中点击下面显示的函数名称，即可打开该函数的帮助页面。

34、加快excel文件打开速度

如果文件公式过多，在关闭时设置为手动，打开时会更快。

35、按行排序

在排序界面，点击选项，选中按行排序

36、设置可以打印的背景图片

在页眉中插入图片即要

来源：网络整理

百家号-【袁帅数据分析运营】运营者：袁帅，会展业信息化、数字化领域专家。新社汇平台联合创始人，永洪数据科学研究院MVP。认证数据分析师、网络营销师、SEM搜索引擎营销师、SEO工程师、中国电子商务职业经理人。畅销书《互联网销售宝典》联合出品人。

对社会保险统计工作的几点认识

社会保险统计是运用多种统计方法观察、研究社会保险范围、内容、水平、规模效益状况及其发展趋势、特点和规律的一门科学。社会保险统计信息工作的基本任务是依法对社会保险机构统计信息进行采集、审核、汇总、分析、公布，开展统计信息预测，为促进社会保险事业的健康发展提供决策参考和依据。但是，目前社会保险统计信息的现状不容乐观，还存在一些问题，制约了社会保险统计信息工作的发展，有的甚至认为社会保险统计可有可无，统计就是评估。这样势必影响到社会保险事业的发展。为此，建议从以下几个方面加强社会保险统计信息工作。　

一、确保统计数据质量　　基础数据的采集是统计的一项基础性工作，采集的准不准，质量高不高，直接关系到统计信息汇总的质量。抓好统计信息源是做好社会保险统计工作的关键一环，是提高统计质量的根本保证。　　一要健全社会保险统计体系。二要统一统计口径。三要严把数据审核关。　　二、调整统计调查方法　　一是完善调查内容。及时追踪政府的宏观决策，积极开辟社会保险统计调查新领域，及时、全面的为政府重大决策的实施提供服务，为本级部门的重点工作和重大决策提高服务。积极研究尝试开展涵盖社会保险、人才就业、劳动关系等多领域的调查，监测和评价统计指标体系。

二是调整调查频率。在工作中，根据不同的调查对象、不同的调查内容，区别对待，采取不同的调查频率，提高快速反应能力，以灵活多变的调查方法，跟踪观察复杂多变的统计对象，以满足多层次、多部门、多目标的统计信息需求。　　三是提高调查效率。运用现代化的手段，加快统计调查工作信息化建设，从而提高社会保险统计工作效率。随着计算机、网络、管理信息系统等信息技术的迅速发展，给统计调查提供了许多科学有效的方法和便利。社会保险统计在利用计算机技术和网络基数进行信息管理的同时，应积极运用计算机技术、网络技术等进行高效准确的数据采集和数据分析。在今后工作中，从完善统计结构软件入手，着力进行统计信息网络建设，能大大方便工作，提高工作效率。　　三、进行科学的统计分析　　一是确定统计分析目标。针对社会保险体制改革中不断出现新情况、新问题、新经验的状况，社会保险统计分析，分清形势，确定有针对性的分析目标，特别是抓住社会保险工作实践中带有苗头性、倾向性、突发性和趋势性的问题，充分利用统计数据进行综合分析，提出政策措施和建议。　

二是做好基础数据采集。提高统计数据质量是统计信息工作的永恒的主题。统计数据质量体现在真实性、准确性、及时性、适应性等方面。如何保证统计数据质量，必须从源头抓起，从被调查单位的原始记录。数据收集、整理、汇总、上报的全过程，从每一个统计指标的困境，包括范围、取得渠道、指标来龙去脉，数据的采集操作制度化，以及建立健全统计原始记录、统计报表、统计台账制度。原始记录是统计基础工作的基础，这项工作必须做细、做准，不得有半点的虚假，这也是从源头上杜绝了虚假数据的产生，保证了社会保险统计数据采集的真实性和准确性。　　三是深入开展分析和专题研究，为科学决策和管理提供可供选择的咨询建议和对策方案。社会保险统计要提高决策咨询服务水平，重点是加强统计分析，做好决策咨询调研工作。统计分析要由简单的就数论数，数字文字化，转到对数字背后的深层关系进行分析，对数字背后的社会保障发展规律进行探讨，大大丰富社保统计工作内容，提高社会保险统计产品（统计报表、统计分析、统计调研报告等）的质量。通过实行重点课题责任制度、统计分析定期评估制度、热点问题及时追踪制度等等，使统计分析质量持续提高。　

四是建立表内和表间平衡关系。社会保险统计报表是一个完善体系，报表内部、报表之间都有严密的逻辑关系，保证逻辑关系合理是填报统计报表的基本要求。为了让基层统计人员更好地掌握报表的逻辑关系，确保报表填报的严密性，减少填报错误，提高填报质量，要对报表表内和表间的逻辑关系进行统一和规范，并将这些平衡公式录入统计软件，从而使数据之间，报表之间保持合理的逻辑关系。当因录入或其他的原因使统计数据出现差错时，表内和表间平衡关系都会受到影响，统计软件能够自动地、及时地为统计人员提出错误，是统计失误在基层就能够得到解决，从而提高统计报表质量。　　五是实行统计数据库与业务数据库对接。实现统计数据与业务数据的对接是一个多管齐下的系统工程，要业务、信息系统管理部门等多方努力，真正实行统计数据库与业务数据库对接，才能从基础经办机构统计工作中消除统计数据的虚报、瞒

报和假报现象，减少统计失误，保证统计分析的科学性。四、提高统计服务意识　　社会保险统计信息工作对社会保险政策、业务政策的出台都是重要的辅助工具，树立服务意识，利用社保统计这个工具，是我们做好社会保险经办工作的基础。　

一要高度重视社会保险统计信息工作。各级社会保险经办机构要进一步加强领导，提高认识，把社会保险统计工作摆上议事日程，各级业务部门领导要重视社会保险统计工作，经常了解本统筹区社保统计的基本情况，通过社保统计的数据分析本行政区社保工作的利弊，更好地为社会保险工作的决策服务。　　二要加大对基层统计人员的业务培训力度。基层社会保险经办机构面临机构整合、职能调整等，人员变化较频繁，给社保统计工作带来一定困难和问题。当前，提高基层统计人员的整体素质和服务意识迫在眉睫。要通过不定期地举办不同对象、不同层次的统计人员的培训，在培训中要注重基层统计工作的实际，要注重更新统计人员的知识，改善统计人员的知识结构，提高统计人员的综合素质。　　三要不断创新统计信息服务形式。要不断提高科学、准确、及时、有效的社会保险统计信息服务的领域和空间，通过统计业务报刊、统计信息网站，相互交流社会保险统计信息工作经验。通过依托并不断创新服务形式，使社会保险统计工作的地位得到加强，社会保险统计工作的环境得到改善，社会保险统计工作的发展更加宽广。

浅谈大数据对统计学的挑战和机遇

引言　　国际数据公司的相关研究指出，2011年全球数据生产量达1.8ZB，且全球信息总量每隔两年增长一倍[1]。在大数据时代下，对于统计学发展而言，挑战与机遇并存，挑战指的是现阶段传统统计学相关方法难以适用大数据，机遇指的是基于统计学，大数据展开数据处理、分析，促使大数据具备可视化特性。由此可见，研究大数据对统计学的挑战和机遇有着十分重要的现实意义。　　1.大数据及其目的　　现阶段，关于大数据仍旧没有一个十分明确的界定，大数据起初是源自于技术领域。在信息量不断扩大的情况下，使得常规电脑原有存储空间已不能对新处理数据进行承载，新兴数据处理技术得以产生，好比雅虎的Hadoop平台、谷歌的MapReduce等。此类技术能够对僵化层次结构、一致性予以消除，促进数据无需通过常规数据库表格进行排列，极大程度地提升了人们可处理的数据量[1]。　

　2.大数据与统计学的对比　　2.1样本统计与全样本统计的区别　　样本统计属于统计学不可或缺的依赖，样本指的是结合相应的概率自总体中随机筛选并视作总体代表的集合内容，值得一提的是随机抽样是需要成本的，包括社会关系、资金成本或者时间成本等。基于样本数量提升有限前提下，样本估计误差会随着总体数量增多而增大，这亦是样本统计无法避免的不足。大数据时代下，收集整理庞大的数据信息应运而生，数据信息发展表现出总体即是样本的态势，该属性很好的消除了样本统计这一不足。大数据时代下的全样本统计，通常情况下可对完全总体进行覆盖，然而受大部分数据属于半结构、半结构数据影响，使得概率论应用遭受一定的制约[2]。鉴于此，将全样本统计应用到统计学中，应当就总体数据展开相应的归纳、筛选，即好比在样本统计中展开数据预处理。　　2.2预测分析与非预测分析的区别　　统计学的创立，是为了对变量相互相关关系展开分析，因此获取数据是发生于变量确定之后的，数据分析价值是能够被预测的。相较于统计学的预测分析，庞大数据将互联网、传感器作为载体，存在于分析需求之前，因此构建于大数据上的分析多为非预测性分析。在统计学中，出现大数据无法有效应用局面，这是由于不具备非预测分析所需的庞大数据，庞大数据产生与数据中心、存储系统存在紧密的联系，并非短期产生。也就是说，统计学中大数据的应用发展，说明了非预测分析正逐步取代传统统计学预测分析，数据多次利用正逐步取代传统数据一次性利用的。　　3.大数据对统计学的挑战与机遇　　3.1数据生产、处理与应用的转变　

　相关统计部门经开展严格的统计设计工作，获得相关的统计数据，数据的预处理分别有数据清洗、非全面数据填补以及数据矫正等。大数据时代下的统计手段尚不十分明确，自大数据流环境而言，要不断探索新型抽样方法，并确保抽样方法的实时、连贯及可行性。除去传统的统计分析方法，还应当开发大数据动态分析、数据流算法等[3]。　　3.2大数据时代对市场营销的机遇　　3.2.1大数据营销的特点与价值　　大数据营销的特点：I.数据采集多平台化特点，即大数据时代下，大数据的数据大多来源于不同的领域、不同的渠道。II.时效性特点，随着信息技术的急速发展，互联网用户消费、购物行为方式往往会瞬间出现转变。国际先进大数据营销企业AdTime基于此大数据营销特点，采取了时间营销措施，即采取相应的技术方式全面获悉用户所需，于第一时间对用户当下的需求进行回应，以使用户在下决心购买的最佳时间及时看到对应的产品广告。III.个性化特点，在大数据时代下，广告商传统媒体导向的营销理念逐步由受众导向取代，现如今，广告商可应用大数据了解用户的地理方位，需求内容等信息，达到对用户个性化营销的目的。　　大数据营销的价值：I.升级营销与用户的匹配度，大数据营销不仅可提供给企业了解用户有效的途径，还能够与网络环境下，选取相关技术方法达到对用户精确定位的目的，从而开展好营销工作，升级营销与用户的匹配度。II.改善用户体验，大数据营销促使企业真正意义上认识到用户及其所使用企业产品情况，以给予用户最人性化的提醒。　　3.2.2大数据营销的应用　　（1）与消费者建立紧密关系　　现如今，我国一些企业营销行为仍旧处于个性化定位信息、创意设计阶段，而无法对不同消费者展开个性化的营销活动。大数据时代下，经采用相关数据分析技术方法，基于对消费群体喜好、传媒接触习惯等展开有效的分析，达到特定营销活动明确开展的目的，实现企业精心开展的营销活动精准的辐射至目标消费群体处，与消费者建立紧密关系，极大的改善营销效率、质量[4]。　　（2）掌握竞争对手数据　　企业通过对竞争对手数据的有效掌握，获悉竞争对手发展状况，基于此帮助企业制定科学合理的产品价格，提升企业产品市场竞争优势。与此同时，企业务必要全面实施以事实为前提的决策手段，广泛地应用数据分析方式对企业每一个发展运营步骤进行优化，经对企业一系列数据的充分优化、对接，促使业务环节中潜在的价值得以被有效挖掘，降低生产成本，知己知彼，促使企业在日趋白热化的市场竞争中占据有利位置。　　（3）挖掘企业内部数据　　“市场未动，数据先行”俨然转变为国际上企业有效运营发展的一致认识，为了提升企业管理效率，要求企业要充分挖掘企业内部数据，并展开有效的整合、分析，以为企业相关人员做决策提供有利的参考依据，提升决策准确性，促进企业可持续发展。

3.2.4 企业的应用案例——以亚马逊为例　　在应用大数据开展市场营销方面，美国亚马逊公司一直处于领先地位。亚马逊研发出“用户未下单，先发货”功能，即结合用户的购物需求数据信息，分析用户想要购买的产品，达到用户未下单，提前发货的目的。此外，亚马逊通过对用户检索信息的分析，评估流感的传播，但这仅仅为海量检索数据中的一项用途，相同的数据能够应用于预测大选结果、预测某类产品市场行情等等，极大地降低了统计成本[5]。　　3.3大数据时代对市场营销的挑战　　3.3.1信息收集　　大数据并非就是对数据信息展开盲目的收集，即便收集了再多的数据，倘若这些数据并非是市场营销所需要的，如此便会导致前期收集来的数据信息，变成一堆“数据垃圾”。鉴于此，为了避免这一情况发生，务必要充分分析业务需求，再对自身存在价值的数据展开收集、归纳，如此方可实现大数据的有效收集应用。　　3.3.2经验与数据　　数据采集完毕后，面对参差不齐的数据，还应当做好数据评估工作，评估对何种目标受众开展市场营销工作。鉴于此，要求采取科学合理的手段，将这些参差不齐的数据整合成可被市场营销实践应用的，经结合过去的经验，与采集数据进行有机融合，实现对目标受众的有效分析确定。　　3.3.3分析与优化　　数据分析，一方面是实现数据优化，一方面是进行决策层面上的调整、转变。此环节对于专业人才的需求提出了严苛的挑战。数据分析、数据优化对于专业人才的知识框架要求大不相同，这要求相关企业不仅要培养专业的数据分析人才，还要打造数据优化人才队伍。　

　3.4大数据营销的未来发展趋势　　信息技术不断发展，单一媒体导向的“消费者碎片化”俨然无法达到企业对于数据多样性的需求。大数据时代下，媒体的跨界融合实现对“碎片化”受众的充分聚合。在科学技术技术不断进步的背景下，跨媒介、跨平台、跨终端的多途径将不断被开拓，将使庞大的数据信息获取多维度的整合，并且在多样化网络环境下，消费者主观信息与客观数据有机融合，构筑全面用户数据库环节，将成为未来大数据营销发展的必然趋势[6]。　　4.结束语　　总而言之，大数据为传统统计学带来了严峻的考验，也为传统统计学有效发展创造了良好的契机。在大数据时代发展潮流中，我们应当充分的认识到大数据对于传统统计学而言，是补充而不是更替，构建于样本统计、预测分析内容上的传统统计学，仍旧于社会统计、经济分析中占据着主导位置。大数据时代下，为了实现企业市场营销的有效开展，相关人员务必要不断专研研究、总结经验，全面分析大数据与统计学的对比，充分认识大数据对统计学的挑战和机遇，“与消费者建立紧密关系”、“掌握竞争对手数据”、“挖掘企业内部数据”等，积极促进企业市场营销的科学合理化。

一 数据分析处理需求分类

1 事务型处理

在我们实际生活中，事务型数据处理需求非常常见，例如：淘宝网站交易系统、12306网站火车票交易系统、超市POS系统等都属于事务型数据处理系统。

这类系统数据处理特点包括以下几点：

一是事务处理型操作都是细粒度操作，每次事务处理涉及数据量都很小。

二是计算相对简单，一般只有少数几步操作组成，比如修改某行的某列;

三是事务型处理操作涉及数据的增、删、改、查，对事务完整性和数据一致性要求非常高。

四是事务性操作都是实时交互式操作，至少能在几秒内执行完成;

五是基于以上特点，索引是支撑事务型处理一个非常重要的技术。

在数据量和并发交易量不大情况下，一般依托单机版关系型数据库，例如ORACLE、MYSQL、SQLSERVER，再加数据复制(DataGurad、 RMAN、MySQL数据复制等)等高可用措施即可满足业务需求。

在数据量和并发交易量增加情况下，一般可以采用ORALCE RAC集群方式或者是通过硬件升级(采用小型机、大型机等，如银行系统、运营商计费系统、证卷系统)来支撑。

事务型操作在淘宝、12306等互联网企业中，由于数据量大、访问并发量高，必然采用分布式技术来应对，这样就带来了分布式事务处理问题，而分布式事务处理很难做到高效，因此一般采用根据业务应用特点来开发专用的系统来解决本问题。

2 数据统计分析

数据统计主要是被各类企业通过分析自己的销售记录等企业日常的运营数据，以辅助企业管理层来进行运营决策。典型的使用场景有：周报表、月报表等固定时间提供给领导的各类统计报表;市场营销部门，通过各种维度组合进行统计分析，以制定相应的营销策略等。

数据统计分析特点包括以下几点：

一是数据统计一般涉及大量数据的聚合运算，每次统计涉及数据量会比较大。

二是数据统计分析计算相对复杂，例如会涉及大量goupby、 子查询、嵌套查询、窗口函数、聚合函数、排序等;有些复杂统计可能需要编写SQL脚本才能实现。

三是数据统计分析实时性相对没有事务型操作要求高。但除固定报表外，目前越来越多的用户希望能做做到交互式实时统计;

传统的数据统计分析主要采用基于MPP并行数据库的数据仓库技术。主要采用维度模型，通过预计算等方法，把数据整理成适合统计分析的结构来实现高性能的数据统计分析，以支持可以通过下钻和上卷操作，实现各种维度组合以及各种粒度的统计分析。

另外目前在数据统计分析领域，为了满足交互式统计分析需求，基于内存计算的数据库仓库系统也成为一个发展趋势，例如SAP的HANA平台。

3 数据挖掘

数据挖掘主要是根据商业目标，采用数据挖掘算法自动从海量数据中发现隐含在海量数据中的规律和知识。

数据挖掘主要过程是：根据分析挖掘目标，从数据库中把数据提取出来，然后经过ETL组织成适合分析挖掘算法使用宽表，然后利用数据挖掘软件进行挖掘。传统的数据挖掘软件，一般只能支持在单机上进行小规模数据处理,受此限制传统数据分析挖掘一般会采用抽样方式来减少数据分析规模。

数据挖掘的计算复杂度和灵活度远远超过前两类需求。一是由于数据挖掘问题开放性，导致数据挖掘会涉及大量衍生变量计算，衍生变量多变导致数据预处理计算复杂性;二是很多数据挖掘算法本身就比较复杂，计算量就很大，特别是大量机器学习算法，都是迭代计算，需要通过多次迭代来求最优解，例如K-means聚类算法、PageRank算法等。

因此总体来讲，数据分析挖掘的特点是:

1、数据挖掘的整个计算更复杂，一般是由多个步骤组成计算流，多个计算步骤之间存在数据交换，也就是会产生大量中间结果，难以用一条sql语句来表达。

2、计算应该能够非常灵活表达，很多需要利用高级语言编程实现。

二 大数据背景下事务型处理系统相关技术

在google、facebook、taobao等大互联网公司出现之后，这些公司注册和在线用户数量都非长大，因此该公司交易系统需要解决“海量数据+高并发+数据一致性+高可用性”的问题。

为了解决该问题，从目前资料来看，其实没有一个通用的解决方案，各大公司都会根据自己业务特点定制开发相应的系统,但是常用的思路主要包括以下几点：

(1)数据库分片，结合业务和数据特点将数据分布在多台机器上。

(2)利用缓存等机制，尽量利用内存，解决高并发时遇到的随机IO效率问题。

(3)结合数据复制等技术实现读写分离，以及提高系统可用性。

(4)大量采用异步处理机制，对应高并发冲击。

(5)根据实际业务需求，尽量避免分布式事务。

1相关系统介绍

1) 阿里CORBAR系统

阿里COBAR系统是一个基于MYSQL数据库的分布式数据库系统，属于基于分布式数据库中间件的分布式数据库系统。该系统是前身是陈思儒开发的“变形虫”系统(以前调研过)，由于陈思儒离开阿里去了盛大，阿里当心“变形虫”稳定性等问题，重新开发该项目。

该系统主要采用数据库分片思路，实现了：数据拆分、读写分离、复制等功能。由于此系统由于只需要满足事务型操作即可，因此相对真正并行数据库集群(例如TeraData等)，此类系统提供操作没有也不需要提供一些复杂跨库处理，因此该系统存在以下限制：

(1)不支持跨库的join、分页、排序、子查询。

(2)insert等变更语句必须包括拆分字段等。

(3)应该不支持跨机事务(以前变形虫不支持)。

说白了此类系统不具备并行计算能力,基本上相当于数据库路由器!

另外此类系统的在实际应用的关键问题是，根据什么对数据进行切分，因为切分不好会导致分布式的事务问题。

2) 阿里OceanBase系统

该系统也是淘宝为了解决高并发、大数据环境下事务型处理而定制开发的一个系统。该系统主要思路和特点如下：

(1)他们发现在实际生成环境中，每天更新的数据只占总体数据的1%不到，因此他们把数据分为：基线数据和增量更新数据。

(2)基线数据是静态数据，采用分布式存储方式进行存储。

(3)只在一台服务器上存储和处理增量更新数据，并且是在内存中存储和处理更新数据。

(4)在系统负载轻的时候，把增量更新批量合并到基线数据中。

(5)数据访问时同时访问基线数据和增量更新数据并合并。

因此这样好处是：

(1)读事务和写事务分离

(2)通过牺牲一点扩展性(写是一个单点)，来避免分布式事务处理。

说明：该系统虽然能处理高并发的事务型处理，号称很牛逼，但其实也只是根据电商的事务处理来定制开发的专用系统，个人认为其技术难度小于oracle等通用型的数据库。该系统无法应用到银行或者12306等，因为其事务处理的逻辑远远比电商商品买卖处理逻辑复杂。

在目前的大数据时代，一定是基于应用定制才能找到好的解决方案!

3) 基于Hbase的交易系统

在hadoop平台下，HBASE数据库是一个分布式KV数据库，属于实时数据库范畴。支付宝目前支付记录就是存储在HBASE数据库中。

HBASE数据库接口是非SQL接口，而是KV操作接口(基于Key的访问和基于key范围的scan操作)，因此HBASE数据库虽然可扩展性非常好，但是由于其接口限制导致该数据库能支持上层应用很窄。基于HBASE应用的设计中，关键点是key的设计，要根据需要支持的应用来设计key的组成。

可以认为HBASE数据库只支持作为KEY的这一列的索引。虽然目前HBASE有支持二级索引的方案，二级索引维护将会比较麻烦。

2并发和并行区别

并发是指同时执行通常不相关的各种任务，例如交易型系统典型属于高并发系统。

并行是通过将一个很大的计算任务，划分为多个小的计算任务，然后多个小计算任务的并行执行，来缩短该计算任务计算时间。

两者主要区别在于：

(1)通讯与协调方面：在并行计算中，由于多个小任务同属一个大的计算任务，因此小任务之间存在依赖关系，小任务之间需要大量通讯和协调;相反，并发中的多个任务之间基本相互独立，任务与任务之间相关性很小。

(2)容错处理方面：由于并发任务之间相互独立，某个任务执行失败并不会影响其它的任务。但是并行计算中的多个任务属于一个大任务，因此某个子任务的失败，如果不能恢复(粗粒度容错与细粒度容错)，则整个任务都会失败。

3本章总结

数据量大不一定需要并行计算，虽然数据量大，数据是分布存储，但是如果每次操作基本上还是针对少量数据，因此每次操作基本上都是在一台服务器上完成，不涉及并行计算。只是需要通过数据复制、数据缓存、异步处理等方式来支撑高并发访问量

三 大数据背景下数据统计分析技术介绍

随数据量变大，和事务处理不同的是，单个统计分析涉及数据量会非常大，单个统计分析任务涉及数据会分散在多台服务器上，且由于计算量大，采用单台服务器进行计算，会导致计算时间非常长，单个统计分析任务必须采用并行计算方式来加快单个统计分析任务执行速度。

1并行查询与并行计算技术介绍

在大数据背景下的数据统计分析技术门类很多，常见的有：

n MPP并行数据库 : TeraData、GreenPlum、Vertica等。

n 基于MapReduce并行计算框架的数据仓库：

HIVE(Hadoop平台) 、Tenzing(Google公司)

n 基于Hbase的Phoenix系统

n HadoopDB系统

n EMC公司的hapt系统

n MPP分布式查询引擎： Dremel、Impala、Presto、Shard query、Citusdb。

n 基于SPARK的Shark、基于Dryad的SCOPE、基于Tez的stinger。

n 基于hadoop+index的JethroData系统

n 基于内存计算的Druid系统

这些系统都解决了海量数据下的数据统计分析的问题，并且这些系统另外一个共同特点是都提供了SQL或者类SQL接口。

为了能够较好研究这些系统，我们需要对并行查询与并行计算的相关技术做一个简要的介绍。

首先所有的系统都可以分为三个层次: 语义层、并行计算引擎层、分布式存储层。语义层提供一个编程接口让用户表达所需要计算，并负责把该计算翻译成底层并行计算引擎可以执行的执行计划，并由并行计算引擎来执行，最下面一层是分布式存储层。

对于提供类SQL接口并行计算系统，语义层可以认为是SQL解析层。

1) 语义层

SQL语言是一种声名式语言，SQL只是表达了要做什么，而没有表达怎么做。为此，SQL解析层主要作用是：将用户提交的基于SQL的统计分析请求，转化为底层计算引擎层可以执行的执行计划。也就是解决“怎么做”的问题。

SQL解析层工作主要包括两个大方面:

(1) 通过语法分析技术来理解要做什么。在关系数据库中，一般会把SQL语言分析后，形成树型结构的执行计划。

(2) 在语法分析技术上，利用各种优化技术和算法，找出一种最经济物理执行计划。

优化可以分为两个方面：一是逻辑层面优化、二是物理执行层面优化。

(1) 逻辑层优化

逻辑层面个人认为主要是因为同样表达一个分析请求，有的人SQL写的好，有的人SQL写的烂，因此在逻辑层面可以通过一些等价关系代数变换，实现查询重写，将写的比较烂的sql变换为好的写法。

比较典型优化是：“把投影和过滤下沉，先执行过滤和投影操作”，减少中间结果。

(2) 物理层优化

物理层面优化是在逻辑优化后，结合实际物理执行过程，找出最优的物理执行计划。生成物理查询计划的工作包括:

ü 增加一些操作符： 包括扫描和排序等。

ü 确定各个操作符实现算法。例如扫描是全表扫描还是利用索引;Join是采用HASH连接、索引连接、合并排序等实现算法中的那一种。

ü 确定操作符之间的数据流转方法：物化还是流水线方式。

ü 采用基于代价估算方法确定最优的物理执行计划，目前代价估算主要是以估算该物理计划需要的IO量。另外对于并行数据库，则还要考虑通讯代价，即尽量减少数据在各个机器之间的传递。

在物理层优化的代价估算过程中，代价估算需要依靠很多统计信息，如表有多大，表中相关列的值分布是什么样子等。传统数据库在数据Load过程中会事先计算好这些统计信息。并行计算中还需要考虑通讯代价。

需要指出是，由于imapla、Presto、HIVE等系统只是一个查询引擎，它们可以直接查询以普通文件方式存储在HDFS系统上的文件，因此这些系统一般无法使用索引和各种统计信息来进行物理执行计划的优化，这些系统一般只能在逻辑层进行一些基于规则静态优化。根据SHARK论文，SHARK系统支持根据前面一些节点计算获得的信息，来动态优化后面执行计划。

(3) 物化与流水线执行方法

一条SQL语句对开发人员而言，感觉只是一次调用，但是实际上在数据库内部，一条SQL语句执行其实是有多个操作符组合而成的的树型结构计算流。如下图：

针对该计算流有两种执行方式：一是基于物化或者是实体化执行方式，另外一种是基于数据流的执行方式。

第一种方法的过程是： 把各个操作运算排序，并把每个操作运算的输出的中间结果存储在磁盘上，直到被另外一个操作运算所...

本期，我们总结不同设计类型分类数据在在各种情况下比较所用的统计分析方法、泊松分布数据的统计分析方法以及变量之间关联性的统计分析方法。

分类数据的统计分析

1. 样本数据与总体比较

1)二分类资料：

(1)小样本数据：用二项分布进行确切概率法检验；

(2)大样本数据：用U检验；

2)多分类数据：用Pearson检验（又称拟合优度检验）。

2. 四格表（2×2表）数据

1)完全随机设计的四格表数据的分析

（1）当样本量n>40，并且4个格子理论数均大于5时，则用Pearson 检验；

（2)当样本量n>40，并且4个格子理论数均大于1且至少存在一个格子的理论数<5时，则用校正检验或用fisher’s精确概率法检验；< span="">

（3)当样本量n40或存在任一格子理论数<1，则用精确概率法检验；< span="">

2)配对设计的四格表数据的分析

（1)b+c≥40，则用McNemar配对检验；

（2)b+c<40，则用二项分布确切概率法检验；< span="">

3. 2×C表或R×2表数据的统计分析

1)列变量为效应指标，并且为有序多分类变量，行变量为分组变量，则可以采用行平均得分差（Row Mean Scores Differ）的CMH 或成组的Wilcoxon秩和检验；

2)列变量为效应指标并且为二分类，行变量为有序多分类变量，则可采用普通的Pearson 检验比较各组之间有无差别，如果总的来说有差别，还可进一步作两两比较，以说明是否任意两组之间的差别都有统计学意义。

3)行变量和列变量均为无序分类变量：

(1)当样本量n>40，并且理论数小于5的格子数少于行列表中格子总数的25%，则用Pearson 检验；

(2)当样本量n40，或理论数小于5的格子数多于行列表中格子总数的25%，则用Fisher’s确切概率法检验；

4. R×C表数据的统计分析

1)完全随机设计的R×C表数据的统计分析

（1)列变量为效应指标，并且为有序多分类变量，行变量为分组变量，则CMH 或Kruskal Wallis的秩和检验；

（2)列变量为效应指标，并且为无序多分类变量，行变量为有序多分类变量，则采用普通的Pearson 检验比较各组之间有无差别，如果总的来说有差别，还可进一步作两两比较，以说明是否任意两组之间的差别都有统计学意义；

（3)列变量和行变量均为有序多分类变量，可以作Spearman相关分析或者非零相关（none zero correlation）的CMH ；

（4)列变量和行变量均为无序多分类变量：

i. 当样本量n>40并且理论数小于5的格子数少于行列表中格子总数的25%，则用Pearson 检验进行分析；

ii. 当样本量n40或理论数小于5的格子数多于行列表中格子总数的25%，则用Fisher’s 确切概率法检验；

2)配对设计的C×C表数据：

（1)配对比较：用McNemar配对检验；

（2）一致性检验（Agreement）：用Kappa检验；

Poisson分布数据

1. 单样本数据与总体比较：

1)当观察值较小时：可以用确切概率法进行检验。

2) 当观察值较大时：可以用正态近似的U检验。

2. 两个样本数据的比较：可以用正态近似的U检验。

两个变量之间的关联性分析

1. 两个变量均为连续型变量

1)当两变量为小样本并且两个变量服从双正态分布时，可以用Pearson相关系数来衡量两个变量之间的关联性；

2)当两变量为大样本或两个变量不服从双正态分布，则用Spearman相关系数来衡量两个变量之间的关联性；

2. 如果两个变量均为有序分类变量，可以用Spearman相关系数来衡量两个变量之间的关联性；

3. 如果一个变量为有序分类变量，另一个变量为连续型变量，可以用Spearman相关系数来衡量两个变量之间的关联性。

“一站式”医学科研管理工具！

LinkLab帮您轻松做科研

成为更好的临床医生！

第一部分 项目背景及挑战

1.项目背景与意义

伴随着互联网与信息技术不断发展，系统数据量不断增大，数据分析越来越复杂。如何从海量数据中挖掘出有价值的数据信息，辅助科学决策、促进社会经济发展，成为政府行政服务能力一项新考验。近年来，商贸流通统计工作进展迅速，指标体系基本成型，统计工作机制初步建立，数据样本结构不断优化，统计成果应用加深。但目前商贸流通统计中还存在”数据质量参差不齐、行业分析深度不够、统计人员业务素质有待提高”等问题。另外，商贸流通数据分散在相关地市商务局的各个原有部门，无统一的储存方式和标准，存在”数据散、统计困难、数据展示不直观、数据利用率不高”等问题,需要将分散、异构、多源的数据进行归集处理。因此，结合商贸流通统计业务需求设计适用轻量级数据仓库，开展面向统计业务的数据映射换规则研究，利用计算机软件技术解决商贸流通数据处理分析难题，对于提高统计效率与加强行业数据分析深度，具有重要的工程价值。

2.应用场景与需求

东莞市商务局作为东莞首个大部制改革的典范，商务数据统计工作强度越来越高、需求变化越来越快。同时，东莞商务局现有商务数据比较分散、难于利用，而且统计工作大多基于传统人工方式，统计效率不高、统计实时性不强、统计深度不够、数据展现不直观，缺少对商务数据进行趋势预测，迫切需要基于大数据经济统计系统，以数据全方位、有深度、高效率的统计分析为目标，实现商务数据的统一处理、经济统计更高效。

3.IT环境及数据资源

3.1基础IT环境

商务局内部建有的系统分为内部应用系统和垂直应用系统，内部系统主要为局内自建的应用系统，供局内部工作人员进行独立业务统计查询使用；在内部系统IT设施中，有16台服务器，主要以IBM、DELL服务器为主,其中，有超过7台服务器，其配置较低(CPU小于8核，内存低于8G)，各服务器操作系统以Windows server2003、Ubuntu系统为主，数据库系统分别是Microsoft Sql server以及 Oracle；存储设备使用HP的光纤存储，容量为1T,存储IO为1G，带宽偏低；垂直应用系统多为商务部及商务厅系统，经商务内网或VPN直连网络使用，供商务局各科室及镇街办单独填报数据及下载数据。

3.2数据分布与组成

东莞商务局现有数据，既有内部信息系统采集，也有垂直系统采集，同时还包括第三方政府机构数据，如海关（按年支付数据费用）；数据统计要求按月度定期进行汇总统计，并形成统计报表。

目前东莞商务局月度报表的数据采集来源主要有以下3个：

（1）商务局职能科室的数据采集：采集方式是通过应用系统以表格方式导出Xls数据，再经过手工汇总、处理后形成统计报表。

（2）东莞市级相关部门的数据采集：涉及工商局、统计局、地税局、外汇局、科技局，需要通过东莞市政务信息共享平台采集相关数据。

（3）业务系统的数据采集：中央、省级直属应用系统数据。这部分未提供数据接口，只能通过手工复制粘贴到Xls文件的方式采集。

已有系统分为内部应用系统和垂直应用系统，内部系统主要为局内自建的应用系统，供局内部工作人员进行独立业务统计查询使用；垂直应用系统多为上级商务部门及商务厅垂直系统，供填报数据及下载数据。

4.问题与挑战

4.1异构多源数据采集清洗

传统的数据采集方法主要在同源、同构数据间，主要以数据库厂家提供的数据处理工具为主，选择源数据库与目标数据库执行”比对、匹配”等操作，并以中间表形式存储映射结果。在不同数据库平台之间数据互连操作，称为异构数据库集成，各个数据库厂家均提供异构互连的方法，但各厂商方法不一样。

Oracle中异构集成技术称为透明网关（Transparent Gateway），在Oracle8i版本后，通过使用ODBC组件链接SQL服务，通过SQL服务对各类数据库进行SQL操作。SQL server的异构集成工具称为Linked Server，通过ODBC实现与其它数据库的互联。Hadoop的Info Sphere Data Explorer平台，实现了大数据、RDBMS、Streams、File System与WEB 2.0等异构数据采集框架。

通过调研，东莞商务数据分散在多个数据源与不同数据库系统中，数据结构与数据分布复杂，如何实现异构多源数据采集、清洗、建库以利于数据应用是面临的首要问题。

4.2商务数据分析与挖掘

传统商务数据分析挖掘主要以政府管理部门的经济数据为主，但随着互联网、电商平台的快速发展，跨境交易、线上交易系统的发展越来越快，商务数据统计需要涵盖各类互联网平台的数据。东莞作为外向型经济主导城市，外贸、外资市场非常活跃，商贸流通情况非常复杂。经济统计中贸易方式、区域经济发展、转型升级等经济统计口径多、数据结构多样。在商务数据分析与挖掘领域，各类计量工具与数学方法非常普遍。通过数据分析与挖掘，规避了传统商务经济研究中纯理论文字描述的弊端；针对经济发展趋势、预测等问题，通过计量分析提高了经济研究的准确性与科学性。

商务数据分析与挖掘也是区域商务统计、商务经济分析的重要组成部分，在经济学上有较多的基于统计的数据分析与挖掘模型及算法，但模型的应用较宏观，在地市经济体与细分产业行业领域如何选择有效的商务数据分析与挖掘模型，是项目面临的另一个重要挑战。

第二部分 技术解决方案

1.拟采用的技术方案

1.1异构数据采集清洗

多源异构数据有两种情况，一种是指不同数据库（多源）并且数据库结构不同（异构）。在这种情况下，数据映射方式与多源同构数据映射方式差别不大。但由于使用异构数据库互连操作，会出现执行效率不高、系统开销大等问题。另外一种多源异构情况指不同数据源（多源），且数据分为结构化和非结构化（异构），此种情况也可以称为”大数据映射”。由于此种情况下，数据结构不固定，数据质量和信息量复杂，数据映射方法除了要考虑常见的异构问题外，还需要考虑大数据的采集处理效率、映射准确率与数据转化利用率等更多问题。

1.2商务数据分析与挖掘

在经济统计领域有很多不可量化的模糊问题，如经济发展预测、外贸走势等。面向这些复杂的经济问题，需要高质量的统计数据，需要用到准确、高效的量化分析方法与算法模型，还需要结合区域经济的现状与理论。大数据时代的经济统计分析将使用计算机技术，改变经济统计分析的现状，在经济统计分析中将复杂的经济现象收集整理，运用统计方法与模型对数据进行定量分析与运算，将模糊的经济问题通过统计清晰的抽象描述，大幅提高经济统计效率和分析准确率。

随着计算机技术的快速发展，云计算、大数据技术让大规模数据采集、处理、分析变得成本更低、效率更高，近年来利用数据仓库对大量数据处理变得更可行。

商务数据分析与挖掘有两种思路：一种不关注高深的数据挖掘理论与算法，利用高性能计算机处理大量的数据并实现数据分析挖掘。这种方法在”描述性统计”中应用效果较好，但由于大量数据带来的数据质量不高、算法效率低及数据结构不一致等问题，导致在”推断统计”中预测结果不可控。另外一种是通俗化。即将数据分析与挖掘结合行业知识，利用计算机将大规模行业数据通过分析挖掘转化为信息。

1.3技术选型与设计

系统基于java J2EE技术架构，并通过 B/S模式支持web和移动访问；通过SSH集成框架实现MVC三层架构，由Struts负责表示层和服务逻辑组装，Spring负责管理服务层，通过配置来实现核心业务逻辑，Hibernet负责平台模型和持久化层，并支持数据库表到数据实体的转换，最终实现表示层、业务层、数据持久层、实体层、服务层的解耦分离。平台在表示层采用Ajax的异步处理技术，灵活支持web套接字对长服务的调用，同时服务层以RESTful web方式提供GET/PUT等常用资源操作接口。

2.技术思路与技术路线

2.1技术思路

要解决东莞商务局现有的问题，达到未来的预期目标，应从整体、全局上把握当前重点解决任务，形成长远可持续的大数据平台发展思路，以”分步建设，重点先行，边建边用”为建设原则，以”上平台，统数据、成体系”为建设思路。以面向政府、行业协会、企业，打造提供”全方位、系统化、多层次”的商务数据服务为总体目标，以”一库、一平台、三体系、两标准”为重点建设内容，结合东莞市商务经济实际情况，勇于创新，突出重点，循序渐进，逐步实施。

第一，加强与有关部门、协会的沟通协作，以”政府牵头、部门配合、行业协作、企业主动”工作思路，建立政府、镇街、协会、企业多级信息采集机制。

第二，充分利用市信息资源共享平台，注重商务信息资源整合，努力建立规范、完整、系统、科学的信息搜集渠道，形成集中统一的商务信息共享资源池。

第三，充分运用大数据、分析挖掘等技术手段，创新政府服务职能，提高统计数据质量、商务经济运行监测预警、经济决策支持、企业引导服务水平，提升商务信息资源利用能力，不断放大对政府决策和企业发展的服务效能。

第四，分阶段，逐步实施，结合东莞市实际，以内部统计服务能力提升基础，以服务政府决策和企业服务为根本，逐步提升决策支持的精准性、科学性，丰富完善企业精细化、精品化服务手段，重点建设最急需、最实用、最便捷的商务经济运行指标，不断发挥商务信息资源分析价值。

2.2技术路线

项目重点规划建设商务信息资源库，商务大数据服务软件平台，贸易监测预警体系、决策支持服务体系、企业引导服务体系三大体系，及商务信息资源和运行服务两套标准规范。

如上图所示，技术路线重点考虑如下：

一方面,平台整体支撑能力，按照领域驱动设计理念，运用模块化、组件化、服务化的整体架构，充分考虑平台后续资源扩容性、用户规模增长、模型分析需求，保障可扩展性、高并发性、可用性、安全性。

二方面，信息梳理获取方式，通过设计多种采集策略，除传统数据录入、导入外，运用接口采集、数据库引擎调用、web服务等技术手段，实现包括不同来源、不同类型、不同结构的商务信息统一归集。

三方面，数据存储处理能力，综合运用传统数据库及NoSql对数据进行分类存储处理，传统结构化数据采用关系型数据库存储；半结构化或文档型数据采用非关系型分布式数据库存储。根据数据一致性不同层次要求，提供分类存储保障，包括内存cache、同步更新、异步更新等机制结合。并充分运用大数据并行计算框架，提升数据高并发的处理响应能力。

四方面，数据综合分析与决策支持手段，除传统数据统计分析方式外，进一步构建商务主题分析数据仓库，并综合运用分析挖掘中的特征抽取、分类、聚类、决策、神经网络等大数据分析方法，建立各类商务运行指标和模型，充分发挥大数据在决策支持、形势研判、趋势预测等方面作用。

五方面，商务信息服务能力提供，建立面向政府、行业、企业及向社会开放的统一信息服务目录，授权对服务内容订阅；建立统一的信息审核发布制度，定期将商务运行分析结果向不同对象开放和推送。

3.技术方案架构和特点

3.1技术方案逻辑架构

商务大数据统计项目充分考虑了现有电子政务基础资源，利用云计算和大数据技术，按照”九层两翼”的逻辑方式进行设计。描述如下：

用户层：平台主要的服务对象包括政府领导、主管机构、涉外经济机构，以及行业、企业

展示层：各类用户获取服务和交互的统一入口，主要由门户和各类访问渠道组成，访问方式包括web和移动端。用户可以通过各种渠道进行所需服务的访问，实现任何时间、任何地点的多渠道访问。

应用层：根据局内业务职能和东莞市商务运行发展需要，通...

当今时代信息化产业飞速发展，各类底层大数据平台百花齐放，亿级数据、秒级响应已经不再是当年的遥不可及的神话。然而对于企业来说，数据计算快仅仅是满足企业进行业务数据分析的硬件基础，如何发掘这些海量的数据产生应用价值，走好数据分析这最后一公里，引导企业进行战略决策却是至关重要的一步。

本文以互联网行业为数据业务分析背景，希望能跟大家交流一些数据分析方面的心得和体验。

——本文使用数据分析工具为FineBI 商业智能工具

数据分析的本质其实是做数据对比分析，没有数据对比，单一的指标统计往往难以发挥数据价值。像我们常见的数据对比分析方法有同比、环比、占比等一系列分析指标，那是不是所有的数据业务场景都可以直接进行套用分析呢？比如我们统计企业2018年1月29日的同比流量，是不是可以直接对比2017年1月29日？表面上看好像2017年1月29日确实就是2018年1月29日时间层面上的同比日期，但是我们仔细对比查看这两个日期会发现2018年1月29日是周一，2017年1月29日确是周日。对于很多行业的企业来说，非工作日和工作日的数据往往是有很大差异的，这个时候单纯从日期层面来进行对比其实是没有什么意义的，选择对比同是周一的2017年1月30日的流量数据进行同比计算可能会更加有价值。

目前互联网行业做搜索引擎的有Google、百度，做综合门户的雅虎、新浪，做即时通讯的主要是腾讯，电子商务方面的主要是阿里、京东、亚马逊等。不论是以上的哪家互联网企业，往往都需要有一套引流、转化、消费、留存方面的运营策略，平台的流量数据分析往往都是非常重要的。

互联网流量数据分析方面，总结主要有如下四种数据常用分析方法：

1.对比分析流量规律，针对时段进行企业服务以及推广活动调整；

2.对比分析结构占比，指导进行定向群体营销推广

3.对比分析异常情况，及时追责并且进行调整；

4.对比追踪活动流量变化，总结活动效果经验以便后续有针对性调整。

如上图所示，我们通过FineBI工具制作出以上的流量数据分析模板，接下来尝试着对数据做一些对比分析。

一、用户浏览量周分布

对于互联网企业来说，流量数据往往都会呈工作周相关。对此，我们可以先宏观地统计出周一到周日中的总的平台流量柱状图数据对比情况。首先我们可以仔细观察工作日和非工作日的数据，发现周末的平台流量较工作日流量要高，这在互联网行业来说都是一个比较普遍的现象。

用户流量的周分布规律之后，我们就大致有一个推广方向，周末休息时间用户群体较大，相较于工作日可以投入更多的和丰富有吸引力推广活动来进行新用户引流和老用户活跃。

接着我们可以进行下一步思考，那工作日和周末我们的活动推广时间如何制定？有的同学们可能会觉得全天活动都可以，不需要关注具体的活动时间。但是对于互联网行业来说，每个时间段的推广费用都是较为昂贵的，我们完全可以分析出工作日和周末的用户流量趋势，进行有针对性的时间段投入推广，通过更小的成本获取到更多的用户流入。

首先是工作日的时间段流量统计分布，我们通过BI工具分时间段作图得到如下所示的流量分布图。可以看出，工作日的流量主要集成在每日的9点（上班时间）、13点（午餐时间）、20点（晚间娱乐休息时间），那么在得到这样的一些用户流量规律之后，便可以在这些用户活跃高峰期时间段有针对性对白领群体多做一些相关商品推广活动，以实现最小时间成本和推广费用最大化用户引流效果。

再来看周末的各时间段流量分布走势，和工作日所不同的是，周末的流量早高峰期延后到了10点，这可能和各位小伙伴们周日作息较晚有关（同学们周末都是几点起床呢），除此之外，晚上的流量高峰退潮期也有延后。针对与周末用户流量分布的特性，互联网企业在周末时可以将活动开始时间和活动结束时间都适当进行延后，这个时候不能再套用工作日制定好的活动时间计划了，因为符合用户群体作息规律的推广促销活动才能达到更好的效果。

二、推广渠道流量分布

对于互联网行业的推广渠道分布主要分为三级渠道：线上渠道、线下渠道、新媒体营销等等。对比分析每个渠道对企业所带来的价值占比差异，以指导制定有针对性营销策略。

如上图所示，由于推广渠道是分多层级的，我们通过BI工具的多层饼图进行数据的分析统计再合适不过了。分析下图的数据我们可以看出，首先是一级渠道的主要战斗力来自于新媒体营销，当今的微信、今日头条等社交媒介社区时代受众广泛，用户群体非常庞大，是公司需要投入主要成本进行推广的。其次线上渠道的效果也不容忽视，对于互联网企业来说，做好百度、Google等SEO搜索引擎关键词推广也是很重要的一部分工作。相较于线上渠道和新媒体营销，线下渠道说所需要的经费和时间、人力成本较大，受众又相对较小，所以此类活动往往针对核心粉丝进行运营即可。

三、各月份指标对比走势

在分析各月份指标对比走势数据之前，先简单介绍下互联网营销常用的几个指标概念：

1.浏览量（pv）

2.访问次数（visits）

3.访客数（uv）

以上三个基础指标常用来衡量流量数据的多少。另外平均访问深度（总浏览量/访问次数）、平均停留时间（总停留时间/总浏览量）、跳失率（跳出次数/访问次数），这三个指标通常可用于衡量流量指标的优劣性。

我们仔细分析上图中的平台流量指标，可以发现10月份是2017全年的流量高峰期，应该跟企业在国庆黄金假期所做的促销引流活动有关。浏览量、跳失次数、访问次数分别为4941、1290、2182，对比计算可得到跳失率为59.12%，明显低于其他时间段的跳失率，说明10月份的活动效果还不错，其经验对以后的营销推广可以起到参考作用。

最后是访问深度用户群体分布分析（跳失率=跳出次数/访问次数），我们通过BI工具将企业的VIP用户、老用户、新用户分别进行分时间段的用户群体访问深度分析统计。总体来说可以发现平台的VIP用户访问深度较老用户以及新用户稍微高些，但是不是太明显，说明平台运营的VIP这部分群体的活跃度还有待提升。同时，平台老用户访问深度和新用户更是相差无几，公司对于用户这方面的活跃运营明显需要加油了，建议将平台的部分忠诚度较高的老用户以VIP用户组建起来，共建平台生态圈，增加整体的用户活跃度。同时可以向老用户以及VIP用户实施一些优惠政策，如定向商品折扣、根据用户画像进行喜好商品特惠推送等。

本次的数据分析经验心得分享暂时先写到这里，后续将继续给大家分享关于互联网数据运营方法的转化、消费、留存等方面的一些经验，欢迎大家一起共同交流探讨互联网运营之道。

摘　要：统计分析是一种反映统计结果的工具,它在现在的企业中,被运用得很广泛,但它所使用的技术水平也在不断的提高,特别是在反映企业统计结果方面,更具有一定的实用性。企业在使用统计分析时,涉及到很多种行业中,例如:工业、商业、建筑业和交通以及邮电等各企业统计分析工作中。

关键词：

一、统计分析的概念统计分析是指运用统计方法及与分析对象有关的知识，从定量与定性的结合上进行的研究活动。它是继统计设计、统计调查、统计整理之后的一项十分重要的工作，是在前几个阶段工作的基础上通过分析从而达到对研究对象更为深刻的认识。它又是在一定的选题下，集分析方案的设计、资料的搜集和整理而展开的研究活动。系统、完善的资料是统计分析的必要条件。二、统计分析的特点 　统计分析是对客观现象的一种认识活动，它在定性分析的基础上，经过定量研究，达到对现象本质及规律性的认识。　　统计分析方法具有特殊性　统计分析方法是以总体现象的数量关系为对象的一类特殊科学研究方法的总称。从应用的角度来看，统计分析方法可分为经验方法和数学方法两大类。经验方法是指一些与初等数学知识和人们的实践经验相关联的方法。数学方法又称为数理统计方法，是以数学理论，特别是概率论为基础对客观现象进行研究的方法。它可以通过对现象貌似偶然的变动来探求其必然的规律性。

统计分析的对象具有综合性　统计分析的对象不是某种社会经济现象的个体数量方面，而是现象的总体数量方面，分析研究其综合数量特征。从总体上对客观现象的数量方面进行分析，可以避免以偏概全，使认识较为全面和正确。三、统计分析方法 统计分析方法很多，但基本方法是定量分析 。l、从统计理论上看，我们所见到的统计学著作，除了统计设计、统计调查、统计整理等理论和方法外，其他大部分内容都是统计分析方法，这些统计分析方法有一个共同点，它们都是定量分析方法。 2、统计实践上看，统计分析所起的作用，是通过定量分析实现的。统计分析在人们的认识过程中有三个作用：第一，对客观事物量化，包括反映客观事物规律的数量表现；第二，根据量变程度确认事物的质，即确定区别事物质量的数量界限；第三，揭示新的规律，即通过分析数量关系，发现尚未被认识的事物的规律。　　四、企业如何运用统计分析 　　随着社会主义市场经济的发展,统计为企业发展战略的研究和制定,为各项职能管理提供必要的信息,为防范和化解风险,发挥其预警作用,新经济时代统计信息是影响企业管理层决策成败的关键。

（一）在企业经营过程中：在企业的经营管理中，统计分析占据着十分重要的地位。在认识统计的过程中，企业通过统计调查以及整理取得的统计资料能够对客观现象的数量特点取得一定的认识。若不进行深入的整理和分析，对于这些现象的认识还只停留在表面的初步认识状态，所以必须对这些统计资料加以分析和研究，才可以掌握事物的本质以及内在的发展规律，通过逐渐地深化认识，有效的深入的分析方法，查找出经营管理中存在的问题和薄弱环节，就可以提出改进的举措，给各级领导各级管理部门参考改进建议，是企业的各项管理工作不段得到改善和提高，充分显示出统计分析在企业经营管理中发挥的广泛应用。（二）在企业目标管理中：（1）在企业的各项经济指标的预测中，通常强调动态的分析预测与静态的分析预测相互结合，其中以静态分析预测为主。企业首先要根据自身发展的特点，寻找到经济运行波动的共性和差异，根据企业的总体规划以及企业的特殊性，依据企业的历史统计数据，运用相应的预测模型给出企业相关指标的科学性预测，根据预测数据制定出各项计划经营指标和各项KPI考核指标，再通过把企业的月度统计预测、季度统计预测和年度统计预测与月度、季度及年度各解段实际完成情况进行对比分析，进行不断调整修正完善，使得企业的目标管理以及考核指标得到实现和完成的保证。

（三）、在企业的决策性分析中：在我国的经济管理领域，决策性分析方法是最先被引入和普及的定量化分析方法。随着企业信息化建设的推进，企业受外部环境的影响逐步加深，这就要求企业及时对相关信息进行处理和分析。一是对市场需求和供给能力的分析。主要包括居民的购买力、商品的潜在和实际市场需求量、品牌成熟度、订单满足率、消费偏好等。通过分析，可以判断企业的赢利空间、供需缺口等，为领导层确定商品销售规模、制定阶段性营销策略等提供依据。二是对社会经济环境的分析和影响。主要包括国内、国际的宏观环境对我国行业发展的影响和对地方法规、民风民俗对企业的发展的影响。三是对企业竞争力的分析。通过分析本行业其他企业的经营情况，在对比中认识自身发展的差距和潜力，从而为制定正确的发展战略提供参考。（四）在企业过程分析和阶段分析控制中：在计划方案的落实过程中，往往会出现一些不可预知的状况。需要及时的进行过程分析和阶段分析。企业利用统计数据定期分析计划完成情况、进度情况等，可以及时的发现执行过程中所存在的问题。通过对完成阶段的结果进行对比分析，有利于确定指标完成率。便于衡量市场潜力相同的不同市场之间的业绩。也作为销售目标制定的依据。 　

在企业当中，统计分析工作是了解现状、预测未来，为了更好的促进企业发展进步的重要方法。做好统计分析工作具有重要的作用和意义。因此，我们要提高对统计分析的研究，使统计分析工作更好地成为企业发展的有力推动力量。 参考文献：[1]百度百科.统计分析[EB/OL]. 　[2]赵井霞．试谈如何进行统计分析[J]．商业经济．2004.4． 　　[3]宋安. 统计分析在企业管理与经营决策中的应用[J].经济师.2003.6

一、方案背景

对于大部分企业来说，销售部门是为企业直接带来利润的主要部门，说是企业命脉部门其实也不为过。

然而事实上是为数不少的销售部工作人员由于缺乏营销分析概念和方法，企业累积的大量数据得不到有效的利用，营销分析只停留在数据和信息的简单汇总和流水帐式的通报，缺乏对客户、业务、营销、竞争方面的深入分析，结果决策者只能凭着本能的反应来运作，决策存在很大的失误风险。

都说数据有价值，那么销售部门应该如何充分利用数据对市场预判，实时了解当下业绩情况，衡量三六九等客户价值，如何快速获取客户的信息做针对性销售呢？

答案是，不妨用BI搭建一个智能化的销售数据分析平台。

解决两个问题：

1、将数据信息化，汇总自动化，将销售管理者从传统的报表数据重复结算中解放，避免大量重复性的excel编辑工作

2、着重分析企业销售目标、销售活动、成本费用等销售重要指标的分析。

二、方案内容

接下来，本文将着重分享企业销售智能数据分析方面的内容干货，用的是FineBI搭建的销售数据分析平台：

1、IT技术模块——搭建销售智能数据分析平台

2、IT技术模块——直接对接销售数据库，自动化形成数据报表？

3、数据分析模块——如何让销售同时快速上手分析？

4、数据分析模块——如何让销售领导直接在线查看分析？

5、协同管理模块——如何在线分享数据分析报告？

三、方案效果及实现说明

1、搭建销售智能数据分析平台

这部分工作属于企业IT部门的前期数据准备工作，需要IT部门在FineBI的数据配置-数据连接管理中新建好数据连接，保证数据连接测试成功。然后添加销售管理业务包，将相关数据表加入并且建好立表间关联关系即可（如果是FineIndex类型的业务包需要更新好FineIndex数据）。分配好对应数据权限之后，用户即可直接在浏览器前端来对这些销售数据进行即席的多维探索分析。

以本方案为例，如上图所示，我们在销售管理业务包中添加好销售员信息表、产品名称表、分公司信息表以及销售目标表、客户信息表、合同信息表、销售活动表、合同回款信息表、活动费用表，并且建立好维度表和事实表之间的数据关联关系。

最后在数据配置-权限配置管理界面中将建立好的销售管理业务包的权限分配给销售部门相关人员，并且在管理系统-用户管理中将销售部门人员加入到BI编辑用户的已授权列表中。

2、直接对接销售数据库，自动化形成数据报表？

销售管理人员在使用分配好数据权限的账号登录平台之后，就可以新建仪表盘开始做基础的数据分析了。

我们以制作如上图所示的销售基础数据分析-销售人员分析页面例，首先使用仪表盘统计出企业的总销售人数，然后再用饼图统计出各大区的销售人员分布（这边可以看出我们上海区域销售人数是最多的，达到总销售人数的22.73%），最后用明细表组件展示企业的所有销售人员的销售姓名、所属大区、大区经理相关信息。这样一来，基础的销售人员配备信息也就快速可视化呈现在我们面前了。

销售人员分析的仪表板做好之后，销售人员可以申请给IT部门的超级管理员将该模板挂出到销售管理-销售基础数据分析目录下面，并且将仪表板开放给其他人员进行查看。另外利销售活动管理、合同信息查询的销售基础数据分析也是同理，用同样的方法做好之后申请给超级管理员挂出即可。

3.如何让销售同时快速上手分析？

a.销售目标进度分析

我们以上图所示的销售目标进度分析为例，对于企业销售管理来说，两个最核心指标莫过于销售额和回款额了。而企业通常每年都会设定销售目标额、回款目标额两个指标作为销售的年度考评KPI指标。

所以这样一来在每个时间阶段，作为销售管理者我们可以分析当前的销售额目标完成率、回款额目标完成率的总体情况。

I.销售额目标完成率=(销售额/销售目标额)*100%

II.回款目标完成率=(回款额/回款目标额)*100%

以销售额目标完成率为例，添加好总金额和销售目标额之后，在FineBI中直接添加销售目标完成率指标，输入“总金额/销售目标额”即可得到当前销售目标完成率的数据。

计算好销售额目标完成率以及回款额目标完成率之后，然后再按照区域逐级分解。这边我们按照区域对销售额和回款额分别使用条形图进行统计，然后降序排列即可。

接着对每个区域的销售额、销售目标额、销售额目标完成率、回款额、回款目标完成率进行分析计算，以便来分析当前影响目标达成进度的主要问题区域所在。最后添加好相关查询控件，调整好仪表板整体布局即可。

b.销售回款分析

销售回款分析方面，首先统计出当前时间段的应收账款、累计回款、累计回款率（累计回款率=累计回款/应收账款）这三个关键指标，用仪表盘进行展示。然后按照产品线进行分解，对比每个产品线的应收款款和回款金额数据情况。接着按照时间流逝维度进行分析，统计出当前时间区间的月度累计回款金额和月度累计应收金额，同时计算累计回款率。

最后分别按照大区和销售进行分解，统计对应大区和个人的应收账款、实际回款，计算出大区和个人的回款率。这样一来，企业整体到销售个人的销售业绩状况就一目了然了。

c.销售费用分析

销售费用分析方面，统计当年的费用开支总金额以及年度每个月份的费用金额。接着统计出各大类的销售费用模块分布占比、全国各个省份的费用金额分布、各个客户总费用的树图统计、销售费用开票统计、各销售费用排名统计相关信息，让企业的销售费用成本一目了然的以可视化形式呈现在我们面前。

4、如何让销售领导直接在线查看分析？

除了以上给大家介绍的制作一些企业常用的销售数据分析之外，FineBI最大的特性就是随时满足业务人员或者企业领导的数据即席分析需求了，通过轻松的托拖拽拽操作，就能生成丰富多样的数据分析统计结果。

我们以上图的年度签单&回款统计数据分析为例，只需要将签约年份字段拖拽到行表头，合同金额、回款金额字段拖拽到左值轴，即可得到每年的合同金额和回款金额走势了，真正做到想看数据“不求人”！

5、如何在线分享数据分析报告？

企业的各项工作，主要由各部门团队分工协作完成，彼此之间需要很好地进行沟通和配合，那么FineBI是如何帮助企业将销售智能数据分析成果实现团队协作共享的呢？

以上图所示的销售管理中心驾驶舱为例，展示了企业的签单金额、回款金额、单个合同金额分布、各地区/销售签单回款统计等等多个核心的销售管理分析指标。那么销售人员通过FineBI做好的一个销售管理里中心驾驶舱之后，其实在FineBI中可以非常便捷地将它分享给相关部门或者指定人员的。

例如我这边想把它分享给企业的领导人员，那么可以在FineBI的仪表板中将做好的销售管理中心驾驶舱模板点击分享给领导部门的Tom，然后点击确定即可。这样一来，领导部门的Tom登录之后就能收到销售人员给他分享的销售管理中心驾驶舱了。

在我们日常工作中经常需要用到数据分析，但一些如回归，聚类、概率分析方法比较复杂，学习成本高，也不一定能用得上。实际分析的时候，有四种很简单的分析方法非常实用，这四种就是：对比、细分、转化和分类。只要掌握了这四种思想，基本上已经可以应付日常的分析工作了。

一、对比

对比又可以分为纵向对比和横向对比，指标间的横向对比帮助我们认识数据的合理性和分析是否有问题，而指标纵向的对比，如在时间维度上的对比，既可以做趋势分析也可以判断是否达到预期值。

如店铺的订单量，可以把最近30天的订单显示在坐标轴上，这样就可以很明显的看到最近的订单数量是否达到了预期，当然我们也可以以周或者月（或者季度，年等等）为单位。做对比一定要考虑实际的场景，因为今天和昨天的性质可能未必一样，例如今天可能是周六，或者恰好是节假日等等。所以我们在做纵向对比的时候，两个对比的数据是否合理，是否是同一性质。比如看最近30天的趋势数据，我们还可以考虑环比和同比，今天和上个月的今天，今年的双11和去年的双11进行对比。横向的对比，比如一个地区这周的成交额上涨了10%，那当地的子公司是不是应该高兴呢？但是例如其它子公司的店铺这周的成交额都上涨了20%！那这个子公司可能已经被其它子司拉大了距离。也就是说，我们对一个数据结果判断好不好，这是需要一个参照物的。

二、拆解

通过拆解方法我们对分析对象进行逐步拆分，最终定位到问题点。拆解的角度可以有很多，越细分越能准确描述问题。比如零售中的人货场分析，就是将零售中的问题，逐步定位某一个或几个细节上的问题，最终找出成本最低的解决方式。举个栗子，通过报表知道了这个月成交额下降了这个问题后，现在我们用拆解来找出问题的所在：

成交额 = 客单价 X 客户数。对比客单价和客户数的趋势，就可以判断出影响成交额变化的主要因素是什么，如果是客户数问题，我们则对客户数进行细分，如果是客单价问题，则对客单价进行细分。

客户数 = 新客户 + 老客户。老客户 = 二次成交客户 + 多次成交客户

一段时间内的新客户反映的是电商的引流效果，而老客户反馈的是电商的产品质量，服务质量和客户维护营销等。

客单价 = 成交价 X 人均成交数。 均成交数这是电商中一个非常值得关注的指标，它能最直接地反馈出电商的服务质量和客户维护营销等方面的效果，如果该值过小表明电商的客户流失率很大，应该重点关注。

成交价 = 件单价 X 连带率。 成交价反馈的通常是导购的能力，促销活动的效果等，成交价的上升或者下跌，反映的问题可能很多，对其进行分解后就很明确了。件单价的变化通常是有促销的力度，商品结构和消费结构（例如季节因素等）变化引起的。带率这个反馈的是店铺内导购的能力，或者促销手段（例如买一送一等）的效果，也是店铺管理人员重点要关注的指标。

拆解的方法其实就是不断用更小的量化指标去细分一个大的指标，从而达到定位问题的目的。

三、转化

拆解的方法可以从纵向定位问题，但是单单细分是不够的。这些指标是从哪里来的，每一个步骤的转化率怎么样，哪一个步骤的转化不好，可以改善？这些通过转化都可以分析出来。

例如我们要分析本周的活跃客户数（有成交的客户数），那么我们就要分析这些活跃的客户数是从哪里来的，梳理一下可以简单分为以下4个步骤：进入平台的客户数 ==》浏览过商品的客户数 ==》下单的客户数 ==》支付成功的客户数。这里4个步骤就会有3个转化率，哪些步骤转化率比较高，哪些步骤转化率比较低，历史趋势怎么样，是否合理，是否有改进的空间等等。通过应用转化的思想，能够有效的指导和优化实际的运营工作。转化的思想就是一种漏斗，每一步其实都会有转化率，通过改善我们的转化率来提高我们的运营业绩。

四、分类

分类就是把一些对象，按照某种规则，划分为若干个类别，然后分析各个类别的特征，并以此来指导我们的行动。分类思想的应用很多，例如对客户的分类，我们可以用RFM分析模型，也可以用简单的利用某个指标的值（例如渠道标识，这样我们就可以分析到各个渠道客户的质量等）。基于这些客户的分类，我们就可以进行精准的客户营销了。在电商或者零售业上，我们经常做的分类还有商品分类，经典的有按照品类分类，或者ABC分类，这些对于我们做商品运营都是非常重要的。

总结：

以上四种其实都是很简单的数据分析思想，而且在日常的运营中也非常实用，但需要注意的是一定要了解自己的业务，只有深入了解业务，才能很好的运用数据分析，并不是自己知道几种统计学的算法，就能做好业务数据分析了。