第一部分 项目背景及挑战

1.项目背景与意义

伴随着互联网与信息技术不断发展，系统数据量不断增大，数据分析越来越复杂。如何从海量数据中挖掘出有价值的数据信息，辅助科学决策、促进社会经济发展，成为政府行政服务能力一项新考验。近年来，商贸流通统计工作进展迅速，指标体系基本成型，统计工作机制初步建立，数据样本结构不断优化，统计成果应用加深。但目前商贸流通统计中还存在”数据质量参差不齐、行业分析深度不够、统计人员业务素质有待提高”等问题。另外，商贸流通数据分散在相关地市商务局的各个原有部门，无统一的储存方式和标准，存在”数据散、统计困难、数据展示不直观、数据利用率不高”等问题,需要将分散、异构、多源的数据进行归集处理。因此，结合商贸流通统计业务需求设计适用轻量级数据仓库，开展面向统计业务的数据映射换规则研究，利用计算机软件技术解决商贸流通数据处理分析难题，对于提高统计效率与加强行业数据分析深度，具有重要的工程价值。

2.应用场景与需求

东莞市商务局作为东莞首个大部制改革的典范，商务数据统计工作强度越来越高、需求变化越来越快。同时，东莞商务局现有商务数据比较分散、难于利用，而且统计工作大多基于传统人工方式，统计效率不高、统计实时性不强、统计深度不够、数据展现不直观，缺少对商务数据进行趋势预测，迫切需要基于大数据经济统计系统，以数据全方位、有深度、高效率的统计分析为目标，实现商务数据的统一处理、经济统计更高效。

3.IT环境及数据资源

3.1基础IT环境

商务局内部建有的系统分为内部应用系统和垂直应用系统，内部系统主要为局内自建的应用系统，供局内部工作人员进行独立业务统计查询使用；在内部系统IT设施中，有16台服务器，主要以IBM、DELL服务器为主,其中，有超过7台服务器，其配置较低(CPU小于8核，内存低于8G)，各服务器操作系统以Windows server2003、Ubuntu系统为主，数据库系统分别是Microsoft Sql server以及 Oracle；存储设备使用HP的光纤存储，容量为1T,存储IO为1G，带宽偏低；垂直应用系统多为商务部及商务厅系统，经商务内网或VPN直连网络使用，供商务局各科室及镇街办单独填报数据及下载数据。

3.2数据分布与组成

东莞商务局现有数据，既有内部信息系统采集，也有垂直系统采集，同时还包括第三方政府机构数据，如海关（按年支付数据费用）；数据统计要求按月度定期进行汇总统计，并形成统计报表。

目前东莞商务局月度报表的数据采集来源主要有以下3个：

（1）商务局职能科室的数据采集：采集方式是通过应用系统以表格方式导出Xls数据，再经过手工汇总、处理后形成统计报表。

（2）东莞市级相关部门的数据采集：涉及工商局、统计局、地税局、外汇局、科技局，需要通过东莞市政务信息共享平台采集相关数据。

（3）业务系统的数据采集：中央、省级直属应用系统数据。这部分未提供数据接口，只能通过手工复制粘贴到Xls文件的方式采集。

已有系统分为内部应用系统和垂直应用系统，内部系统主要为局内自建的应用系统，供局内部工作人员进行独立业务统计查询使用；垂直应用系统多为上级商务部门及商务厅垂直系统，供填报数据及下载数据。

4.问题与挑战

4.1异构多源数据采集清洗

传统的数据采集方法主要在同源、同构数据间，主要以数据库厂家提供的数据处理工具为主，选择源数据库与目标数据库执行”比对、匹配”等操作，并以中间表形式存储映射结果。在不同数据库平台之间数据互连操作，称为异构数据库集成，各个数据库厂家均提供异构互连的方法，但各厂商方法不一样。

Oracle中异构集成技术称为透明网关（Transparent Gateway），在Oracle8i版本后，通过使用ODBC组件链接SQL服务，通过SQL服务对各类数据库进行SQL操作。SQL server的异构集成工具称为Linked Server，通过ODBC实现与其它数据库的互联。Hadoop的Info Sphere Data Explorer平台，实现了大数据、RDBMS、Streams、File System与WEB 2.0等异构数据采集框架。

通过调研，东莞商务数据分散在多个数据源与不同数据库系统中，数据结构与数据分布复杂，如何实现异构多源数据采集、清洗、建库以利于数据应用是面临的首要问题。

4.2商务数据分析与挖掘

传统商务数据分析挖掘主要以政府管理部门的经济数据为主，但随着互联网、电商平台的快速发展，跨境交易、线上交易系统的发展越来越快，商务数据统计需要涵盖各类互联网平台的数据。东莞作为外向型经济主导城市，外贸、外资市场非常活跃，商贸流通情况非常复杂。经济统计中贸易方式、区域经济发展、转型升级等经济统计口径多、数据结构多样。在商务数据分析与挖掘领域，各类计量工具与数学方法非常普遍。通过数据分析与挖掘，规避了传统商务经济研究中纯理论文字描述的弊端；针对经济发展趋势、预测等问题，通过计量分析提高了经济研究的准确性与科学性。

商务数据分析与挖掘也是区域商务统计、商务经济分析的重要组成部分，在经济学上有较多的基于统计的数据分析与挖掘模型及算法，但模型的应用较宏观，在地市经济体与细分产业行业领域如何选择有效的商务数据分析与挖掘模型，是项目面临的另一个重要挑战。

第二部分 技术解决方案

1.拟采用的技术方案

1.1异构数据采集清洗

多源异构数据有两种情况，一种是指不同数据库（多源）并且数据库结构不同（异构）。在这种情况下，数据映射方式与多源同构数据映射方式差别不大。但由于使用异构数据库互连操作，会出现执行效率不高、系统开销大等问题。另外一种多源异构情况指不同数据源（多源），且数据分为结构化和非结构化（异构），此种情况也可以称为”大数据映射”。由于此种情况下，数据结构不固定，数据质量和信息量复杂，数据映射方法除了要考虑常见的异构问题外，还需要考虑大数据的采集处理效率、映射准确率与数据转化利用率等更多问题。

1.2商务数据分析与挖掘

在经济统计领域有很多不可量化的模糊问题，如经济发展预测、外贸走势等。面向这些复杂的经济问题，需要高质量的统计数据，需要用到准确、高效的量化分析方法与算法模型，还需要结合区域经济的现状与理论。大数据时代的经济统计分析将使用计算机技术，改变经济统计分析的现状，在经济统计分析中将复杂的经济现象收集整理，运用统计方法与模型对数据进行定量分析与运算，将模糊的经济问题通过统计清晰的抽象描述，大幅提高经济统计效率和分析准确率。

随着计算机技术的快速发展，云计算、大数据技术让大规模数据采集、处理、分析变得成本更低、效率更高，近年来利用数据仓库对大量数据处理变得更可行。

商务数据分析与挖掘有两种思路：一种不关注高深的数据挖掘理论与算法，利用高性能计算机处理大量的数据并实现数据分析挖掘。这种方法在”描述性统计”中应用效果较好，但由于大量数据带来的数据质量不高、算法效率低及数据结构不一致等问题，导致在”推断统计”中预测结果不可控。另外一种是通俗化。即将数据分析与挖掘结合行业知识，利用计算机将大规模行业数据通过分析挖掘转化为信息。

1.3技术选型与设计

系统基于java J2EE技术架构，并通过 B/S模式支持web和移动访问；通过SSH集成框架实现MVC三层架构，由Struts负责表示层和服务逻辑组装，Spring负责管理服务层，通过配置来实现核心业务逻辑，Hibernet负责平台模型和持久化层，并支持数据库表到数据实体的转换，最终实现表示层、业务层、数据持久层、实体层、服务层的解耦分离。平台在表示层采用Ajax的异步处理技术，灵活支持web套接字对长服务的调用，同时服务层以RESTful web方式提供GET/PUT等常用资源操作接口。

2.技术思路与技术路线

2.1技术思路

要解决东莞商务局现有的问题，达到未来的预期目标，应从整体、全局上把握当前重点解决任务，形成长远可持续的大数据平台发展思路，以”分步建设，重点先行，边建边用”为建设原则，以”上平台，统数据、成体系”为建设思路。以面向政府、行业协会、企业，打造提供”全方位、系统化、多层次”的商务数据服务为总体目标，以”一库、一平台、三体系、两标准”为重点建设内容，结合东莞市商务经济实际情况，勇于创新，突出重点，循序渐进，逐步实施。

第一，加强与有关部门、协会的沟通协作，以”政府牵头、部门配合、行业协作、企业主动”工作思路，建立政府、镇街、协会、企业多级信息采集机制。

第二，充分利用市信息资源共享平台，注重商务信息资源整合，努力建立规范、完整、系统、科学的信息搜集渠道，形成集中统一的商务信息共享资源池。

第三，充分运用大数据、分析挖掘等技术手段，创新政府服务职能，提高统计数据质量、商务经济运行监测预警、经济决策支持、企业引导服务水平，提升商务信息资源利用能力，不断放大对政府决策和企业发展的服务效能。

第四，分阶段，逐步实施，结合东莞市实际，以内部统计服务能力提升基础，以服务政府决策和企业服务为根本，逐步提升决策支持的精准性、科学性，丰富完善企业精细化、精品化服务手段，重点建设最急需、最实用、最便捷的商务经济运行指标，不断发挥商务信息资源分析价值。

2.2技术路线

项目重点规划建设商务信息资源库，商务大数据服务软件平台，贸易监测预警体系、决策支持服务体系、企业引导服务体系三大体系，及商务信息资源和运行服务两套标准规范。

如上图所示，技术路线重点考虑如下：

一方面,平台整体支撑能力，按照领域驱动设计理念，运用模块化、组件化、服务化的整体架构，充分考虑平台后续资源扩容性、用户规模增长、模型分析需求，保障可扩展性、高并发性、可用性、安全性。

二方面，信息梳理获取方式，通过设计多种采集策略，除传统数据录入、导入外，运用接口采集、数据库引擎调用、web服务等技术手段，实现包括不同来源、不同类型、不同结构的商务信息统一归集。

三方面，数据存储处理能力，综合运用传统数据库及NoSql对数据进行分类存储处理，传统结构化数据采用关系型数据库存储；半结构化或文档型数据采用非关系型分布式数据库存储。根据数据一致性不同层次要求，提供分类存储保障，包括内存cache、同步更新、异步更新等机制结合。并充分运用大数据并行计算框架，提升数据高并发的处理响应能力。

四方面，数据综合分析与决策支持手段，除传统数据统计分析方式外，进一步构建商务主题分析数据仓库，并综合运用分析挖掘中的特征抽取、分类、聚类、决策、神经网络等大数据分析方法，建立各类商务运行指标和模型，充分发挥大数据在决策支持、形势研判、趋势预测等方面作用。

五方面，商务信息服务能力提供，建立面向政府、行业、企业及向社会开放的统一信息服务目录，授权对服务内容订阅；建立统一的信息审核发布制度，定期将商务运行分析结果向不同对象开放和推送。

3.技术方案架构和特点

3.1技术方案逻辑架构

商务大数据统计项目充分考虑了现有电子政务基础资源，利用云计算和大数据技术，按照”九层两翼”的逻辑方式进行设计。描述如下：

用户层：平台主要的服务对象包括政府领导、主管机构、涉外经济机构，以及行业、企业

展示层：各类用户获取服务和交互的统一入口，主要由门户和各类访问渠道组成，访问方式包括web和移动端。用户可以通过各种渠道进行所需服务的访问，实现任何时间、任何地点的多渠道访问。

应用层：根据局内业务职能和东莞市商务运行发展需要，通...

4月6日，专注于中国互联网领域大数据分析的权威机构易观，正式对外发布《中国移动直播行业年度综合分析2017》报告。报告通过易观千帆所监测统计的各直播平台数据，针对直播行业市场发展概况、竞争分析、用户分析、发展趋势四个维度，全面揭示了中国移动直播行业的整体发展脉络与走向。值得注意的是，报告中一直播以20.36%的移动全网用户渗透率排名榜首，成为中国最大的泛娱乐直播平台。

一直播移动全网用户渗透率排名第一 确立领军地位

2016年是直播元年，随着资本和巨头的纷纷入场，直播市场体量骤增，移动直播应用如雨后春笋般出现，形成百播大战的局面。一直播联合新浪微博于16年5月入局直播领域，贾乃亮出任首席创意官，并通过明星直播，公益直播等汇聚流量，持续进行品牌曝光，压倒性的明星资源优势助推一直播迅速突围。

根据易观报告数据显示，一直播以20.36%的移动全网用户渗透率排名第一，映客、YY、花椒分别以15.03%、12.86%、8.83%的全网用户渗透率分列二、三、四位。经过近一年的高速发展，一直播成为中国最大的泛娱乐直播平台，正式确立了移动直播行业领军者地位。

直播受资本持续看好，“3+1”联合体凸显一直播优势

一直播凭借母公司一下科技旗下产品秒拍、小咖秀及与新浪微博的深度战略合作，形成“3+1”移动视频生态联合体。一直播所在的一下科技移动视频矩阵，解决了单一短视频平台难以获取用户并实时互动的痛点。秒拍、小咖秀和一直播，通过用户兴趣和行为进行有机串联， 分别满足用户观看、创作、实时沟通等全方面需求;与新浪微博的深度合作则为三大产品内容补充提供了天然载体和传播通道。基于此，一下科技的生态布局赢得资本青睐，在2016年拿到多家知名资本的5亿美元E轮融资。

而“3+1”移动视频生态联合体还为一直播带来了众多独家优势。首先，一直播与新浪微博形成排他性战略合作，一直播SDK内嵌微博，与新浪微博100%数据互通，共享新浪微博庞大流量；其次，一直播导入用户基于微博的网络社交关系，避免主播重新建立粉丝社交关系；第三，一直播平台入驻千余位明星、过万名头部达人和垂直大V，是头部主播最庞大的直播平台。这些优势头部资源，发挥着吸引粉丝导流和生产优质直播内容的双重作用。第四，独有媒体机构和政务部门官微纷纷开通直播，与人民日报、新浪微博联合推出“人民直播“，获主流媒体认可 。平台调性积极正能量。

一直播打响内容战打造多维共生综合性内容直播平台

根据易观报告数据显示，娱乐直播用户增长总体态势进入平缓期，行业竞争从用户覆盖向平台粘性、用户活跃度转移。如何提升、保持高粘性、高活跃度？一直播将目光聚焦在直播内容上，开启内容战略，打造多维共生的综合性内容直播平台。

一直播凭借强大的明星资源与娱乐聚合能力，众多明星选择一直播平台作为互动、宣传的窗口。2016年一直播上线之初，接连7场的宋仲基全国粉丝见面会的独家直播让一直播迅速为人所知。此外，一直播首开公益直播先河，通过“公益+明星+直播”的形式为慈善活动带来极大的关注度，“爱心一碗饭”活动首开公益直播先河，募集善款超过147万元。一直播凭借“画出生命线”再度开启公益直播，累计收到打赏金币数1.447亿，合人民币144.7万元。

上线之初，明星的带动为一直播带来巨大流量，为进一步提高平台粘度及活跃度，一直播从去年开始持续深耕垂直类直播内容，通过一系列举措促进平台上优质直播内容的产出。一直播发布行业首份直播内容榜单，以科学计算方法计算内容指数，对平台上直播内容进行排名，为直播内容创作者提供指导性意见。此外，一直播于近日推出“一直播栏目培育计划”，一直播将为栏目方提供单期30万的直播资源主推商业化；还会每月推出榜单以规范栏目商业化价值；同时会把价值3亿的流量资源导入到直播栏目培育成长。

此外，媒体机构和政务部门官微纷纷开通直播，通过一直播进行新闻报道、政务公开、交通动态等。一直播与人民日报、新浪微博合作打造“人民直播”，获主流媒体认可。截至目前，一直播已经吸引了超1万家主流媒体、自媒体、行业KOL入驻，一直播使新闻报道实现了直播常态化，也将政务通过直播的方式公开透明的展示在大众面前。

一、方案背景

对于大部分企业来说，销售部门是为企业直接带来利润的主要部门，说是企业命脉部门其实也不为过。

然而事实上是为数不少的销售部工作人员由于缺乏营销分析概念和方法，企业累积的大量数据得不到有效的利用，营销分析只停留在数据和信息的简单汇总和流水帐式的通报，缺乏对客户、业务、营销、竞争方面的深入分析，结果决策者只能凭着本能的反应来运作，决策存在很大的失误风险。

都说数据有价值，那么销售部门应该如何充分利用数据对市场预判，实时了解当下业绩情况，衡量三六九等客户价值，如何快速获取客户的信息做针对性销售呢？

答案是，不妨用BI搭建一个智能化的销售数据分析平台。

解决两个问题：

1、将数据信息化，汇总自动化，将销售管理者从传统的报表数据重复结算中解放，避免大量重复性的excel编辑工作

2、着重分析企业销售目标、销售活动、成本费用等销售重要指标的分析。

二、方案内容

接下来，本文将着重分享企业销售智能数据分析方面的内容干货，用的是FineBI搭建的销售数据分析平台：

1、IT技术模块——搭建销售智能数据分析平台

2、IT技术模块——直接对接销售数据库，自动化形成数据报表？

3、数据分析模块——如何让销售同时快速上手分析？

4、数据分析模块——如何让销售领导直接在线查看分析？

5、协同管理模块——如何在线分享数据分析报告？

三、方案效果及实现说明

1、搭建销售智能数据分析平台

这部分工作属于企业IT部门的前期数据准备工作，需要IT部门在FineBI的数据配置-数据连接管理中新建好数据连接，保证数据连接测试成功。然后添加销售管理业务包，将相关数据表加入并且建好立表间关联关系即可（如果是FineIndex类型的业务包需要更新好FineIndex数据）。分配好对应数据权限之后，用户即可直接在浏览器前端来对这些销售数据进行即席的多维探索分析。

以本方案为例，如上图所示，我们在销售管理业务包中添加好销售员信息表、产品名称表、分公司信息表以及销售目标表、客户信息表、合同信息表、销售活动表、合同回款信息表、活动费用表，并且建立好维度表和事实表之间的数据关联关系。

最后在数据配置-权限配置管理界面中将建立好的销售管理业务包的权限分配给销售部门相关人员，并且在管理系统-用户管理中将销售部门人员加入到BI编辑用户的已授权列表中。

2、直接对接销售数据库，自动化形成数据报表？

销售管理人员在使用分配好数据权限的账号登录平台之后，就可以新建仪表盘开始做基础的数据分析了。

我们以制作如上图所示的销售基础数据分析-销售人员分析页面例，首先使用仪表盘统计出企业的总销售人数，然后再用饼图统计出各大区的销售人员分布（这边可以看出我们上海区域销售人数是最多的，达到总销售人数的22.73%），最后用明细表组件展示企业的所有销售人员的销售姓名、所属大区、大区经理相关信息。这样一来，基础的销售人员配备信息也就快速可视化呈现在我们面前了。

销售人员分析的仪表板做好之后，销售人员可以申请给IT部门的超级管理员将该模板挂出到销售管理-销售基础数据分析目录下面，并且将仪表板开放给其他人员进行查看。另外利销售活动管理、合同信息查询的销售基础数据分析也是同理，用同样的方法做好之后申请给超级管理员挂出即可。

3.如何让销售同时快速上手分析？

a.销售目标进度分析

我们以上图所示的销售目标进度分析为例，对于企业销售管理来说，两个最核心指标莫过于销售额和回款额了。而企业通常每年都会设定销售目标额、回款目标额两个指标作为销售的年度考评KPI指标。

所以这样一来在每个时间阶段，作为销售管理者我们可以分析当前的销售额目标完成率、回款额目标完成率的总体情况。

I.销售额目标完成率=(销售额/销售目标额)*100%

II.回款目标完成率=(回款额/回款目标额)*100%

以销售额目标完成率为例，添加好总金额和销售目标额之后，在FineBI中直接添加销售目标完成率指标，输入“总金额/销售目标额”即可得到当前销售目标完成率的数据。

计算好销售额目标完成率以及回款额目标完成率之后，然后再按照区域逐级分解。这边我们按照区域对销售额和回款额分别使用条形图进行统计，然后降序排列即可。

接着对每个区域的销售额、销售目标额、销售额目标完成率、回款额、回款目标完成率进行分析计算，以便来分析当前影响目标达成进度的主要问题区域所在。最后添加好相关查询控件，调整好仪表板整体布局即可。

b.销售回款分析

销售回款分析方面，首先统计出当前时间段的应收账款、累计回款、累计回款率（累计回款率=累计回款/应收账款）这三个关键指标，用仪表盘进行展示。然后按照产品线进行分解，对比每个产品线的应收款款和回款金额数据情况。接着按照时间流逝维度进行分析，统计出当前时间区间的月度累计回款金额和月度累计应收金额，同时计算累计回款率。

最后分别按照大区和销售进行分解，统计对应大区和个人的应收账款、实际回款，计算出大区和个人的回款率。这样一来，企业整体到销售个人的销售业绩状况就一目了然了。

c.销售费用分析

销售费用分析方面，统计当年的费用开支总金额以及年度每个月份的费用金额。接着统计出各大类的销售费用模块分布占比、全国各个省份的费用金额分布、各个客户总费用的树图统计、销售费用开票统计、各销售费用排名统计相关信息，让企业的销售费用成本一目了然的以可视化形式呈现在我们面前。

4、如何让销售领导直接在线查看分析？

除了以上给大家介绍的制作一些企业常用的销售数据分析之外，FineBI最大的特性就是随时满足业务人员或者企业领导的数据即席分析需求了，通过轻松的托拖拽拽操作，就能生成丰富多样的数据分析统计结果。

我们以上图的年度签单&回款统计数据分析为例，只需要将签约年份字段拖拽到行表头，合同金额、回款金额字段拖拽到左值轴，即可得到每年的合同金额和回款金额走势了，真正做到想看数据“不求人”！

5、如何在线分享数据分析报告？

企业的各项工作，主要由各部门团队分工协作完成，彼此之间需要很好地进行沟通和配合，那么FineBI是如何帮助企业将销售智能数据分析成果实现团队协作共享的呢？

以上图所示的销售管理中心驾驶舱为例，展示了企业的签单金额、回款金额、单个合同金额分布、各地区/销售签单回款统计等等多个核心的销售管理分析指标。那么销售人员通过FineBI做好的一个销售管理里中心驾驶舱之后，其实在FineBI中可以非常便捷地将它分享给相关部门或者指定人员的。

例如我这边想把它分享给企业的领导人员，那么可以在FineBI的仪表板中将做好的销售管理中心驾驶舱模板点击分享给领导部门的Tom，然后点击确定即可。这样一来，领导部门的Tom登录之后就能收到销售人员给他分享的销售管理中心驾驶舱了。

门店的数据报表，包括各部门每周/每月的销售额、毛利、毛利率、日比、周比、同期比、销售占比、日平均销售额、通路费用、各项数据指标、达成率及行动计划等，对于门店管理来说是至关重要的。而往往最能直接暴露门店经营问题的，就是门店经营数据了，面对门店的一张张报表，如何从繁琐的数据中，合理的得出对门店日常经营管理的各项措施和办法，即如何做好门店数据分析，这对当下企业的门店管理来讲，是一门生意经。

基于此，帆软FineBI商业智能产品提供了企业级的门店智能数据分析的解决方案：通过鼠标点击和拖拽就能够轻松掌握门店分时段营业分析、门店综合营业分析、门店报废商品分析、门店综合管理驾驶舱等等一系列的数据，在经营和管理门店运营的过程中真正做到数据在手，胸有成竹。

方案内容

企业门店智能数据分析干货内容：

1.企业如何快速搭建门店智能数据分析平台？

2.如何让门店管理人员直接对接门店数据库快速完成基础数据分析？

3.如何让门店管理人员直接对接门店数据库快速完成综合数据分析？

4.如何让门店领导直接对接门店数据库快速完成即席数据分析？

5.如何让企业门店智能数据分析成果实现团队协作共享？

方案效果及实现说明

1.企业如何快速搭建门店智能数据分析平台？

这部分工作属于企业IT部门的前期数据准备工作，需要IT部门在FineBI的数据配置-数据连接管理中新建好数据连接，保证数据连接测试成功。然后添加人事管理业务包，将相关数据表加入并且建好立表间关联关系即可（如果是FineIndex类型的业务包需要更新好FineIndex数据）。分配好对应数据权限之后，用户即可直接在浏览器前端来对这些人事数据进行即席的多维探索分析。

以本方案为例，如上图所示，我们在人事管理业务包中添加好门店主档信息表、综合营业分析表、日期信息表、小时维度表、报废商品数据表、营业日数据源表等数据，并且建立好维度表和事实表之间的数据关联关系。

最后在数据配置-权限配置管理界面中将建立好的门店管理业务包的权限分配给门店部门相关人员，并且在管理系统-用户管理中将门店部门人员加入到BI编辑用户的已授权列表中。

2.如何让门店管理人员直接对接门店数据库快速完成基础数据分析？

a.门店分时段营业对比分析

门店经营的第一项基础且重要的工作，就是门店管理者需要对日常时间范围内的销售情况进行把控，熟悉各个时间段门店的销量状态。特别是对于特定的一些节假日举行的促销活动，我们更需要进行及时关注和跟踪，这样才能根据以往的经验更好地去策划未来的活动，取得更好地活动效果。

如上图所示的门店分时段营业对比分析，我们可以通过FineBI的时间控件进行任意日期的内的门店经营效果比对，追踪各个门店的实时经营状态。除了小时的粒度之外，针对不同星期的门店经营业绩进行分析对比（上图所示，周一的门店经营整体状态明显由于其他星期），以便优先选择活动效果最佳的时间。

b.门店报废商品分析

为了更好地对各个门店的销售商品进行优化，我们需要对报废商品进行一些数据分析。如上图所示，我们可以通过仪表盘合计出时间区间内的报废总金额，同时用对比柱状图过滤出报废商品Top10的商品，重点观察和监督。营业部方面，试用饼图统计出各个营业部的报废金额分布情况，着力对报废商品问题严重门店进行商品整改和优化。

c.门店信息查询

对于门店的信息查询，我们可以试用FineBI内置的地图进行基于地理位置的数据分布统计，另外通过明细表组件展示各个门店开设的详细信息（门店名称、大区名称、中区名称、小区名称、门店地址等）。

3.如何让门店管理人员直接对接门店数据库快速完成综合数据分析？

a.门店综合营业分析

接下来我们来进行门店的综合营业数据分析，如上图所示，我们使用仪表盘组件合计总的营业净额，使用柱状图降序统计各个门店的营业额数据情况。对于日期区间范围内各门店营业净额的数据，我们使用堆积柱状图进行统计，以对比分析每天各个门店的营业净额数据。销售结构（销售毛额、营业净额、折扣金额）和销售品类（一般商品销售金额、饮料销售毛额、食品销售毛额）的分析，我们使用折线图进行基于每天的数据对比分析即可。

b.门店经营目标达成分析

如上图所示，我们再来做企业各大区门店经营目标达成的数据分析。由于我们的门店营业部有三级分类，那么这边选择多层饼图来进行三级营业部下的目标达成率分析最合适不过了。各个门店的营业净额方面，使用组合图的对比柱状图分析各个门店的目标金额和营业净额数据，使用组合图的折线图分析各个门店的目标达成率（目标达成率=营业净额/目标金额）。

4.如何让门店领导直接对接门店数据库快速完成即席数据分析？

除了以上给大家介绍的制作一些企业常用的门店数据分析之外，FineBI最大的特性就是随时满足业务人员或者企业领导的数据即席分析需求了，通过轻松的托拖拽拽操作，就能生成丰富多样的数据分析可视化统计结果。

我们以上图的每日交易数量和销售毛额折线图统计场景为例，只需要将交易日期字段拖拽到分类轴，将销售毛额、交易数量拖拽到左右值轴，即可自动完成分组统计，真正做到想看数据“不求人”！

5.如何让企业门店智能数据分析成果实现团队协作共享？

企业的各项工作，主要由各部门团队分工协作完成，彼此之间需要很好地进行沟通和配合，那么FineBI是如何帮助企业将门店智能数据分析成果实现团队协作共享的呢？

以上图所示的门店管理中心驾驶舱为例，展示了企业的产品销售种类统计、门店毛利统计、地区销售额统计、月度销售额/毛利额统计等等多个核心的门店管理分析指标。那么门店管理人员通过FineBI做好的一个门店管理里中心驾驶舱之后，其实在FineBI中可以非常便捷地将它分享给相关部门或者指定人员的。

例如我这边想把它分享给企业的领导人员，那么可以在FineBI的仪表板中将做好的门店管理中心驾驶舱模板点击分享给领导部门的Tom，然后点击确定即可。这样一来，领导部门的Tom登录之后就能收到门店管理人员给他分享的门店管理中心驾驶舱了。

1、一列数据同时除以10000

复制10000所在单元格，选取数据区域 - 选择粘性粘贴 - 除

2、同时冻结第1行和第1列

选取第一列和第一行交汇处的墙角位置B2，窗口 - 冻结窗格

3、快速把公式转换为值

选取公式区域 - 按右键向右拖一下再拖回来 - 选取只保留数值。

4、显示指定区域所有公式

查找 = 替换为“ =”（空格+=号） ，即可显示工作表中所有公式

5、同时编辑所有工作表

全选工作表，直接编辑，会更新到所有工作表。

6、删除重复值

选取数据区域 - 数据 - 删除重复值

7、显示重复值

选取数据区域 - 开始 - 条件格式 - 显示规则 - 重复值

8、把文本型数字转换成数值型

选取文本数字区域，打开左上角单元格的绿三角，选取 转换为数值

9、隐藏单元格内容

选取要隐藏的区域 - 设置单元格格式 - 数字 - 自定义 - 输入三个分号;;;

10、给excel文件添加密码

文件 - 信息 - 保护工作簿 - 用密码进行加密

11、给单元格区域添加密码

审阅 - 允许用户编辑区域 - 添加区域和设置密码

12、把多个单元格内容粘贴一个单元格

复制区域 - 打开剪贴板 - 选取某个单元格 - 在编辑栏中点击剪贴板中复制的内容

13、同时查看一个excel文件的两个工作表

视图 - 新建窗口 - 全部重排

14、输入分数

先后输入 0 ，再输入 空格， 再输入分数即可

15、强制换行

在文字后按alt+回车键即可换到下一行

16、删除空行

选取A列 - Ctrl+g打开定位窗口 - 定位条件：空值 - 整行删除

17、隔行插入空行

在数据表旁拖动复制1~N，然后再复制序号到下面，然后按序号列排序即可。

18、快速查找工作表

在进度条右键菜单中选取要找的工作表即可。

19、快速筛选

右键菜单中 - 筛选 - 按所选单元格值进行筛选

20、让PPT的图表随excel同步更新

复制excel中的图表 - 在PPT界面中 - 选择性粘贴 - 粘贴链接

21、隐藏公式

选取公式所在区域 - 设置单元格格式 - 保护：选取隐藏 - 保护工作表

22、行高按厘米设置

点右下角“页面布局”按钮，行高单位即可厘米

23、复制时保护行高列宽不变

整行选取复制，粘贴后选取“保持列宽。

24、输入以0开始的数字或超过15位的长数字

先输入单引号，然后再输入数字。或先设置格式为文本再输入。

25、全部显示超过11的长数字

选数区域 - 设置单元格格式 - 自定义 - 输入0

26、快速调整列宽

选取多列，双击边线即可自动调整适合的列宽

27、图表快速添加新系列

复制 - 粘贴，即可给图表添加新的系列

28、设置大于72磅的字体

excel里的最大字并不是72磅，而是409磅。你只需要输入数字即可。

29、设置标题行打印

页面设置 - 工作表 - 顶端标题行

30、不打印错误值

页面设置 - 工作表 - 错误值打印为：空

31、隐藏0值

文件 - 选项 - 高级 - 去掉“显在具有零值的单元格中显示零”

32、设置新建文件的字体和字号

文件 - 选项 - 常规 - 新建工作簿时....

33、快速查看函数帮助

在公式中点击下面显示的函数名称，即可打开该函数的帮助页面。

34、加快excel文件打开速度

如果文件公式过多，在关闭时设置为手动，打开时会更快。

35、按行排序

在排序界面，点击选项，选中按行排序

36、设置可以打印的背景图片

在页眉中插入图片即要

来源：网络整理

百家号-【袁帅数据分析运营】运营者：袁帅，会展业信息化、数字化领域专家。新社汇平台联合创始人，永洪数据科学研究院MVP。认证数据分析师、网络营销师、SEM搜索引擎营销师、SEO工程师、中国电子商务职业经理人。畅销书《互联网销售宝典》联合出品人。

在美国等商业发展较早且更为发达的地区，客流分析统计系统早已深入人心，并得到广泛的普及。为什么要用客流分析统计系统?说白了，客流统计系统就是关于你店铺的大数据系统。对零售商来说，这是他们了解店铺客流、了解顾客购买心理、安排员工工时，安排节假日促销活动的重要工具。同时还能分析他们店铺的经营表现及业绩。本文将从客流统计的应用场景及客流统计的技术发展进行展开，为读者展示服装业、大型商铺和购物中心客流统计的重要性。

购物中心作为一个以零售为主的商业组织形式，需要精细化管理，而精细化管理以事实为依据，用数字说话，决策者、管理者通过对购物中心各个硬软件得出的数字进行分析，并用这些数据为顾客与商户服务。客流量对大型购物中心来说是其核心元素，充足有效的客流才能提升购物中心的盈利能力，客流不仅是定位和招商的基础，更是购物中心是否能成功运营的关键。近几年来，精确地统计进入购物中心的顾客数量成了优化购物中心运营的必要手段。那么，客流统计系统对零售餐饮业的贡献究竟有多大呢。

客流统计分析能做什么？

如果没有准确的客流数据很难做出合理的、令人信服的划分。客流分析作用大体总结如下：

1．顾客画像分析，主要统计客流量总体的年龄段和性别、兴趣偏好、学历、收入水平等进行标签分类管理；

2．商圈消费能力，分析客群消费平均水平决定了商品定价的前提；

3．客流访问路径，汇总出一条或者多条主要顾客购物行为路径优化商场动线；

4．客流增长趋势，掌握客流量每一天变化趋势有利于营销工作的开展和进行；

5．回头客预测分析，及时识别回头客到店趋势，预测经营业绩。

技术发展

当了解客流统计分析的作用后我们首先看一看客流统计技术的技术发展。现在，运用的客流统计技术主要有三种：红外线客流统计、视频客流统计、WIFI探针客流统计，这三种客流统计技术，用哪种比较好?这个只能说，在不同的情况下，有不同的需求。

技术一： 红外线客流统计技术

传统的客流管理主要是总量上的统计，红外线客流统计技术可能更为常用。红外线客流统计技术依据人体的经过阻断红外线之间的对射进行客流量的统计，其统计客流数量方便，数据传输量小，成本较低，安装方便，对于光线要求不高。这种方式简单易实施，但缺点也显而易见，通过人体经过阻断红外线间的对射来测数，导致在多人经过时可能漏数，而不断进出的同一个体则会被重复计数等问题。这样测出来的客流数据存在着较大的偏差。

技术二：Wif探针客流统计技术

Wif探针技术能够根据手机统计出店内消费者的数量情况，还能够根据手机IP进行消费者在店内行动轨迹的追踪。对于手机不离身的现代人来说，这种统计方法已经能够相对精确地了解客流情况，当然，遇到没带手机、关闭无线等情况，这种技术也爱莫能助。

技术三：3d双目客流量统计系统设备

由于人工计数的准确率偏低且无法进行长期统计，红外方式又不能双向统计人流量，更无法统计并排时顾客人数，因此，借助视频分析技术，准确率高达95%的新型客流统计分析系统应运而生。

3d双目客流量统计系统的原理是基于嵌入式摄像镜头采集视频,然后对两个摄像头的视频图像进行视差计算,形成视频中人的3D图像,过对人体的形状和高度为分析目标,通过区域和方向的设定来统计通过人数。通过商场客流量的历史数据的对比，就可知道什么时间段的客流量变少，而在这个时间分析采用哪种营销方式可吸引增多客流量。

客流统计分析应用场景

应用场景一：Wifi探针为大型商铺、购物中心数据赋能

Wif探针技术能够根据手机统计出店内消费者的数量情况，还能够根据手机IP进行消费者在店内行动轨迹的追踪。对于手机不离身的现代人来说，这种统计方法已经能够相对精确地了解客流情况，并且 Wifi探针也是目前线下进行流量识别最好的手段，落地性、数据获取能力都很强。

通过客流统计我们可以对路径、频次和时长三个维度的数据对个体消费者进行识别和判断。比如，系统捕捉到消费者甲每个月要来商场两到三次，每次来了之后都直奔母婴区，而且在那停留很长时间。那么，系统就可以给他打上“母婴”的标签。以此类推，就可以根据消费者的行为习惯赋予其各种各样的标签。

此外，通过Wifi探针的客流统计系统还可以从用户生命周期的维度对消费者进行管理，给消费者打上高、低活跃度，新、老客户，流失客，回流客等标签。后台支持多种标签组合查询和统计分析，比如可以分析母婴类客户的新增和流失客户情况。让商场经营者对自己场内的客流变化一目了然，并有针对性地组织各类营销活动。

过去商场的营销活动都是围绕节假日展开的，缺少针对性。有了通过Wifi探针的客流统计系统，商场就可以更加有的放矢。营销活动结束后还可以根据后台数据分析目标客户的回流情况，评估营销活动的效果，并及时进行调整。甚至能够分析出不同的天气、活动对店铺客流的影响。

应用场景二：客流分析助力购物中心

第一，客流统计系统能够为购物中心确定铺位租金水平。只需在购楼物中心的各个出入口、各层、各通道、各商铺门前安装客流统计系统，就可以获得不同时段的客流分布情况，同一类型店中表现优异的租户立时可见，表现较差的营业区域可立即受到关注，而且从今往后，对于租户组合的调整不再盲目，完全可以通过客流数据来进行科学分析。更为重要的是，客流数据给购物中心的招商部门在确定具体楼层具体区位的铺位租金水平和今后的租金调整，提供了实实在在的数据支持。通过对出入口人流量数据的观测，可以帮助确定广告位定价，合理确定重要广告的摆放位置。

并且将客流统计系统得到的客流数据与租金水平结合，在租赁合同中设定可测量的运行参数，可以优化收入，展示投资者的绩效单。客流量数据还是购物中心资产的附加值，在如今竞争异常激烈的零售业，拥有更多人气的购物中心显然拥有较高的市场价值。

第二，客流统计系统为购物中心有计划地引进顾客分析，并制定合理的活动主题方案。由客流数据的日常统计使营运部门对整个购物中心的运营情况了然于心。其次，根据客流的变化，有效分配和安排物业管理人员、维护人员、安保人员、保洁人员等，合理利用人力资源。在活动期间，客流系统提供准确的人流数据，不但可以直观地对活动效果进行评估，结合其他数据报表亦可分析出营销活动和促销投资的回报情况，此外，结合历史同期活动的客流量数据，对比分析得出人流规律，为今后活动方案的制定提供依据。

第三，客流统计系统可为购物中心提供更详细的分析报表。客流统计系统，不但能够按时按需提供客流数据，将历史客流数据和当前客流信息进行对比分析，还能与购物中心现有的其他系统结合，对购物中心进行全方位多角度的分析，产生更为详尽的业绩报表，为管理人员分析现状、调整经营战术和确定未来经营方向，提供充分、有价值的信息。

应用场景三：视频探头在服装业、精品商铺的应用

通过客流统计系统的引进及双目摄像头的安装就可以统计进出店客流，并通过定制化客流报表来对运营KPI进行分析，为运营战略的调整提供强有力依据。

拿ETRO专卖店举例，ETRO在门店入口处安装22台双目摄像头摄像头进行监测，将进店客流传输至云端服务器，进而生成每日各时段、以及日/周/月汇总对比报表，店长及总部管理者可通过网页版轻松掌握各分店客流量、转化率。精准的客流统计，为门店的选址提供参考，更是改善了门店的管理效率、服务质量，最终促进成单量及客单价的提升。

虽然3d双目客流量统计系统成本远高于红外线客流统计技术和WIFI探针客流统计技术，但针对面向中高档消费群体的精品类商铺，客流量小，但对数据要求精准，此时并不需要安装过多双目摄像头，因此采用视频客流统计会远比其他两项更具优势，从而精准定位消费者，方便CRM管理，增加经营效益。

应用场景四：通过广告推送进行物流分析

实时客流统计分析，统计每日每时的实时客流信息，当用户在广告机前端停留1~2秒后，摄像头会抓拍人脸画像并可以精确统计任意时段内进店驻留人群的性别和年龄，商家使用客流统计用些信息分析出不同人群驻留店面时长、区域统计客流强度，产品关注度、不同人群关注的产品热度。通过大数据分析比对，有利于商家部署最佳的运营模式。

应用场景五：通过客流分析与消费者进行连接实现精准营销

当我们发现，有“女性-母婴亲子-童车童床”标签的客群，在“母婴亲子-辅食”“家居-家具”“家具-厨电耐用”也有不错的消费，后期在推送童车童床offer的同时，也可以同时考虑加上辅食、家具、厨电等活动。同时，我们可以发现，有酒类制品标签的客群，均有“购物-食品”的标签，后期在推送酒类制品offer的同时，也可以向他们推送食品的offer；另外支付的客群也有不错占比，后期也可以将支付融入到相关推送活动中。正是运用了客流统计分析系统实现了相关产品的精准营销。

应用场景六：客流统计是重新构建门店和消费者的连接

在实体门店中应用客流统计是重新构建门店和消费者的连接，运用客流统计系统，先进的人脸识别技术，捕捉进店的数量，并对人像进行分析，统计顾客的性别、年龄、身份等属性，通过后台生成的数据分析报表，呈现顾客的光顾频率和回头客分析，让店员第一时间了解顾客的消费行为习惯，摸清顾客消费偏好和消费心理，做出合适的商品推荐和提供专业的服务。

并与POS机无缝连接，有效计算出提袋率和客单价，让会员通过人脸实现自动积分，打折服务，专业巩固vip客户量和消费群，并预测客流动线，店员针对性调整商品及陈列布向，营造科学合理的消费场景完美实现门店与消费者的互动。

使用客流分析系统可能存在的问题

数据是否可信?可用？

您必须确信获取的数据具有高度的完整性和统计意义。一个值得信赖的数据门户还必须表明数据来源，以便您准确地向您组织内部的利益相关方进行数据汇报。

您的数据看起来像是难懂的数字堆砌，还是如叙事般清晰易懂?您是否能够将数据可视化?有时您仅需要原始数据，其他时候则需要通过高质量的数据可视化以助解读数据。因此，应确保您的分析解决方案两者皆备。

结语：

纵然面对一些问题的存在，客流分析统计系统还是好处诸多，甚至可以在选址落地前通过对顾客群体的了解和分析，从而对店铺面积大小、人员比例、预计成本比例、客单价、库存量有更准确地预估和调整。相信多维度数据的获取，能够为优化品牌商品结构、陈列布置、运营策略提供更多的支持。

会议预告：

中国电子商会商业信息化协会&零售CIO俱乐部 将于9月21-22日在石家庄国际展览中心举办2018第四届中国智慧商业与数字化运营高峰论坛，核心议题：

1、新零售下，重构人货场和新消费场景价值；

2、从经营商品到经营顾客，构建全新的数字化体验和数字化运营体系；

3、顾客数字化、商品数字化、服务数字化、营销数字化、供应链数字化、经营管理数字化，改造经营管理，重塑商业模式；

4、全域消费场景下的会员营销和CRM，构建数字化消费者运营平台；

5、AI、大数据新技术如何以人为本赋能智慧门店的运营管理？如何打造线上新零售智慧门店？

6、如何建设以门店为中心的新零售配送体系？

7、如何打通全渠道数据壁垒，挖掘大数据的核心价值？

8、如何形成一套自己的新零售+科技创新的打法，提升智能化、数字化的运营效益？

生产是制造业企业的核心，因此，生产管理也是重要企业的重要内容。而同时，生产管理关系到企业的制造成本，进而关系到企业的成本优势、竞争力与盈利性，也关系到企业产品的质量和企业的品牌声誉。进行生产管理能够让员工负能量少，积极性提高，流失率低，快速建设号项目。实现公司项目多元化。

因此我们提供了一个生产管理数据分析的解决方案便于参考，让您通过鼠标点击和拖拽就能够轻松地掌握生产管理的基础数据查询和生产综合分析，如生产车间分析、生产成本分析、生产产品分析、生产驾驶舱等，进一步体会到生产管理数据分析的妙用。你也可以再利用我们提供的数据自己再尝试性做一些生产管理数据分析的模板。

一、方案内容

本方案将给大家着重分享以下企业生产管理数据分析方面的内容干货：

1.如何快速搭建生产管理数据分析平台？

2.如何让业务部门人员直接基于生产数据快速完成基础数据查询？

3.如何让业务部门人员直接基于生产数据快速完成生产综合分析？

4.如何让业务领导直接基于生产数据快速完成即席数据分析？

5.如何让企业生产管理数据分析成果实现团队协作共享？

二、方案效果及实现说明

1.如何快速搭建生产管理数据分析平台？

这部分工作属于企业IT部门的前期数据准备工作，需要IT部门在FineBI的数据配置-数据连接管理中新建好数据连接，保证数据连接测试成功。然后添加生产管理业务包，将相关数据表加入并且建好立表间关联关系即可（如果是FineIndex类型的业务包需要更新好FineIndex数据）。分配好对应数据权限之后，用户即可直接在浏览器前端来对这些生产管理数据进行即席的多维探索分析。

以本方案为例，如上图所示，我们在生产管理业务包中添加好生产事实表、生产车间维度表、生产品类维度表和生产仓库维度表，并且建立好维度表和事实表之间的数据关联关系。

最后在数据配置-权限配置管理界面中将建立好的生产管理业务包的权限分配给业务部门相关人员，并且在管理系统-用户管理中将对应授权人员加入到BI编辑用户的已授权列表中。

2.如何让业务部门人员直接基于生产数据快速完成基础数据查询？

数据底层搭建完，就可以使用分配好数据权限的账号登录平台，快速新建仪表板做基础数据分析了。

以生产订单查询为例，我们通过拖拽出一张明细表组件，将所需的生产订单信息字段拖拽即可生成生产订单明细。然后添加生产车间、生产产品、流水订单号等常用的过滤控件，即可快速完成一张对生产基础数据查询表。

3.如何让业务部门人员直接基于生产数据快速完成生产综合分析？

在这里，以其中两个模板为例，来展开生产综合分析的篇目。

a.生产车间对比分析

对于制造企业，最常见的生产分析之一就是对于生产车间的对比分析。通过不同车间的生产效率对比，让每个车间能都看到自己的KPI（此模板中指生产数量、同期数量及增长率）的对比情况，有助于建立一套自上而下的管理系统,明确各部门各人员的责任，从而有利于统一部署,分工协作、团结一致的完成生产工作，改变了过去单一行动、责任不明的状态,有助于整体联动的管理体系。

下方的明细表是我们通常在做基础信息分析时最传统和熟悉的报表展现。我们在做分析时往往可以通过一张明细表先把货物生产的基础属性拖拉出来，然后对其中所需要的字段进行进一步需要的加工处理。如对增长率在-10%~0的指标进行绿色预警，在0%~10%的指标进行红色预警，研究不同车间的占比组成，以及不同品类的车间贡献因子等。

b.生产驾驶舱

这里以化工企业的生产驾驶舱为例。生产驾驶舱（看板）是管理可视化的一种表现形式，即对数据、情报等的状况一目了然地表现，主要是对于管理项目、特别是情报进行的透明化管理活动。通过各种形式如标语/现况板/图表/电子屏等把文件上、脑子里或现场等隐藏的情报揭示出来，以便任何人都可以及时掌握管理现状和必要的情报，从而能够快速制定并实施应对措施。

4.如何让业务领导直接基于生产数据快速完成即席数据分析？

除了以上给大家介绍的制作一些企业常用的生产管理数据分析之外，FineBI最大的特性就是随时满足业务人员或者企业领导的数据即席分析需求了，通过轻松的托拖拽拽操作，就能生成丰富多样的数据分析统计结果。

可以看到轻松拖拽就可以马上完成可视化，实现快速分析。

5.如何让企业生产管理数据分析成果实现团队协作共享？

企业的各项工作，主要由各部门团队分工协作完成，彼此之间需要很好地进行沟通和配合，那么FineBI是如何帮助企业将生产管理数据分析成果实现团队协作共享的呢？

以上文所述的生产车间对比分析为例，那么通过FineBI可以非常便捷地将它分享给相关部门或者指定人员的。

例如这边想把它分享给领导，那么可以在FineBI的仪表板中将做好的生产车间对比分析模板点击分享给对应的Tom，然后点击确定即可。这样一来，对应的Tom登录之后就完全能够使用该模板。

最后，具体的实操，大家可以下载FineBI尝试下。

数据平台的建设可以当做一个产品来设计。从广义上来讲，所有以数据驱动为核心的都可以称为数据产品（如数据报表平台，DMP，BI平台），从狭义上来讲，就是公司内部的数据平台。今天我们要讨论的，主要是在公司内部搭建数据平台。

公司的内部数据平台，主要是给各业务提供数据处理、分析、展示，供内部所有部门人员使用的，涉及数据的收集（填报）、数据的整合、业务报表制作、业务员数据分析以及可视化数据展示，目的是让公司内部的所有业务都能通过数据来驱动和辅助决策。简单点讲就是通过数据平台来驱动公司内部的数据化运营。

那么如何设计符合企业实情并能解决实际问题的数据平台呢？

1. 平台建设主导人需要对每一块业务需求有深刻的了解，知道每个业务部门想要看什么样的数据，需要什么样的分析报表；这些数据是否现在就可以获取到，是否需要收集；业务部门通过这些数据分析，是如何推进和改善业务，是否有提升的价值意义。

2. 平台的设计需要根据业务的要求设计符合使用者需要的内容，产品要有层级和结构。如果设计的一张数据报表既要满足管理层的需求又要满足一线业务人员的需要，那么这样的数据产品体验很大可能是比较差的。因为领导和业务人员的关注点不一样，看数据的视角也不一样。领导往往需要一些能帮助把握大方向的关键指标，并且希望知道这些指标之后的问题是什么？原因是什么？所以给领导设计的报表需要直观易懂，并且能够基于这些指标的一场定位到问题。而业务人员更在乎业务的执行，关注的数据往往粒度很细，需要知道各项指标的明细。

领导关注的报表（FineReport制作）

销售领导关注的指标明细（FineReport制作）

3. 数据平台一定要注意数据质量、规范、统一。因为数据平台是面向所有业务的，怎么保证公司的所有部门人员对于数据的理解是一致的，这点特别难。（比如服装行业的“断码”，从领导层来讲，公司仓储的服装全部尺码如果不完整就是断码；从仓库的仓管员角度来讲，仓库内的服装尺码不全就是断码；从门店的业务员角度来讲，客户需要的尺码当前门店无货就是断码）。公司的业务系统各有不同，数据口径不一，数据孤岛问题，导致数据的质量和结构也千差万别，越是这样，数据仓库的数据建设就显得尤为重要。平台的数据质量依赖于数据仓库底层的数据模型，所以一个好的数据仓库很大程度上决定了数据平台的数据质量。

4. 工具选型上，有报表平台、BI。报表平台适合构建基础的规范化的数据平台，从明细报表（表格类）的，项目档案，文件报备，数据填报，数据报表，业务主题分析，文中的所有demo就是用FineReport制作，侧重于展示和报表管理。BI侧重于分析，拿到数据可以自己拖拽维度来分析，不同于报表受模板框架的限制，涵盖简单的明细报表、分析报表和主题分析，制作要简单很多，大数据量的处理性能也强劲很多，代表：FineBI、Tableau.

下面我们就从实战的角度来加以阐述。

某公司是一家电商公司，那么该公司的各部门需要看哪些数据呢？首先收集日常常用的数据指标，哪些是经常要查询的，哪些是要日常填报的，这些在过往的经营中都有备案，好收集。这就构成了日常的基础查询类报表，这类报表最占大头。

其次，我们可以观察一下各部门的KPI是什么？下放到团队以及个人的KPI是什么？是否能以具体的数字来量化？如果对负责支持的部门的KPI不了解，就去寻求部门领导帮助（使用者最懂要什么），不落实指标如何能设计出好的数据报表？通常粗略的，例如采购部门的KPI基本就是销售额、订单数、销售毛利润、采购成本；运营部门的KPI就是新老用户述、留存率、复购率、用户流失、转化率，市场部门的KPI就是PV/UV、新客数，这就构成了各部门日常管理的报表。

那么知道各个部门的核心KPI后，下一步就是针对一些特定场景的主题报表。主题报表往往是记录某一事件，其中的指标都是相互关联的。

比如，我希望知道这个月我的绩效完成的怎么样？在团队内排名是提升还是下降？每个人的绩效结果明细是怎样的？——这就构成了日常考核报表。

又比如在分析产品时，需要重点关注某些产品的相对市场份额和市场增长率，则要建立波士顿矩阵分析，以便让资源有效地分配到合理的产品结构中（当然还有其他分析角度）——这就是品类分析。

产品分析（FineReport制作）

再从业务分析和使用场景入手，拿采购部门的小王来说，他是怎样看数据的呢？

每天早上，我希望知道昨天的销售情况怎么样？所以这时候应该设计一张基础查询报表给到他，这张数据报表应该具有以下功能和内容：

1.能够查看昨天以及过去各时段的数据；能够按照产品、地域来统计；能够与过往的平均值做比较，看看是不是某区域某产品的趋势上有大的变化，是不是广告投放，活动推广带来的，影响大不大。其次，每个月，每季度的数据是多少，能够选定时间段自动展示。

请点击此处输入图片描述

2. 指标越丰富越好，如果销售额下降了，看看是不是订单数下降了，订单数没变是不是客单价的问题，是由于商品结构的原因还是活动门槛调整导致的。

3. 数据分析的能够下达的粒度越细越好。比如数据粒度可以从全国下钻到省份，从省份下钻到城市，这样交易额下降了就能知道是哪个省哪个城市出了问题？就能针对性的解决。

请点击此处输入图片描述

经过以上几个步骤，即可形成平台雏形，形成规划文档。但一个数据平台，无论前期规划得多么丰富，也不可能一蹴而就。公司的业务在不断变化，分析的内容也越来越丰富，在这过程中总需要不断磨合和调整，只有不断完善之后，才能形成一个更加量身定制的实用平台。

当今时代信息化产业飞速发展，各类底层大数据平台百花齐放，亿级数据、秒级响应已经不再是当年的遥不可及的神话。然而对于企业来说，数据计算快仅仅是满足企业进行业务数据分析的硬件基础，如何发掘这些海量的数据产生应用价值，走好数据分析这最后一公里，引导企业进行战略决策却是至关重要的一步。

本文以互联网行业为数据业务分析背景，希望能跟大家交流一些数据分析方面的心得和体验。

——本文使用数据分析工具为FineBI 商业智能工具

数据分析的本质其实是做数据对比分析，没有数据对比，单一的指标统计往往难以发挥数据价值。像我们常见的数据对比分析方法有同比、环比、占比等一系列分析指标，那是不是所有的数据业务场景都可以直接进行套用分析呢？比如我们统计企业2018年1月29日的同比流量，是不是可以直接对比2017年1月29日？表面上看好像2017年1月29日确实就是2018年1月29日时间层面上的同比日期，但是我们仔细对比查看这两个日期会发现2018年1月29日是周一，2017年1月29日确是周日。对于很多行业的企业来说，非工作日和工作日的数据往往是有很大差异的，这个时候单纯从日期层面来进行对比其实是没有什么意义的，选择对比同是周一的2017年1月30日的流量数据进行同比计算可能会更加有价值。

目前互联网行业做搜索引擎的有Google、百度，做综合门户的雅虎、新浪，做即时通讯的主要是腾讯，电子商务方面的主要是阿里、京东、亚马逊等。不论是以上的哪家互联网企业，往往都需要有一套引流、转化、消费、留存方面的运营策略，平台的流量数据分析往往都是非常重要的。

互联网流量数据分析方面，总结主要有如下四种数据常用分析方法：

1.对比分析流量规律，针对时段进行企业服务以及推广活动调整；

2.对比分析结构占比，指导进行定向群体营销推广

3.对比分析异常情况，及时追责并且进行调整；

4.对比追踪活动流量变化，总结活动效果经验以便后续有针对性调整。

如上图所示，我们通过FineBI工具制作出以上的流量数据分析模板，接下来尝试着对数据做一些对比分析。

一、用户浏览量周分布

对于互联网企业来说，流量数据往往都会呈工作周相关。对此，我们可以先宏观地统计出周一到周日中的总的平台流量柱状图数据对比情况。首先我们可以仔细观察工作日和非工作日的数据，发现周末的平台流量较工作日流量要高，这在互联网行业来说都是一个比较普遍的现象。

用户流量的周分布规律之后，我们就大致有一个推广方向，周末休息时间用户群体较大，相较于工作日可以投入更多的和丰富有吸引力推广活动来进行新用户引流和老用户活跃。

接着我们可以进行下一步思考，那工作日和周末我们的活动推广时间如何制定？有的同学们可能会觉得全天活动都可以，不需要关注具体的活动时间。但是对于互联网行业来说，每个时间段的推广费用都是较为昂贵的，我们完全可以分析出工作日和周末的用户流量趋势，进行有针对性的时间段投入推广，通过更小的成本获取到更多的用户流入。

首先是工作日的时间段流量统计分布，我们通过BI工具分时间段作图得到如下所示的流量分布图。可以看出，工作日的流量主要集成在每日的9点（上班时间）、13点（午餐时间）、20点（晚间娱乐休息时间），那么在得到这样的一些用户流量规律之后，便可以在这些用户活跃高峰期时间段有针对性对白领群体多做一些相关商品推广活动，以实现最小时间成本和推广费用最大化用户引流效果。

再来看周末的各时间段流量分布走势，和工作日所不同的是，周末的流量早高峰期延后到了10点，这可能和各位小伙伴们周日作息较晚有关（同学们周末都是几点起床呢），除此之外，晚上的流量高峰退潮期也有延后。针对与周末用户流量分布的特性，互联网企业在周末时可以将活动开始时间和活动结束时间都适当进行延后，这个时候不能再套用工作日制定好的活动时间计划了，因为符合用户群体作息规律的推广促销活动才能达到更好的效果。

二、推广渠道流量分布

对于互联网行业的推广渠道分布主要分为三级渠道：线上渠道、线下渠道、新媒体营销等等。对比分析每个渠道对企业所带来的价值占比差异，以指导制定有针对性营销策略。

如上图所示，由于推广渠道是分多层级的，我们通过BI工具的多层饼图进行数据的分析统计再合适不过了。分析下图的数据我们可以看出，首先是一级渠道的主要战斗力来自于新媒体营销，当今的微信、今日头条等社交媒介社区时代受众广泛，用户群体非常庞大，是公司需要投入主要成本进行推广的。其次线上渠道的效果也不容忽视，对于互联网企业来说，做好百度、Google等SEO搜索引擎关键词推广也是很重要的一部分工作。相较于线上渠道和新媒体营销，线下渠道说所需要的经费和时间、人力成本较大，受众又相对较小，所以此类活动往往针对核心粉丝进行运营即可。

三、各月份指标对比走势

在分析各月份指标对比走势数据之前，先简单介绍下互联网营销常用的几个指标概念：

1.浏览量（pv）

2.访问次数（visits）

3.访客数（uv）

以上三个基础指标常用来衡量流量数据的多少。另外平均访问深度（总浏览量/访问次数）、平均停留时间（总停留时间/总浏览量）、跳失率（跳出次数/访问次数），这三个指标通常可用于衡量流量指标的优劣性。

我们仔细分析上图中的平台流量指标，可以发现10月份是2017全年的流量高峰期，应该跟企业在国庆黄金假期所做的促销引流活动有关。浏览量、跳失次数、访问次数分别为4941、1290、2182，对比计算可得到跳失率为59.12%，明显低于其他时间段的跳失率，说明10月份的活动效果还不错，其经验对以后的营销推广可以起到参考作用。

最后是访问深度用户群体分布分析（跳失率=跳出次数/访问次数），我们通过BI工具将企业的VIP用户、老用户、新用户分别进行分时间段的用户群体访问深度分析统计。总体来说可以发现平台的VIP用户访问深度较老用户以及新用户稍微高些，但是不是太明显，说明平台运营的VIP这部分群体的活跃度还有待提升。同时，平台老用户访问深度和新用户更是相差无几，公司对于用户这方面的活跃运营明显需要加油了，建议将平台的部分忠诚度较高的老用户以VIP用户组建起来，共建平台生态圈，增加整体的用户活跃度。同时可以向老用户以及VIP用户实施一些优惠政策，如定向商品折扣、根据用户画像进行喜好商品特惠推送等。

本次的数据分析经验心得分享暂时先写到这里，后续将继续给大家分享关于互联网数据运营方法的转化、消费、留存等方面的一些经验，欢迎大家一起共同交流探讨互联网运营之道。

标签 | 大数据 架构

作者 | 张逸

无论是采集数据，还是存储数据，都不是大数据平台的最终目标。失去数据处理环节，即使珍贵如金矿一般的数据也不过是一堆废铁而已。数据处理是大数据产业的核心路径，然后再加上最后一公里的数据可视化，整个链条就算彻底走通了。

数据处理的分类

如下图所示，我们可以从业务、技术与编程模型三个不同的视角对数据处理进行归类：

业务角度的分类与具体的业务场景有关，但最终会制约技术的选型，尤其是数据存储的选型。例如，针对查询检索中的全文本搜索，ElasticSearch会是最佳的选择，而针对统计分析，则因为统计分析涉及到的运算，可能都是针对一列数据，例如针对销量进行求和运算，就是针对销量这一整列的数据，此时，选择列式存储结构可能更加适宜。

在技术角度的分类中，严格地讲，SQL方式并不能分为单独的一类，它其实可以看做是对API的封装，通过SQL这种DSL来包装具体的处理技术，从而降低数据处理脚本的迁移成本。毕竟，多数企业内部的数据处理系统，在进入大数据时代之前，大多以SQL形式来访问存储的数据。大体上，SQL是针对MapReduce的包装，例如Hive、Impala或者Spark SQL。

Streaming流处理可以实时地接收由上游源源不断传来的数据，然后以某个细小的时间窗口为单位对这个过程中的数据进行处理。消费的上游数据可以是通过网络传递过来的字节流、从HDFS读取的数据流，又或者是消息队列传来的消息流。通常，它对应的就是编程模型中的实时编程模型。

机器学习与深度学习都属于深度分析的范畴。随着Google的AlphaGo以及TensorFlow框架的开源，深度学习变成了一门显学。我了解不多，这里就不露怯了。

机器学习与常见的数据分析稍有不同，通常需要多个阶段经历多次迭代才能得到满意的结果。下图是深度分析的架构图：

针对存储的数据，需要采集数据样本并进行特征提取，然后对样本数据进行训练，并得到数据模型。倘若该模型经过测试是满足需求的，则可以运用到数据分析场景中，否则需要调整算法与模型，再进行下一次的迭代。

编程模型中的离线编程模型以Hadoop的MapReduce为代表，内存编程模型则以Spark为代表，实时编程模型则主要指的是流处理，当然也可能采用Lambda架构，在Batch Layer（即离线编程模型）与Speed Layer（实时编程模型）之间建立Serving Layer，利用空闲时间与空闲资源，又或者在写入数据的同时，对离线编程模型要处理的大数据进行预先计算（聚合），从而形成一种融合的视图存储在数据库中（如HBase），以便于快速查询或计算。

场景驱动数据处理

不同的业务场景（业务场景可能出现混合）需要的数据处理技术不尽相同，因而在一个大数据系统下可能需要多种技术（编程模型）的混合。

场景1：某厂商的舆情分析

某厂商在实施舆情分析时，根据基于需求，与数据处理有关的部分就包括：语义分析、全文本搜索与统计分析。通过网络爬虫抓取过来的数据会写入到Kafka，而消费端则通过Spark Streaming对数据进行去重去噪，之后交给SAS的ECC服务器进行文本的语义分析。分析后的数据会同时写入到HDFS（Parquet格式的文本）和ElasticSearch。同时，为了避免因为去重去噪算法的误差而导致部分有用数据被“误杀”，在MongoDB中还保存了一份全量数据。如下图所示：

场景2：Airbnb的大数据平台

Airbnb的大数据平台也根据业务场景提供了多种处理方式，整个平台的架构如下图所示：

Panoramix(现更名为Caravel)为Airbnb提供数据探查功能，并对结果进行可视化，Airpal则是基于Web的查询执行工具，它们的底层都是通过Presto对HDFS执行数据查询。Spark集群则为Airbnb的工程师与数据科学家提供机器学习与流处理的平台。

大数据平台的整体结构

行文至此，整个大数据平台系列的讲解就快结束了。最后，我结合数据源、数据采集、数据存储与数据处理这四个环节给出了一个整体结构图，如下图所示：

这幅图以查询检索场景、OLAP场景、统计分析场景与深度分析场景作为核心的四个场景，并以不同颜色标识不同的编程模型。从左到右，经历数据源、数据采集、数据存储和数据处理四个相对完整的阶段，可供大数据平台的整体参考。