内容来源：2017年5月13日，周末去哪儿架构师李锡铭在“Java开发者大会 | Java之美【上海站】”进行《大数据平台快速解决方案中》演讲分享。

阅读字数：1891 | 4分钟阅读

摘要

大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。周末去哪儿架构师李锡铭根据自己的成功经验，为我们分享大数据平台快速解决方案。

大咖演讲视频

http://t/R9an7Rr

搭建始末

当时我们确定要做大数据的时候，有两种选型。第一种选型是用用原生的、开源的大数据技术，需要自己搭建；第二种是ODPS。

后来我们选择了利用原生大数据，自己搭建一个大数据平台。因为我们已经有了一定的小积累，并且也想做一个大数据方面的技术沉淀。

在移动互联网时代，用户所有的行为、浏览、记录和收藏等所有的数据，我们都会把它拿下来分析，前段时间阶段性沉淀的东西有多少，是对之前的一个总结。这个数据还能帮助我们进行深度挖掘，之后如何对不同用户分类，做一个精准化的营销定位。

每个公司都会对这些数据进行报表级的展现。我们最开始的数据实现方式是把所有用户的行为数据放到传统的关系型数据库中，利用纯Java应用程序去读这张表。当计算某个指标的时候，还会关联若干张子表。这张主表大概有几千万，其它子表也是百万级甚至千万级的。如果单纯用Java去算的话，还要额外处理多线程。

所以我们用传统的Java纯程序+关系型数据库去处理报表的时候，在存储和计算的性能上会出现问题，以至于报表需求越来越慢。

在这样的大背景下，我们改成了使用大数据去处理这种场景。

技术概览

Hadoop是现在所有大数据计算存储的一个底层概念，后面所有衍生的大数据产品都是在Hadoop的基础上进行衍生的。

这张图是目前大数据平台的架构。

原生的Hadoop应该包含了Hdfs（文件存储）、Yarn（资源调度）和Mapreduce（算法）。

Spark是类似于Mapreduce的一个计算框架，它在很多场景中的性能会比原生的Mapreduce好很多，尤其是迭代计算的时候，会有好几个数量级的提升。

Sqoop是一个数据的迁移工具。

Hive是对底层Hdfs系统的文件抽象出一个类似Mysql的关系型数据库，但大前提是它是在Hadoop这个大的语义下的关系型数据库。

Oozie是一个任务编排和调度的框架。

Hue是大数据的管理后台。

Zookeeper是分布式协调工具。

1.组件分类

基础数据：Mysql，File。基础数据层是游离于大数据之外的概念，它是传统的数据来源。

大数据存储：Hdfs、Hive。大数据存储是最基础的文件存储，在这基础上抽象出一个大数据的关系型数据库。

大数据计算：Mapreduce、Spark、Sqoop。Mapreduce是原生的，Spark是新生的，Sqoop是数据转移的工具。

大数据协调与调度：Yarn、Zookeeper、Oozie。Yarn是原生的，Zookeeper是一个分布式保证文件原子性的工具，Oozie是调度工具。

大数据展现：Hue。Curd的展现层。

2.典型执行流程

最开始说过，我们遇到的问题是，Mysql的表存不下，计算也有问题。在这个场景下要把数据，从Mysql转到大数据，并利用大数据进行计算，最后做一个展现。

它的流程是，首先通过Sqoop把Mysql的数据一次性或是增量的同步到一张Hive表里，用Hive Sql写好查询后，本质上Hive Sql会转化成Mapreduce任务再去执行，最后数据就展现出来了。

很多时候后台的服务Control层会有入口和出口，我们需要把入口和出口的参数都记下来，方便以后排错或做统计方面的应用。

在应用程序里，把这些消息定时写到消息队列中，用Spark定时读消息队列，并把这些读取到的消息按Spark的方式做一个编程。这个任务最终会被丢到Hadoop的底层计算里，然后用Yarn去调度，计算出结果，把这个结果写入Hive，这就完成了一次流式计算。

3.Hue

这里写了一个Hive Sql，与传统Mysql的写法几乎一样。Hive Sql写好以后点执行。它的过程是把Sql首先交给Hive去跑，Hive用自己的Sql解析引擎把这个任务翻译成Mapreduce，Mapreduce再用Yarn跑在Hadoop上，最终把结果跑出来。

4.存储：Hadoop hdfs

HadoopHdfs是基础的存储层。

HadoopHdfs其实只包含了两种类型，一个是Namenode，一个是Datanode。Namenode是一个管理的节点，而datanode只负责数据的存储和冗余。

5.计算：Mapreduce&spark

Hadoop原生的计算框架是Mapreduce，而spark是一个新兴的计算框架，它更快更全面。

6.资源管理器：yarn、Apache、hadoop yarn

资源管理器的架构内包含rescource manager和node manager。Rescource manager是管理节点，node manager是work节点。

把任务丢给rescource manager，它去把任务分发给每个节点，做一些状态的变换，最后把结果通过rescource manager汇总以后，处理完毕交给客户端。

7.hive

hive的架构并不是很复杂，上层是一些用户的API、web页面和命令行。它的核心是执行引擎，把sql翻译成大数据平台可以接受的任务。底层基于存储，它可以存在hdfs上。

8.sqoop

主要用于在hadoop与传统的数据库间进行数据的传递。

9.ooize

大数据任务编排调度。

学习与使用路线

如果想要学习一些大数据相关的东西，我推荐可以先掌握一些基础，然后找一个场景套进技术里，进行快速实践。在快速实践的过程中会发现很多问题需要解决，很多知识需要补充，所以要在实践中前行，在错误中补充。

我的分享到此结束，谢谢大家！

你也许在表格需要做报表面对数据收集和整理，对数据进行筛选和分析，最后挑选出符合自己需要的数据，当Excel表格中存在大量的数据的时候，特别是多工作表分析数据，几千万行的时候，你会怎么办？

也许在数据很多的时候，你就会想到能不能一键操作，将所有的分表数据一次性汇总，能不能按照我们制定的关键字汇总数据，只汇总名称里包含某个关键词的工作表？当然数据的种类也不一致。

我可以肯定的告诉你，当然可以啦！

我们还是看看动画怎实现的吧

PS:需要注意的是程序在执行后，会弹出对一个话框，提醒你输入需要汇总分表表名所包含的关键词，关键词可以不填（保持为空），此时将对所有的分表进行汇总。

附上源代码：

其实代码也是非常的简单的语法堆积出来的，都在最最简单的循环和字典，数组和一些功能代码组合而成，其实VBA真的非常简单。

以上就是今天要和大家分享的技巧，希望对大家有所帮助，欢迎大家帮忙转发，谢谢！

祝各位一天好心情！

Excel中每一个方法都有特定的用途，不是他们没有用处，只是你不了解或者暂时用不着，建议你收藏起来，万一哪天用着呢？

文 | 帆软数据应用研究院 贾强

数据分析平台的搭建从规模上分类，确定企业规模，明确合作点，非常重要。

以服装行业为例，大型企业如波司登，本身的大数据系统架构已经完善，数据分析平台（报表/商业智能软件）在整个系统架构下的角色定位为“工具”更合适，发挥工具易用、高效开发、交互性强，稳定等优点。

中小型企业从成本上考虑，并没有成熟的架构以及大量的投入。对于整合数据，构建数据中心报表系统，我们可以进行合理规划，控制整个项目建设和运维成本，从而能够达成更好的合作。

在时尚业行业中，对于各个分店的有效管理，如何构建合理高效的报表中心变得非常关键。这里从两方面讲述，系统架构和技术实现方式，主要是鞋服行业，其他行业仅供借鉴。

首先是系统架构，从架构上分为分店管理系统（ERP和POS）及数据库、服务器和应用层客户端。系统架构如图：

（１）分店管理系统及数据库。分店使用管理系统管理本店进销存业务及相关管理工作，并定期按需将各个分店数据上传至云端服务器。

（２）服务器。构建服务器集群。数据分散在不同的服务器主机上可以并行存取，提高了数据的存取速度。服务器负责存储分店采集的各种数据，并以这些数据为基础构建数据仓库。再部署帆软数据分析平台，将处理结果给返回客户端，供业务层和决策层使用。

（３）应用层客户端。应用层客户端分为决策和统筹管理两部分。决策层根据所获得的报表、图形和走势图等来支持其决策。设置一个统筹管理的职能部门，统筹各分店统一促销，畅销商品管理和会员行为分析。企业通过云改变了以前处理数据和接入数据的方式，数据更集中，数据一致性更强，数据质量提高，分店之间的联系更紧密更便捷，在这种环境下，企业的决策依据将更准确。

（４）服务器的构建。架构如图，ETL工具通过远程访问。各个分店的服务器完成数据收集的任务，收集的数据是最原始的数据不做处理，先存储在数据中心。数据中心为基础数据库，数据中心集中了所有分店的数据。数据上传完成后继续对数据进行ETL处理，并将处理后的数据存入到数据仓库。数据分析应用程序根据客户端的请求调用数据仓库中的数据进行处理，并将结果返回给请求客户端，同时将常用的分析按计划定期自动分析并将结果保存到预定义分析结果模块中。每个分店和总部的管理层都有接入云的权限，云端数据共享。作为总部，可以监控各个分店的运营情况，作为分店可以及时了解其他分店的运行情况，借鉴经验并制定销售策略。

其次是技术实现方式，包含数据仓库、ETL、数据分析平台。

数据仓库（DataWarehouse，DW）是一个收集、组织、存储和共享历史数据的系统，其中数据ETL工具（选开源工具的话，可以用Kettle）。支持多种类型的数据源，还可以将数据库文件下载到本地进行ETL工作。PDI分为两个步骤，一个叫Transformation，另一个叫job，可以设定这些转换的执行时间和频率，这一点对于数据仓库的自动化更新是很有帮助。

下面聊一聊数据采集与分析

每个分店有各自的分店管理系统及数据库，根据中央服务器要求将需要的数据进行上传。对于零售业来说，需要上传的数据主要包括销售数据、会员数据、商品数据、库存数据、调研数据等。需要预定义所需采集的数据，包括数据的类型、数据结构。对于数据库的数据，数据库名称、表名称、表字段都采取统一格式和名称。对于文本型数据也要统一格式，或以xml方式存储。服务器收集各个分店管理数据库的数据并对每个分店的数据标记以区分。统一标准数据可很大程度地提高数据采集的质量和后续处理效率。

对于除了分店以外的数据源，如商业共享数据平台等，需要根据实际情况设计相应接口和采集方法，帆软数据分析平台内置采集数据功能，可以非常方便根据业务情况定制数据采集模块。

数据的分析工作在按照数据仓库对数据的要求并选择合适的工具对不同类型的数据进行处理，然后保存到数据仓库中。随着时间的推移，数据中心的数据量会不断增加，运用大数据工具是非常有必要的。大数据工具的主要特点是通过服务器集群中的主机并行处理数据，将一个庞大的任务分解为小任务处理。

应用程序部署到云端以后，客户端通过浏览器调用相应的功能，只需将结果返回给客户端，在客户端进行数据分析结果的展现。针对时尚业的数据分析可以包括多个方面，比如：销量分析、客户购买偏好分析、商品关联分析、精准推送服务等。

生产是制造业企业的核心，因此，生产管理也是重要企业的重要内容。而同时，生产管理关系到企业的制造成本，进而关系到企业的成本优势、竞争力与盈利性，也关系到企业产品的质量和企业的品牌声誉。进行生产管理能够让员工负能量少，积极性提高，流失率低，快速建设号项目。实现公司项目多元化。

因此我们提供了一个生产管理数据分析的解决方案便于参考，让您通过鼠标点击和拖拽就能够轻松地掌握生产管理的基础数据查询和生产综合分析，如生产车间分析、生产成本分析、生产产品分析、生产驾驶舱等，进一步体会到生产管理数据分析的妙用。你也可以再利用我们提供的数据自己再尝试性做一些生产管理数据分析的模板。

一、方案内容

本方案将给大家着重分享以下企业生产管理数据分析方面的内容干货：

1.如何快速搭建生产管理数据分析平台？

2.如何让业务部门人员直接基于生产数据快速完成基础数据查询？

3.如何让业务部门人员直接基于生产数据快速完成生产综合分析？

4.如何让业务领导直接基于生产数据快速完成即席数据分析？

5.如何让企业生产管理数据分析成果实现团队协作共享？

二、方案效果及实现说明

1.如何快速搭建生产管理数据分析平台？

这部分工作属于企业IT部门的前期数据准备工作，需要IT部门在FineBI的数据配置-数据连接管理中新建好数据连接，保证数据连接测试成功。然后添加生产管理业务包，将相关数据表加入并且建好立表间关联关系即可（如果是FineIndex类型的业务包需要更新好FineIndex数据）。分配好对应数据权限之后，用户即可直接在浏览器前端来对这些生产管理数据进行即席的多维探索分析。

以本方案为例，如上图所示，我们在生产管理业务包中添加好生产事实表、生产车间维度表、生产品类维度表和生产仓库维度表，并且建立好维度表和事实表之间的数据关联关系。

最后在数据配置-权限配置管理界面中将建立好的生产管理业务包的权限分配给业务部门相关人员，并且在管理系统-用户管理中将对应授权人员加入到BI编辑用户的已授权列表中。

2.如何让业务部门人员直接基于生产数据快速完成基础数据查询？

数据底层搭建完，就可以使用分配好数据权限的账号登录平台，快速新建仪表板做基础数据分析了。

以生产订单查询为例，我们通过拖拽出一张明细表组件，将所需的生产订单信息字段拖拽即可生成生产订单明细。然后添加生产车间、生产产品、流水订单号等常用的过滤控件，即可快速完成一张对生产基础数据查询表。

3.如何让业务部门人员直接基于生产数据快速完成生产综合分析？

在这里，以其中两个模板为例，来展开生产综合分析的篇目。

a.生产车间对比分析

对于制造企业，最常见的生产分析之一就是对于生产车间的对比分析。通过不同车间的生产效率对比，让每个车间能都看到自己的KPI（此模板中指生产数量、同期数量及增长率）的对比情况，有助于建立一套自上而下的管理系统,明确各部门各人员的责任，从而有利于统一部署,分工协作、团结一致的完成生产工作，改变了过去单一行动、责任不明的状态,有助于整体联动的管理体系。

下方的明细表是我们通常在做基础信息分析时最传统和熟悉的报表展现。我们在做分析时往往可以通过一张明细表先把货物生产的基础属性拖拉出来，然后对其中所需要的字段进行进一步需要的加工处理。如对增长率在-10%~0的指标进行绿色预警，在0%~10%的指标进行红色预警，研究不同车间的占比组成，以及不同品类的车间贡献因子等。

b.生产驾驶舱

这里以化工企业的生产驾驶舱为例。生产驾驶舱（看板）是管理可视化的一种表现形式，即对数据、情报等的状况一目了然地表现，主要是对于管理项目、特别是情报进行的透明化管理活动。通过各种形式如标语/现况板/图表/电子屏等把文件上、脑子里或现场等隐藏的情报揭示出来，以便任何人都可以及时掌握管理现状和必要的情报，从而能够快速制定并实施应对措施。

4.如何让业务领导直接基于生产数据快速完成即席数据分析？

除了以上给大家介绍的制作一些企业常用的生产管理数据分析之外，FineBI最大的特性就是随时满足业务人员或者企业领导的数据即席分析需求了，通过轻松的托拖拽拽操作，就能生成丰富多样的数据分析统计结果。

可以看到轻松拖拽就可以马上完成可视化，实现快速分析。

5.如何让企业生产管理数据分析成果实现团队协作共享？

企业的各项工作，主要由各部门团队分工协作完成，彼此之间需要很好地进行沟通和配合，那么FineBI是如何帮助企业将生产管理数据分析成果实现团队协作共享的呢？

以上文所述的生产车间对比分析为例，那么通过FineBI可以非常便捷地将它分享给相关部门或者指定人员的。

例如这边想把它分享给领导，那么可以在FineBI的仪表板中将做好的生产车间对比分析模板点击分享给对应的Tom，然后点击确定即可。这样一来，对应的Tom登录之后就完全能够使用该模板。

最后，具体的实操，大家可以下载FineBI尝试下。

作为企业Boss们，每天、每周、每月......不断的查看报表已经习以为常，没错，管理的秘诀是让数据说话（合作请加Acewill1），但看到这样的报表，企业Boss们简直无言以对，直呼：心好累！！！

比如这张报表↓

还有这张报表↓

报表一堆数字，

看不出营业趋势

！

各个部门的不同报表，

数据都无法汇总、统一分析

开发一张定制报表

周期长、造价高，无法复用，且数据延迟

人工录入，

数据准确性无法保证

不能实现

移动端查看报表

大数据时代竞争的关键是什么？

快！精！准！

所以，企业Boss们的内心OS，你真的能读懂多少？

前方高能

奥琦玮大数据分析平台上线啦！

让数据说话

，奥琦玮大数据分析平台更懂企业大佬！

奥琦玮大数据分析平台，围绕以消费者的消费偏好、原材料的损耗规律、资金流转的过程、人力的排版体系四类数据，致力于帮助餐饮连锁企业解决数据分析的难题。

产品优势

1F

报表定制开发费用0元

定制开发0费用，用报表更

省心、更无忧

，免去费用顾虑。

2F

实时数据呈现

数据可视化，样式灵活，拖拽鼠标即可生成自定义报表。

0.5小时内

完成

以往2、3天

的定制开发报表，且匹配好数据后就自动实时展现。

3F

异常数据报警

定义数据指标，

系统进行监控

，达到阈值自动发送报警。

4

跨系统数据汇总

跨系统

连接企业内部所有数据

，并结合相关业务线将其整理成

清晰移动的图表

呈现移动端查看报表，帮助管理层监控总部和门店运营的整体情况，各部门各项指标及目标达成率。

5

移动端

不受时空、地域限制

，随时随地查看报表，方便快捷！

报表呈现展示

数据展示，灵活多样↓

科学算法，数据趋势更清晰↓

可以

全局筛选↓

多表联动

↓

多层钻取↓

对比分析↓

还有

酷炫的动态轨迹

展示↓

移动端报表

不仅以此，除

数据可视化功能

外，奥琦玮大数据分析平台还提供专注

餐饮的数据分析、数据挖掘及预测

：

消费者的消费偏好：

分析谁，在哪儿，什么时间，吃了什么，多少钱。

原材料的损耗：

用什么样的原材料在不改变客户口味的情况下做菜品创新。

人力排班数据：

分析用工合理性或者人员配比合理性。

资金流转的过程：

合理预估资金使用账期关系。

用营业额数据趋势设计开台摆台，用菜品点击设计菜单，用营销活动分析选择合作平台

等等。

奥琦玮大数据分析平台在手，相当于拥有了一支私人定制报表团队：

一位

数据科学家

、一位

数据处理工程师

、一名

专业餐饮行业顾问

和一位

数据挖掘大拿

！！！！

奥琦玮大数据分析平台，

360度全方位

为餐饮连锁企业解决数据分析难题！

百度竞价员在日常工作中，会用到很多数据，尤其是在向领导汇报、总结账户情况的时候，需要用到许多不同的数据报表，很多竞价新手可能对此还不够清楚，本文罗列出常用汇报用数据报表及其来源工具。

数据报告

1.每日竞价日常数据报表

2.每日竞价搜索词及对话词登记-------<商务通.CSV>

3.每日IIS日志和CSV竞价记录--------

4.每日本地访客比例统计--------

5.每日商务通有效对话的备注（搜索词.竞价后缀.客人类别）--------<商务通.SDT.IIS>

6.竞价每日时段消费数据--------<百度统计>

7.竞价星期消费数据--------<百度后台数据报告>

8.每周各计划关键词咨询成本消费数据--------<百度竞价后台.商务通>

9.每周每月账户计划咨询成本消费数据--------<百度竞价后台.商务通>

10.每周每月单元计划咨询成本消费数据--------<百度竞价后台.商务通>

11.每月正常.异常竞价数据总结报告--------<百度竞价后台>

12.每月消费前100.前200.前500关键词报告--------<百度推广助手>

13.统计每周每月商务通访客来源及有效对话来源渠道数量--------<商务通>

14.每周每月移动设备竞价咨询成本--------<百度竞价后台>

15.每周每月高展现.高点击.高消费.点击均价报告--------<百度竞价后台>

16.每月每周关键词访问URL数据报告--------<商务通>

17.每周每月商务通对话时间段数据--------<商务通>

18.每周每月本地对话时间段数据--------<商务通>

19.每周每月各病种咨询对话数量--------<商务通>

20.每周每月各关键词咨询未转化比例数据--------<商务通>

上文是百度竞价员在日常工作中可能会用到的数据报表，并不是说这就是最全的，或者说是每个都会用到。大家可以在工作中选择自己的需要选择提交不同的报表。

文章转载自：http://fingerwom/post/991.html

如果你作为一名SEMer，每天80%的工作时间是打开后台，监控核心关键词的排名，每天去调整价格，调整移动比例，否定一些垃圾流量的话，那么我会觉得，你与一名优秀的SEMer人员之间，还有很大的提升空间。

因为一名优秀的SEMer，每天应该有80%的工作时间在做数据分析，20%的工作时间是最后将数据分析出的结果进行后台操作。有人问过我，你认为SEM推广的核心是什么？我以多年的经验总结出两个因素：“行业市场分析”与“数据分析”。

数据分析基于推广数据的筛选与总结。数据报表也分为两种：一种是 后台数据报表（账户报告、关键词报告、地域数据报告、搜索词数据报告等等），这些报表可以后台直接下载筛选使用；

还有一种是 基于第三方统计平台与代码标记的数据报表（关键词跟踪报表、url转化报表、各平台流量占比数据报表等等）。接下来我就给大家分享一下如何筛选适合自己推广数据报表以及如何筛选数据有价值信息。

一、账户报告

数据分析重要程度：★★★★

阐述：账户报告是推广数据分析最基本数据报告，账户报告可以清楚显示出账户推广的展现量、点击量、消费量、点击率、平均点击价格。做日报表或周报表可以做出环比数据值，可以清楚分析整体账户推广情况。

要根据自己账户推广设定限值，当环比数据达到限值得时候，就要重点关注分析。即使环比数据是正向发展，也可以分析出来原因，这样也可以明确效果提升的原因。

例如：推广账户数据环比展现量限值5%，既展现量环比增长5%还是降低5%都要明确分析，如发现今天账户推广数据环比昨天降低7%，既触发限值，结合实际调整操作可分析得知，昨天核心词有调整匹配方式，有4%的长尾关键词昨日没有置左展现，所以根据数据可以清楚知道账户环比降低原因。

根据原因作出相应正向调整即可。而且账户报告，每天的PC与移动的消费占比也一定重视，账户的效果波动可能也多数与PC与移动消费占比有关。

二、搜索词报告

数据分析重要程度：★★★★★

阐述：搜索词报告是作为数据分析与sem优化最为重要的数据报告之一。推广流量精准度与否都可以利用这个搜索词报告一目了然。

但是搜索词报告大部分人都是基于后台搜索词报告直接进行否词操作，而且有很多人都是看见一个不相关的搜索词马上否定掉。最后会发现我们计划否词数或者单元否词数不够用了。

其实 对于搜索词报告我们一般都是将每天搜索词报告做一份excel透视报表，可以透视清楚哪些搜索词垃圾流量触发点击数最多的，超过2次以上点击垃圾流量进行否定处理。触发一次搜索垃圾流量一周集中累计再集中做出透视数据分析，最后看出那些单次点击一周内累计垃圾流量多次触发的搜索词再进行否定关键词。

搜索词报告另外一个数据作用，将有检索搜索词有效添加到投放关键词中。这个也是拓展有效关键词最有效的数据支持。

三、关键词报告

数据分析重要程度：★★★★★

阐述：关键词是sem推广投放核心，关键词数据报告也是所有关键词报告数据分析的最重要的参考数据。但是关键词报告一定是要结合其他数据报告一起分析，才能筛选出我们有效的数据，下面就给大家分析几种比较实用的数据报告结合分析组合。

1）关键词报告与搜索词报告：根据搜索词报告可以 拓展有检索关键词；其次搜索词报告匹配出垃圾流量，不一定要做否定关键词，有部分单次点击垃圾搜索词可以结合关键词报告数据，对于关键词进行匹配方式调整。

2）关键词报告与咨询转化报表：每天结合咨询平台中有效咨询所触发的关键词报表与搜索词报表进行 核算每个关键词转化成本，这样我们可以集中投放高转化关键词，控制高消费低转化关键词消费。

3）关键词报告与账户报告：关键词报告与账户报告关系是包含于关系。即账户数据异常要排查到关键词报表中关键词，所以 账户报告要与关键词报告对应查看与分析。

四、地域报告数据

数据分析重要程度：★★★

阐述：地域数据报表主要作用是明确各地域消费占比与各个地域推广数据。如果对于此数据调整，可以结合后端转化数据进行调整。

调整各个地域消费占比依据：

1、根据后端转化效果进行地域消费占比调整；

2、根据业务地域需求度，进行地域消费占比调整。

五、url跟踪转化代码数据

数据分析重要程度：★★★★★

阐述：url跟踪转化代码数据是定制型数据报表，适用于多平台推广及转化统计。

这类代码与url部署后数据优点：

1、各个平台转化有区分；

2、url部署有利于监控着落页表现；

3、关键词转化id可以直接统计转化词。

4、如果推广有项目区分，可以另行标记区分。

这样统计出来数据可以区分：

1、关键词转化监控

2、地域转化监控

3、项目转化监控

4、平台推广转化

最后，想说跟大家分享了这些比较常用数据报表与数据的分析方式，只是比较 有代表性与实用性的数据报表。SEM 数据分析还有很多需要大家深入研究与专研的。我个人也给予大家几点 SEM 数据分析注意事项：

1、所有数据报表要坚持多维度相结合进行分析处理；

2、数据分析一定要作为日常优化流程，不要账户出现问题才进行数据分析排查问题，日数据异常要积极分析与调整，才能让账户推广效果稳定；

3、数据筛选是数据分析的基础，大量的数据要筛选出有效的价值，依据有大量数据的分类、筛选、过滤等环节进行数据提炼，这个最好要有良好的Excel技能支撑才会高效的进行。

数据分析是我们SEM推广调整的支撑，如果你是一名好的数据分析师，那么还会玩转不了SEM推广吗？

|来源：艾奇学院

百家号-【袁帅数据分析运营】：袁帅，互联网数据分析运营实践者，会点网事业合伙人，运营负责人。CEAC国家信息化计算机教育认证：网络营销师，SEM搜索引擎营销师，SEO工程师。数据分析师，永洪数据科学研究院MVP。中国电子商务协会认证：中国电子商务职业经理人，畅销书《互联网销售宝典》联合出品人之一。中国国际贸易促进委员会:今日会展会员联盟VIP个人会员，全经联园区委秘书处成员，中国低碳智慧园区联盟理事，周五咖啡媒体人俱乐部发起合伙人。百度VIP认证站长，百度文库认证作者，百度经验签约作者，百家号/一点资讯/大鱼号/搜狐号/头条号/知乎专栏/艾瑞专栏等媒体平台入驻作者，互联网数据官（iCDO）原创作者，互联网营销官CMO原创作者。

20世纪30年代，宝 洁诞生了第一位产品经理，全权负责一款肥皂的生产、销售以及全流程的成功。

80多年后，随着互联网的蓬勃发展，出现了越来越多的产品以及和产品相关的各种岗位。；围绕产品的思维与工作方式被越来越多的人所认可，产品成功的思维模型被搬上了课堂。

数据报表，作为一个链接IT部门和业务的中间件，承担着信息沟通的作用：数据展示业务信息，为业务决策提供依据；业务产生数据，最终以数据报表的方式呈现。

同样，我们也可以用产品工作的方式来复盘一下搭建报表系统的整个流程，并且和产品的上线流程做一个对比。

产品的上线流程

市场分析——>竞争分析用户分析——>需求（场景）分析——>功能设计——>开发——>发布——>运营——>迭代

互联网产品初期，在初次面向市场的时候，产品往往是一个MVP（最小可用单元），通过种子用户的反馈，分析使用数据，验证产品的可用性，快速迭代，逐渐修正与完善。

报表系统的上线流程

同行业报表项目参考（行业咨询）——>业务部门需求采集分析——>报表设计——>上线——>end

绝大多数的企业在报表上线之后，都忽视了一个关键动作——运营，以致于IT部门陷入了一个怪圈，疲于应付业务人员的需求，天天加班工作却得不到认可。实际上，系统上线不等于终点，被大量使用与认可才是成功的第一步！

产品如何做运营

1、冷启动

冷启动是什么？冷启动是一个产品刚诞生的一个阶段，此阶段的产品面临着以下问题：

缺少用户及相关资源。产品模式未成熟，能否满足用户，迎合市场趋势仍是未知数

因此，在此阶段的主要目标的作用有：

根据数据分析，验证产品是否满足用户需求验证是否能符合市场趋势验证商业模式是否成立

互联网产品怎么做？

种子用户，聚拢一批符合产品目标人群的用户，获取真实的使用数据MVP（最小可用单元）验证，判断产品是否满足了目标用户的最小可用需求存失分析，依据用户的真实使用数据，分析留存的原因（建立产品优势），放弃部分的流失用户，修正产品的定位。

2、高增长

高增长是指在产品通过市场验证，处于快速发展的阶段，通过运营实现产品用户与价值的持续增长

互联网产品怎么做？

持续推广与曝光精细化运营，针对人群、场景、流程做差异化细分运营的运营策略，提升运营动作的效率最大化基于用户数据分析的产品不断迭代优化

报表系统如何运营

帆软的一家互联网行业客户告诉我们，为了让报表系统被业务部门认可，IT部门在上线报表系统的初期以及推广期主要做了4件事：

1、冷启动阶段

a.寻找种子用户

优先挑选了营运部门的管理层作为种子用户，依据需求为其定制了PC、移动端两张营运报表，报表上线后不断关注其访问量趋势，发现移动端模板的活跃度更高，并且用户对模板的评价非常好，随着口碑的传播，分公司的营运部门也提出了类似的需求，IT部门开始重新考量整个营运部门的需求，为其系统化的搭建报表应用

b.简单的用户数据分析

这个阶段的用户数量和模板数量都还处于一个比较小的数量级，只需要通过用户的访问数据，验证报表是否满足种子用户的需求

2、高增长阶段

a.从三个维度和两类应用场景分析用户的使用数据，关注性能与用户体验，促使报表系统不断优化

三个维度：

1、报表系统的整体访问趋势

——把控报表系统的整体运营状态，研究用户的访问习惯，合理分配资源

2、每一位业务人员的访问趋势

——充分掌握哪些业务人员的数据诉求更为强烈，那他们的数据需求被响应的优先级将会更高；那些一个劲提需求，却没有访问量的部门，我们需要重新核算成本，降低他们的需

求优先级

3、每一张报表的访问趋势与性能体验

——每一张报表都是一个产品，同样也有完整的生命周期，不被需求的报表要及时的淘汰，降低运维成本；访问量火热的报表要纳入优化迭代，提升用户访问感知，深挖需求，扩充业务场景

两类应用场景：

数据大屏/移动端报表

——什么样的数据分析场景更加在哪类终端上访问量更高？我们是否需要为其专门打造一张移动端的模板，更美观的样式，更人性化的交互效果？

b.主动推送与推广

——内容推广

伴随着报表系统的不断迭代，每一次为业务人员扩充的应用场景需要通过渠道来推广与宣传，促进用户的使用率，这个渠道可以是企业内部的宣发平台，也可以通过C端市场中的新媒体渠道（微信公众号等）

——报表推送

业务人员常用的报表可以通过帆软提供的推送功能直接触达最终用户，培养其对报表的使用粘性

帆软能提供哪些帮助

1、固化的用户行为数据分析

FS平台为用户提供了常用的运营数据统计功能

访问量数据：包含平台访问次数、模板访问次数、用户数等内容模板热度：不同模板在周期时间内的访问总数用户行为：不同用户在周期时间内的访问总数，并且区分统计出查询、导出、打印等不同的用户行为性能监控：不同模板的平均响应时间、平均内存等内容

注：模板热度、用户行为、性能监控数据统计需要安装“高级系统监控”插件

借助于常用的运营数据统计，我们可以对报表系统做一个整体的评估，对整体的访问量、模板热度、模板性能做到心中有数

2、深入的用户行为数据分析

作为数据分析的先锋，只要有数据源，没有IT做不了的运营数据分析。FR会将用户的访问数据存储至logdb数据库当中，可以直接通过设计器链接数据库定制运营所需分析模板

我们需要关注logdb数据库中的两张表与一个字段

表：PUBLIC.FR_EXERECORD

该数据表是报表正确执行日志表，即如果报表执行成功，将会在该表中添加一条记录，并在相应字段中填写其对应的信息记录

表：PUBLIC.FR_FSRECORD

该数据表是为了统计一段时间内，系统的使用情况，用于管理员查看在线用户数及用户系统使用情况，因此用户登录决策系统时，将登录信息保存入库，将会在该表中添加一条记录，并在相应字段中填写其对应的信息记录

字段：BROWZER

该字段记录了客户端访问报表所用的浏览器版本以及移动端信息terminal：包含终端类型、app还是h5等信息。例如：“terminal”：{"OS"："app"，"type"："mobile"}

借助于以上内容，我们就可以定制出自己所需的数据分析报表，重新把控报表系统的运营情况，为后续的迭代提供指引

3、主动推送与推广

帆软为每一种报表使用方式与场景都提供了消息推送的服务，包括了：平台消息推送、微信/钉钉消息推送、APP推送、邮件推送等

文|小天文章源自：起点学院学习联盟

在小白们眼里，大神们的数据分析报表基本上是这样的……

要么就是像这样的……

而大部分人，差不多是这样的……

啊多么痛的领悟……

怎样才能又快又好地做出一份高颜值的数据报表呢？带着立志要把这样的图表从癞蛤蟆脱胎成白天鹅的坚定和悲壮，这里搜集了5个笔者之前用过，用户评价不错，用起来还顺手的可视化数据平台。

话不多说，直接上正文。如果你也有推荐的平台，欢迎留言分享~

-1-Echarts

没想到这个第一次用就惊艳到我的产品竟然是国产，而且还来自百度，简直堪称良心。先上几张用Echarts制作的效果图。

貌似很多小伙伴喜欢用Echarts制作地图类的可视化效果……毕竟酷炫……

除了这些惊艳的地图，Echarts同样可以运用于散点图、折线图、柱状图等这些常用的图表的制作。

如果你需要展示实时变化的数据，相信Echarts里的动态接口会对你十分有帮助。

Echarts的优点在于，文件体积比较小，打包的方式灵活，可以自由选择你需要的图表和组件。而且图表在移动端有良好的自适应效果，还有专为移动端打造的交互体验。

-2-Highcharts

这个也是很多小伙伴在使用的一个平台。完全不用担心找不到参考的样图，因为已经有很多中国区的用户在上面更新并维护着很多实例，你往往能从这些丰富的例子找到类似的表达样图。

它的图表类型自然也是很丰富啦，线图、柱形图、饼图、散点图、仪表图、雷达图、热力图、混合图等类型的图表都可以制作，也可以制作实时更新的曲线图。

Highcharts对非商用免费，对于个人网站，学校网站和非盈利机构，可以不经过授权直接使用Highcharts系列软件。Highcharts还有一个好处在于，它完全基于HTML5技术，不需要安装任何插件，也不需要配置PHP、Java等运行环境，只需要两个JS文件即可使用。

-3-帆软报表（FineReport）

FineReport的可视化效果虽然没有上面两种那么酷炫，因为定位是报表软件。但是赢在操作相当简易，不会上面那些复杂的代码也没关系。它采用类似于Excel的编辑器，只需要点选拖拽等操作，拖动数据列绑定至对应单元格，简单设置就可以在web端查看数据展示。

目前，它有普通报表、聚合报表和决策报表三类报表设计模式，基本可以满足企业各类日常数据分析的情景需求。

数据的可视化与交互效果也很不错。最牛逼的可以做高大上的动态报表

还有一个比较强大的地方，就是它的数据填报。区别于传统意义上只能做数据展示的报表，FineReport允许用户对数据库的增删改。而且，它填报报表的流程非常简单，只要四步：报表设计、控件添加、设置填报属性和填报录入，这样，填报工作就能轻松搞定啦~

-4-数说立方

数说立方是大数据应用与服务提供商“数说故事”旗下一款面向数据分析师的在线商业智能产品。在数据的可视化呈现方面，操作比较简便，即使是非数据分析的专业人员，也能轻松实现。

同时，它的实时数据可视化引擎也能让使用者可以第一时间获得数据的可视化反馈，直观地了解到数据的变化情况。

-5-PowerBI

PowerBI是微软发布的一款可视化BI工具，类似Excel升级版的大表哥。一改以往excel需要数据透视表，写大量函数的复杂特点，这款工具拖拖拽拽操作起来十分简单。

数据平台的建设可以当做一个产品来设计。从广义上来讲，所有以数据驱动为核心的都可以称为数据产品（如数据报表平台，DMP，BI平台），从狭义上来讲，就是公司内部的数据平台。今天我们要讨论的，主要是在公司内部搭建数据平台。

公司的内部数据平台，主要是给各业务提供数据处理、分析、展示，供内部所有部门人员使用的，涉及数据的收集（填报）、数据的整合、业务报表制作、业务员数据分析以及可视化数据展示，目的是让公司内部的所有业务都能通过数据来驱动和辅助决策。简单点讲就是通过数据平台来驱动公司内部的数据化运营。

那么如何设计符合企业实情并能解决实际问题的数据平台呢？

1. 平台建设主导人需要对每一块业务需求有深刻的了解，知道每个业务部门想要看什么样的数据，需要什么样的分析报表；这些数据是否现在就可以获取到，是否需要收集；业务部门通过这些数据分析，是如何推进和改善业务，是否有提升的价值意义。

2. 平台的设计需要根据业务的要求设计符合使用者需要的内容，产品要有层级和结构。如果设计的一张数据报表既要满足管理层的需求又要满足一线业务人员的需要，那么这样的数据产品体验很大可能是比较差的。因为领导和业务人员的关注点不一样，看数据的视角也不一样。领导往往需要一些能帮助把握大方向的关键指标，并且希望知道这些指标之后的问题是什么？原因是什么？所以给领导设计的报表需要直观易懂，并且能够基于这些指标的一场定位到问题。而业务人员更在乎业务的执行，关注的数据往往粒度很细，需要知道各项指标的明细。

领导关注的报表（FineReport制作）

销售领导关注的指标明细（FineReport制作）

3. 数据平台一定要注意数据质量、规范、统一。因为数据平台是面向所有业务的，怎么保证公司的所有部门人员对于数据的理解是一致的，这点特别难。（比如服装行业的“断码”，从领导层来讲，公司仓储的服装全部尺码如果不完整就是断码；从仓库的仓管员角度来讲，仓库内的服装尺码不全就是断码；从门店的业务员角度来讲，客户需要的尺码当前门店无货就是断码）。公司的业务系统各有不同，数据口径不一，数据孤岛问题，导致数据的质量和结构也千差万别，越是这样，数据仓库的数据建设就显得尤为重要。平台的数据质量依赖于数据仓库底层的数据模型，所以一个好的数据仓库很大程度上决定了数据平台的数据质量。

4. 工具选型上，有报表平台、BI。报表平台适合构建基础的规范化的数据平台，从明细报表（表格类）的，项目档案，文件报备，数据填报，数据报表，业务主题分析，文中的所有demo就是用FineReport制作，侧重于展示和报表管理。BI侧重于分析，拿到数据可以自己拖拽维度来分析，不同于报表受模板框架的限制，涵盖简单的明细报表、分析报表和主题分析，制作要简单很多，大数据量的处理性能也强劲很多，代表：FineBI、Tableau.

下面我们就从实战的角度来加以阐述。

某公司是一家电商公司，那么该公司的各部门需要看哪些数据呢？首先收集日常常用的数据指标，哪些是经常要查询的，哪些是要日常填报的，这些在过往的经营中都有备案，好收集。这就构成了日常的基础查询类报表，这类报表最占大头。

其次，我们可以观察一下各部门的KPI是什么？下放到团队以及个人的KPI是什么？是否能以具体的数字来量化？如果对负责支持的部门的KPI不了解，就去寻求部门领导帮助（使用者最懂要什么），不落实指标如何能设计出好的数据报表？通常粗略的，例如采购部门的KPI基本就是销售额、订单数、销售毛利润、采购成本；运营部门的KPI就是新老用户述、留存率、复购率、用户流失、转化率，市场部门的KPI就是PV/UV、新客数，这就构成了各部门日常管理的报表。

那么知道各个部门的核心KPI后，下一步就是针对一些特定场景的主题报表。主题报表往往是记录某一事件，其中的指标都是相互关联的。

比如，我希望知道这个月我的绩效完成的怎么样？在团队内排名是提升还是下降？每个人的绩效结果明细是怎样的？——这就构成了日常考核报表。

又比如在分析产品时，需要重点关注某些产品的相对市场份额和市场增长率，则要建立波士顿矩阵分析，以便让资源有效地分配到合理的产品结构中（当然还有其他分析角度）——这就是品类分析。

产品分析（FineReport制作）

再从业务分析和使用场景入手，拿采购部门的小王来说，他是怎样看数据的呢？

每天早上，我希望知道昨天的销售情况怎么样？所以这时候应该设计一张基础查询报表给到他，这张数据报表应该具有以下功能和内容：

1.能够查看昨天以及过去各时段的数据；能够按照产品、地域来统计；能够与过往的平均值做比较，看看是不是某区域某产品的趋势上有大的变化，是不是广告投放，活动推广带来的，影响大不大。其次，每个月，每季度的数据是多少，能够选定时间段自动展示。

请点击此处输入图片描述

2. 指标越丰富越好，如果销售额下降了，看看是不是订单数下降了，订单数没变是不是客单价的问题，是由于商品结构的原因还是活动门槛调整导致的。

3. 数据分析的能够下达的粒度越细越好。比如数据粒度可以从全国下钻到省份，从省份下钻到城市，这样交易额下降了就能知道是哪个省哪个城市出了问题？就能针对性的解决。

请点击此处输入图片描述

经过以上几个步骤，即可形成平台雏形，形成规划文档。但一个数据平台，无论前期规划得多么丰富，也不可能一蹴而就。公司的业务在不断变化，分析的内容也越来越丰富，在这过程中总需要不断磨合和调整，只有不断完善之后，才能形成一个更加量身定制的实用平台。