谁能想到，贸易战却成了闪电战~

这一波分析师们，没被打脸。

因为，本周90%行业的周报主题都是：贸易战对XX行业影响几何？

他们的答案，基本都是没影响！

如果你把它当成段子一笑而过，那可能会错过很多行研干货。

在这些一份份关于贸易战的研报点评中，除了观点外，分析师罗列的行业进出口真实情况、行业内国内外竞争环境、板块内上市公司出口占比等统计数据与图表，都是难得的研究干货。脱水君今天来一一罗列出来，这些更详实更细致的数据才是我们真正要挖掘和收藏的好东西。

【计算机】

贸易战对计算机板块利大于弊，再次确认计算机将是18年投资主线（天风证券）

贸易战整体利好计算机行业。

多家行业分析师普遍认为，目前A股计算机公司业务主要在国内政府机构，海外占比低；相反，贸易摩擦反而会坚定国家在高科技领域国产的决心和制造业升级的决心，网络安全、自主可控、工业物联网的推进有望加速。

例如天风证券计算机团队梳理指出：

计算机板块（中信计算机指数加上科大讯飞、上海钢联、生意宝三家公司）的绝大多数公司海外收入占比不超过营业收入的30%，且以美国为主要海外收入来源地的公司更少。可以说在此次贸易战中，计算机行业内公司的当期业绩基本不受到影响。相反，作为软件产品贸易净流入国家，全球形势趋严的情况下，国产软件可能受到海外供给不足和内部国家意志的双重刺激，尤其是偏底层的芯片、操作系统等国产化重点目标，有望迎来真实需求的爆发。

【通信】

中美贸易战对5G等信息产业的影响，密切关注这7家公司（海通证券）

冲击较大的行业之一。

海通通信团队从定量、定性两个角度来梳理了一遍整个通信板块标的：

定量：A股通信行业上市企业对美国出口2017年仅23亿美元、占美国贸易战涉及高科技产品规模仅3.8%影响小；密切关注对北美市场依存度及盈利影响相对较高的7家通信上市企业；定性：中美信息产业关系是二十年全球产业链分工结果，国内信息产业对美市场依存度低，但上游供应链涉及高速光电器件、射频部件、高端通讯芯片及CPU、存储芯片等对美国依存度高。

1）美国拟对中国征税领域的“新一代信息技术”范畴

2）新一代信息技术各领域中国对美依存度与中、美及其他国家代表性企业

3）密切关注这7家公司

海通证券统计北美出口业绩对A股重点通信行业上市企业的影响，重点关注A/B两类共7家企业。

【轻工】

关注中美贸易战的错杀机会 （中银证券）

轻工类产品目前尚不在适合此项关税的行业名单内。

中银证券统计了出口美国占比超过10%的公司，总共有24家，其中10家是家具行业，其余较多的是家居日用品以及陶瓷等行业。美国是中国家具出口第一大目标国家，同时中国也是美国家具主要进口国，国内企业出口美国多数以OEM、ODM为主，不涉及知识产权争端问题，后续被纳入征税的风险较低。

对于造纸行业，原材料依赖进口，木浆65%和废纸40%均需进口，美国是中国的第二大针叶浆进口国，同时还提供了45%的废纸来源。

如果贸易战升级，对于美废进口是不利的，政府控制洋垃圾的决心已定，中国又是美国最大的废纸出口国，新的废纸环控标准已于3月初实施，后续在海关执行力度上趋严是确定。2017年中国从美国进口废纸约1170万吨，进口政策对于废纸供应影响重大。从需求上看，包装用纸有20%左右比重随出口商品出国，如果贸易战升级，将对出口需求产生压制，进而影响包装用纸需求，但影响比重较小。

【传媒】

贸易战与传媒无关，板块最大的海外业务地区是东南亚（天风证券）

中美贸易摩擦暂与传媒行业无关，从长期看传媒内容行业如游戏、影视的贸易（尤其中国出口海外）并不是贸易摩擦的重点区域，制造、产权、数据安全也许政治敏感，但娱乐内容至少对美方还没那么大影响。

天风证券梳理了传媒公司海外收入及占比，以及重点业务所在地区仅供参考，美国比例偏低，海外主要是东南亚地区。

来看传媒板块的海外业务数据，可以说是很全面了~

【农业】

中美贸易战下的农业投资全梳理（兴业证券）

直接上，核心观点：

①中美贸易摩擦升级，有对美贸易业务的农业公司受主题催化，如国投中鲁、宏辉果蔬、朗源股份、天宝食品等。②猪肉进口关税提升对国内供需格局实际影响较小，养猪股主题受益。美国猪肉占国内消费仅约0.2%，且当前国内猪价低，提税对供需格局实际影响有限。养猪股牧原股份、温氏股份、正邦科技、天邦股份等主题受益。③美国禽类进口仍在封关，贸易摩擦对板块情绪有正向催化，白鸡上市公司主题受益。自2015年美国暴发禽流感至今，中国对美国禽类产品保持封关，贸易摩擦降低开关可能，巩固国内低供应，提升白鸡行情景气预期。④大豆、豆粕、豆油价格看好，包括东凌国际、京粮控股、道道全、西王食品等油脂相关板块标的，主题标的哈高科（约10%大豆业务）、深深宝（深圳粮食集团借壳）受益。贸易摩擦引发从美国进口大豆关税上调的预期，如兑现国内大豆供给将边际下降，产业链相关产品价格看涨。此外，由于豆油、植物油等油种存在消费替代，油脂板块整体景气有望回升。⑤贸易摩擦或致中国重视提升农产品竞争力，不排除未来发展转基因种业的可能。种企受益，优选品种最多、技术领先且有转基因储备的隆平高科。⑥水果、干果和坚果，进口税提升会导致进口原材料成本提升。大部分品种可能从其他国家寻找替代，但如开心果、蔓越莓等美国产量占比较大的品种国内或面临成本压力。成本变化普遍会传导给下游，对上市公司暂无明显利空。相关标的宏辉果蔬（进出口果蔬）、朗源股份受贸易战主题催化。

⑦改性乙醇方面，关税增加挤压套利空间，利好国内乙醇厂商。相关标的中粮生化、龙力生物主题受益。

此外，中信证券特别提及，如果贸易争端打出“大豆”牌（但大豆涉及两国及全球的因素很复杂，只有贸易战升级到最极端的情况，才会打出“大豆”这张牌），三类企业有望受益：

①油脂压榨企业：短期来看，如果贸易争端升级，大豆产业链价格有望相应提升，利好油脂压榨行业，尤其是主要依托有南美采购的企业；②农垦类企业：从国家粮食安全的角度来看，预计农垦类企业在国产大豆的种植上将会进一步加强，有望充分受益于大豆价格上涨，甚至有望享受政策红利；③拥有转基因大豆技术的企业，如大北农：作为国内自主研发转基因技术的领头羊，大北农近年来已积极在海外推广其转基因大豆性状。根据我们的草根调研，大北农已先后在阿根廷、巴西分别成立了合资公司，用于其转基因大豆性状的商业化。大北农在阿根廷的转基因大豆性状有望于今年获批种植许可，有望迅速商业化。而阿根廷和巴西的转基因大豆种子市场规模分别高达8.4亿美金、18亿美金，大北农的转基因大豆性状一旦商业化，获利将大为可观。

【电子】

中美贸易摩擦解读之电子：原来影响没那么大！（光大证券）

我们简单的意识里认为，电子产业出口金额大，行业美元收入占比高。因此美国打贸易战提高税收，对电子类上市公司影响会很大。

但光大证券电子团队指出，普通投资者可能都忽略一个细节，那就是国内很多公司现实经营中很多产品都是发往保税区的，公司和客户之间的结算采用美元结算，从而导致了美元占比高。

而实际上，这笔交易发生在国内，没有进入美国关境，美国自然是无法收税的，应该也就不会有直接影响。

此外，大家关注的美国会不会对苹果提高关税？光大证券的两个观点十分鲜明。

中信证券这篇研报中的，电子行业外销比例数据更全一些~

【纺织服装】

中美贸易摩擦对纺织制造龙头的影响有限 （中信建投）

美国是我国纺织品服装最大的出口市场，继2016年我国对美出口额首次下降后，2017年再度恢复增长，占我国纺织服装产品出口总额的17%。

“301”调查主要针对高新技术行业知识产权侵犯的问题，从目前看，纺织服装行业并非此次贸易战的焦点，因此波及到纺织服装行业的可能性比较低。

纺织服装行业属于劳动密集型行业，也是自由竞争市场，美国纺企会选择向成本更低的转移，就如目前中国正在向成本更有优势的东南亚转移相似，目前美国服装产业早已经实现向中国等发展中国家转移的过程，产业逆向转回的概率低。

下面这两张图表总结了纺织服装板块公司的对外营收数据，收藏备用。上市公司方面，华孚时尚、联发股份、孚日股份等对美出口收入规模较大，都在8亿元以上；对美收入占营收比较大的公司有新华锦、嘉麟杰、华纺股份等都达到25%以上。

【半导体】

长文！中美贸易战对国产半导体产业的影响深度解读 （海通证券）

先看一个行业数据，自2013年至今，我国集成电路的年进口额均在2000亿美元以上，而2016年中国原油的进口金额为1153.08亿美元，这一数据在各大产业论坛中被业界大佬津津乐道，成为发展国产半导体产业链重要性的最具说服力佐证。

下面这张表，列举出了美国半导体产业中大陆营收占比超过40%的企业，各细分领域的巨头纷纷上榜，按产业链分类包括了设备、Fabless、IDM，按下游应用分类包括了通信、计算机、存储、人工智能，按设计方式包括了数字、模拟，总之，鲜有漏网之鱼。

表1 美国半导体公司大陆营收占比排名

而中国方面，按照产业链分别进行梳理。

①制造环节：选择中芯国际作为代表。根据SMIC的最新一季财报，中国的营收占比为45.7%，北美的营收占比为41.9%，欧洲营收占比为12.4%。②封测和设计：对美国客户的依赖很小。大部分国内半导体设计和封测公司的产品都是要通过香港进行分销工作（以港币或美元计价），这样在统计时便记为了境外收入，可能会对部分投资者造成困扰或误解。但可以看一组数据，全球半导体的市场在中国，这是我们的最重要底牌。

③设备和材料：设备和材料领域国内厂商在完成从0到1的突破后，仍处于全力进入本土代工企业供应链，进而提高国产化率的“初级阶段”。以半导体设备为例，2016年中国厂商在数量上仅占全球的7%，在供货金额上更是只有0.54%。

核心结论：

本次贸易战如果升级将对美国半导体公司的影响更为巨大，而国内除晶圆代工企业（中芯国际）受到的影响可能会大一些之外，产业链其他环节受到的影响微乎其微。而且，随着全球半导体产业的第一、二次转移，产业链上相当的环节已经转移到了亚洲，从表一也可以看出，美国仅主要保留了核心芯片及部分半导体设备公司，其他环节如硅片（日本）、制造（台湾）、封测（台湾）、存储（韩国）等大陆企业对美国的依赖性极低。

上面摘了8大行业的数据与图表，脱水君想了下未来可能会用的场合包括人民币兑某国货币的升贬值、中国与某国的贸易战发生时、国际环境突发、行业境外竞争等事件发生时，或有用处。

最终用天风策略的观点来收尾了。

*免责声明：文章内容仅供参考，不构成投资建议

我觉得无论什么工作兴趣最重要，要做数据分析师最基本的就是不讨厌数字，如果你跟他讲那个指标是通过怎么样的乘除加减得到的，他会觉得不耐烦，那么显然他不适合做数据分析;如果对数据较敏感，能够一眼发现异常值，数据分布情况，当然是最好的。

再则就是逻辑性，可以让他试试爱因斯坦的那道经典的逻辑题，看看能否解出来，需要多久;逻辑思维对数据分析尤其重要，不然会被各种指标的定义规则、与业务的联系纠结死，逻辑思维好的人写SQL等数据处理脚本也会更加高效。

接着是业务理解能力，最简单的就是让他定义下网站的目标是什么，哪些指标可以作为KPI，用户从进入网站到达成网站目标的整个过程是怎么实现转化的，能否画出业务流程图。(宏观层面，不要深入细节)

如果偏技术则需要懂一些数据库结构和SQL，如果偏展现需要考验下对图表的掌控能力，什么时候用什么图表合适，甚至如何配色。

最后就是细心、耐心和交流能力，做数据分析有时会很纠结，细心和耐心是必需的，好的交流能力可以让数据分析师更好地阐述清楚各类问题。

这些都是比较基础的东西，也是短期难以培养起来的技能。至于另外业务相关的一些知识，可以通过培训获取，问一个未接触过你的网站业务的人一些业务知识其实有些不公平，其实如果具备上面几点，一旦熟悉网站和业务之后，一定会成为优秀的数据分析师。

——谷芬芬

专业内的要求基本就是对数据的意识和一些技能的掌握。下面具体说说从一些非专业内要求的方面出发，有哪些方面能表现这个人更适合数据分析。

首先是看到数据有兴奋感的人。有兴奋感说明你有兴趣，那说明很会有意愿把数据分析好。

其次是愿意学习的人。你分析的内容永远不会一尘不变，即使你分析的主题是相对固定，但业务是变化的，你需要不断的学习业务，同不同人沟通，吸收别人的观点。所以分析师一定要报着学习的态度。

然后是逻辑思维较强的人。数据分析师想要把你的分析好，一定要有结论思维。

还有就是较强的表达与沟通能力。因为数据分析最终价值的实现，一般来说不会是分析师亲自去制定或者实施。所以你一定很有条理、逻辑清晰向别人表达，让业务方认识到你分析结果的价值，从而影响业务方去愿意使用你从数据中得到的观点。

——欧阳帅

觉得还是应该先看清楚自己的未来的方向吧~

我有不少朋友 非数学/计算机/统计学 专业毕业的朋友走的是这个方向，数据相关，非技术路线，更偏向于市场方向，对技术的要求只是Excel、PPT，最多要求SPSS，很少要求会写SQL。这条路线看起来比较高大上，可以走外企路线。

数据分析师方向，很多读数学、统计学、计算机的童鞋会选这个方向，终极目标都是成为数据中心的负责人。中间有2个分叉，一条是从数据分析师到数据产品经理，这个路线最近很流行，主要是结合了数据分析和产品经理的能力。一条是高大上一点的数据挖掘方向，这条路线要求比较高，但薪资也高。当然能走数据挖掘路线是很多数据分析师的梦想，但算法和代码实现能力不是谁都能掌握的。.

根据你自己想走的路，加上自己的技能点。

——张锦华

想了解更多相关内容，记得持续关注我们哦。

如果你觉得有点意思，请有秩序的评论、转发、收藏。

数据平台的建设可以当做一个产品来设计。从广义上来讲，所有以数据驱动为核心的都可以称为数据产品（如数据报表平台，DMP，BI平台），从狭义上来讲，就是公司内部的数据平台。今天我们要讨论的，主要是在公司内部搭建数据平台。

公司的内部数据平台，主要是给各业务提供数据处理、分析、展示，供内部所有部门人员使用的，涉及数据的收集（填报）、数据的整合、业务报表制作、业务员数据分析以及可视化数据展示，目的是让公司内部的所有业务都能通过数据来驱动和辅助决策。简单点讲就是通过数据平台来驱动公司内部的数据化运营。

那么如何设计符合企业实情并能解决实际问题的数据平台呢？

1. 平台建设主导人需要对每一块业务需求有深刻的了解，知道每个业务部门想要看什么样的数据，需要什么样的分析报表；这些数据是否现在就可以获取到，是否需要收集；业务部门通过这些数据分析，是如何推进和改善业务，是否有提升的价值意义。

2. 平台的设计需要根据业务的要求设计符合使用者需要的内容，产品要有层级和结构。如果设计的一张数据报表既要满足管理层的需求又要满足一线业务人员的需要，那么这样的数据产品体验很大可能是比较差的。因为领导和业务人员的关注点不一样，看数据的视角也不一样。领导往往需要一些能帮助把握大方向的关键指标，并且希望知道这些指标之后的问题是什么？原因是什么？所以给领导设计的报表需要直观易懂，并且能够基于这些指标的一场定位到问题。而业务人员更在乎业务的执行，关注的数据往往粒度很细，需要知道各项指标的明细。

领导关注的报表（FineReport制作）

销售领导关注的指标明细（FineReport制作）

3. 数据平台一定要注意数据质量、规范、统一。因为数据平台是面向所有业务的，怎么保证公司的所有部门人员对于数据的理解是一致的，这点特别难。（比如服装行业的“断码”，从领导层来讲，公司仓储的服装全部尺码如果不完整就是断码；从仓库的仓管员角度来讲，仓库内的服装尺码不全就是断码；从门店的业务员角度来讲，客户需要的尺码当前门店无货就是断码）。公司的业务系统各有不同，数据口径不一，数据孤岛问题，导致数据的质量和结构也千差万别，越是这样，数据仓库的数据建设就显得尤为重要。平台的数据质量依赖于数据仓库底层的数据模型，所以一个好的数据仓库很大程度上决定了数据平台的数据质量。

4. 工具选型上，有报表平台、BI。报表平台适合构建基础的规范化的数据平台，从明细报表（表格类）的，项目档案，文件报备，数据填报，数据报表，业务主题分析，文中的所有demo就是用FineReport制作，侧重于展示和报表管理。BI侧重于分析，拿到数据可以自己拖拽维度来分析，不同于报表受模板框架的限制，涵盖简单的明细报表、分析报表和主题分析，制作要简单很多，大数据量的处理性能也强劲很多，代表：FineBI、Tableau.

下面我们就从实战的角度来加以阐述。

某公司是一家电商公司，那么该公司的各部门需要看哪些数据呢？首先收集日常常用的数据指标，哪些是经常要查询的，哪些是要日常填报的，这些在过往的经营中都有备案，好收集。这就构成了日常的基础查询类报表，这类报表最占大头。

其次，我们可以观察一下各部门的KPI是什么？下放到团队以及个人的KPI是什么？是否能以具体的数字来量化？如果对负责支持的部门的KPI不了解，就去寻求部门领导帮助（使用者最懂要什么），不落实指标如何能设计出好的数据报表？通常粗略的，例如采购部门的KPI基本就是销售额、订单数、销售毛利润、采购成本；运营部门的KPI就是新老用户述、留存率、复购率、用户流失、转化率，市场部门的KPI就是PV/UV、新客数，这就构成了各部门日常管理的报表。

那么知道各个部门的核心KPI后，下一步就是针对一些特定场景的主题报表。主题报表往往是记录某一事件，其中的指标都是相互关联的。

比如，我希望知道这个月我的绩效完成的怎么样？在团队内排名是提升还是下降？每个人的绩效结果明细是怎样的？——这就构成了日常考核报表。

又比如在分析产品时，需要重点关注某些产品的相对市场份额和市场增长率，则要建立波士顿矩阵分析，以便让资源有效地分配到合理的产品结构中（当然还有其他分析角度）——这就是品类分析。

产品分析（FineReport制作）

再从业务分析和使用场景入手，拿采购部门的小王来说，他是怎样看数据的呢？

每天早上，我希望知道昨天的销售情况怎么样？所以这时候应该设计一张基础查询报表给到他，这张数据报表应该具有以下功能和内容：

1.能够查看昨天以及过去各时段的数据；能够按照产品、地域来统计；能够与过往的平均值做比较，看看是不是某区域某产品的趋势上有大的变化，是不是广告投放，活动推广带来的，影响大不大。其次，每个月，每季度的数据是多少，能够选定时间段自动展示。

请点击此处输入图片描述

2. 指标越丰富越好，如果销售额下降了，看看是不是订单数下降了，订单数没变是不是客单价的问题，是由于商品结构的原因还是活动门槛调整导致的。

3. 数据分析的能够下达的粒度越细越好。比如数据粒度可以从全国下钻到省份，从省份下钻到城市，这样交易额下降了就能知道是哪个省哪个城市出了问题？就能针对性的解决。

请点击此处输入图片描述

经过以上几个步骤，即可形成平台雏形，形成规划文档。但一个数据平台，无论前期规划得多么丰富，也不可能一蹴而就。公司的业务在不断变化，分析的内容也越来越丰富，在这过程中总需要不断磨合和调整，只有不断完善之后，才能形成一个更加量身定制的实用平台。

浅谈大数据对统计学的挑战和机遇

引言　　国际数据公司的相关研究指出，2011年全球数据生产量达1.8ZB，且全球信息总量每隔两年增长一倍[1]。在大数据时代下，对于统计学发展而言，挑战与机遇并存，挑战指的是现阶段传统统计学相关方法难以适用大数据，机遇指的是基于统计学，大数据展开数据处理、分析，促使大数据具备可视化特性。由此可见，研究大数据对统计学的挑战和机遇有着十分重要的现实意义。　　1.大数据及其目的　　现阶段，关于大数据仍旧没有一个十分明确的界定，大数据起初是源自于技术领域。在信息量不断扩大的情况下，使得常规电脑原有存储空间已不能对新处理数据进行承载，新兴数据处理技术得以产生，好比雅虎的Hadoop平台、谷歌的MapReduce等。此类技术能够对僵化层次结构、一致性予以消除，促进数据无需通过常规数据库表格进行排列，极大程度地提升了人们可处理的数据量[1]。　

　2.大数据与统计学的对比　　2.1样本统计与全样本统计的区别　　样本统计属于统计学不可或缺的依赖，样本指的是结合相应的概率自总体中随机筛选并视作总体代表的集合内容，值得一提的是随机抽样是需要成本的，包括社会关系、资金成本或者时间成本等。基于样本数量提升有限前提下，样本估计误差会随着总体数量增多而增大，这亦是样本统计无法避免的不足。大数据时代下，收集整理庞大的数据信息应运而生，数据信息发展表现出总体即是样本的态势，该属性很好的消除了样本统计这一不足。大数据时代下的全样本统计，通常情况下可对完全总体进行覆盖，然而受大部分数据属于半结构、半结构数据影响，使得概率论应用遭受一定的制约[2]。鉴于此，将全样本统计应用到统计学中，应当就总体数据展开相应的归纳、筛选，即好比在样本统计中展开数据预处理。　　2.2预测分析与非预测分析的区别　　统计学的创立，是为了对变量相互相关关系展开分析，因此获取数据是发生于变量确定之后的，数据分析价值是能够被预测的。相较于统计学的预测分析，庞大数据将互联网、传感器作为载体，存在于分析需求之前，因此构建于大数据上的分析多为非预测性分析。在统计学中，出现大数据无法有效应用局面，这是由于不具备非预测分析所需的庞大数据，庞大数据产生与数据中心、存储系统存在紧密的联系，并非短期产生。也就是说，统计学中大数据的应用发展，说明了非预测分析正逐步取代传统统计学预测分析，数据多次利用正逐步取代传统数据一次性利用的。　　3.大数据对统计学的挑战与机遇　　3.1数据生产、处理与应用的转变　

　相关统计部门经开展严格的统计设计工作，获得相关的统计数据，数据的预处理分别有数据清洗、非全面数据填补以及数据矫正等。大数据时代下的统计手段尚不十分明确，自大数据流环境而言，要不断探索新型抽样方法，并确保抽样方法的实时、连贯及可行性。除去传统的统计分析方法，还应当开发大数据动态分析、数据流算法等[3]。　　3.2大数据时代对市场营销的机遇　　3.2.1大数据营销的特点与价值　　大数据营销的特点：I.数据采集多平台化特点，即大数据时代下，大数据的数据大多来源于不同的领域、不同的渠道。II.时效性特点，随着信息技术的急速发展，互联网用户消费、购物行为方式往往会瞬间出现转变。国际先进大数据营销企业AdTime基于此大数据营销特点，采取了时间营销措施，即采取相应的技术方式全面获悉用户所需，于第一时间对用户当下的需求进行回应，以使用户在下决心购买的最佳时间及时看到对应的产品广告。III.个性化特点，在大数据时代下，广告商传统媒体导向的营销理念逐步由受众导向取代，现如今，广告商可应用大数据了解用户的地理方位，需求内容等信息，达到对用户个性化营销的目的。　　大数据营销的价值：I.升级营销与用户的匹配度，大数据营销不仅可提供给企业了解用户有效的途径，还能够与网络环境下，选取相关技术方法达到对用户精确定位的目的，从而开展好营销工作，升级营销与用户的匹配度。II.改善用户体验，大数据营销促使企业真正意义上认识到用户及其所使用企业产品情况，以给予用户最人性化的提醒。　　3.2.2大数据营销的应用　　（1）与消费者建立紧密关系　　现如今，我国一些企业营销行为仍旧处于个性化定位信息、创意设计阶段，而无法对不同消费者展开个性化的营销活动。大数据时代下，经采用相关数据分析技术方法，基于对消费群体喜好、传媒接触习惯等展开有效的分析，达到特定营销活动明确开展的目的，实现企业精心开展的营销活动精准的辐射至目标消费群体处，与消费者建立紧密关系，极大的改善营销效率、质量[4]。　　（2）掌握竞争对手数据　　企业通过对竞争对手数据的有效掌握，获悉竞争对手发展状况，基于此帮助企业制定科学合理的产品价格，提升企业产品市场竞争优势。与此同时，企业务必要全面实施以事实为前提的决策手段，广泛地应用数据分析方式对企业每一个发展运营步骤进行优化，经对企业一系列数据的充分优化、对接，促使业务环节中潜在的价值得以被有效挖掘，降低生产成本，知己知彼，促使企业在日趋白热化的市场竞争中占据有利位置。　　（3）挖掘企业内部数据　　“市场未动，数据先行”俨然转变为国际上企业有效运营发展的一致认识，为了提升企业管理效率，要求企业要充分挖掘企业内部数据，并展开有效的整合、分析，以为企业相关人员做决策提供有利的参考依据，提升决策准确性，促进企业可持续发展。

3.2.4 企业的应用案例——以亚马逊为例　　在应用大数据开展市场营销方面，美国亚马逊公司一直处于领先地位。亚马逊研发出“用户未下单，先发货”功能，即结合用户的购物需求数据信息，分析用户想要购买的产品，达到用户未下单，提前发货的目的。此外，亚马逊通过对用户检索信息的分析，评估流感的传播，但这仅仅为海量检索数据中的一项用途，相同的数据能够应用于预测大选结果、预测某类产品市场行情等等，极大地降低了统计成本[5]。　　3.3大数据时代对市场营销的挑战　　3.3.1信息收集　　大数据并非就是对数据信息展开盲目的收集，即便收集了再多的数据，倘若这些数据并非是市场营销所需要的，如此便会导致前期收集来的数据信息，变成一堆“数据垃圾”。鉴于此，为了避免这一情况发生，务必要充分分析业务需求，再对自身存在价值的数据展开收集、归纳，如此方可实现大数据的有效收集应用。　　3.3.2经验与数据　　数据采集完毕后，面对参差不齐的数据，还应当做好数据评估工作，评估对何种目标受众开展市场营销工作。鉴于此，要求采取科学合理的手段，将这些参差不齐的数据整合成可被市场营销实践应用的，经结合过去的经验，与采集数据进行有机融合，实现对目标受众的有效分析确定。　　3.3.3分析与优化　　数据分析，一方面是实现数据优化，一方面是进行决策层面上的调整、转变。此环节对于专业人才的需求提出了严苛的挑战。数据分析、数据优化对于专业人才的知识框架要求大不相同，这要求相关企业不仅要培养专业的数据分析人才，还要打造数据优化人才队伍。　

　3.4大数据营销的未来发展趋势　　信息技术不断发展，单一媒体导向的“消费者碎片化”俨然无法达到企业对于数据多样性的需求。大数据时代下，媒体的跨界融合实现对“碎片化”受众的充分聚合。在科学技术技术不断进步的背景下，跨媒介、跨平台、跨终端的多途径将不断被开拓，将使庞大的数据信息获取多维度的整合，并且在多样化网络环境下，消费者主观信息与客观数据有机融合，构筑全面用户数据库环节，将成为未来大数据营销发展的必然趋势[6]。　　4.结束语　　总而言之，大数据为传统统计学带来了严峻的考验，也为传统统计学有效发展创造了良好的契机。在大数据时代发展潮流中，我们应当充分的认识到大数据对于传统统计学而言，是补充而不是更替，构建于样本统计、预测分析内容上的传统统计学，仍旧于社会统计、经济分析中占据着主导位置。大数据时代下，为了实现企业市场营销的有效开展，相关人员务必要不断专研研究、总结经验，全面分析大数据与统计学的对比，充分认识大数据对统计学的挑战和机遇，“与消费者建立紧密关系”、“掌握竞争对手数据”、“挖掘企业内部数据”等，积极促进企业市场营销的科学合理化。

对社会保险统计工作的几点认识

社会保险统计是运用多种统计方法观察、研究社会保险范围、内容、水平、规模效益状况及其发展趋势、特点和规律的一门科学。社会保险统计信息工作的基本任务是依法对社会保险机构统计信息进行采集、审核、汇总、分析、公布，开展统计信息预测，为促进社会保险事业的健康发展提供决策参考和依据。但是，目前社会保险统计信息的现状不容乐观，还存在一些问题，制约了社会保险统计信息工作的发展，有的甚至认为社会保险统计可有可无，统计就是评估。这样势必影响到社会保险事业的发展。为此，建议从以下几个方面加强社会保险统计信息工作。　

一、确保统计数据质量　　基础数据的采集是统计的一项基础性工作，采集的准不准，质量高不高，直接关系到统计信息汇总的质量。抓好统计信息源是做好社会保险统计工作的关键一环，是提高统计质量的根本保证。　　一要健全社会保险统计体系。二要统一统计口径。三要严把数据审核关。　　二、调整统计调查方法　　一是完善调查内容。及时追踪政府的宏观决策，积极开辟社会保险统计调查新领域，及时、全面的为政府重大决策的实施提供服务，为本级部门的重点工作和重大决策提高服务。积极研究尝试开展涵盖社会保险、人才就业、劳动关系等多领域的调查，监测和评价统计指标体系。

二是调整调查频率。在工作中，根据不同的调查对象、不同的调查内容，区别对待，采取不同的调查频率，提高快速反应能力，以灵活多变的调查方法，跟踪观察复杂多变的统计对象，以满足多层次、多部门、多目标的统计信息需求。　　三是提高调查效率。运用现代化的手段，加快统计调查工作信息化建设，从而提高社会保险统计工作效率。随着计算机、网络、管理信息系统等信息技术的迅速发展，给统计调查提供了许多科学有效的方法和便利。社会保险统计在利用计算机技术和网络基数进行信息管理的同时，应积极运用计算机技术、网络技术等进行高效准确的数据采集和数据分析。在今后工作中，从完善统计结构软件入手，着力进行统计信息网络建设，能大大方便工作，提高工作效率。　　三、进行科学的统计分析　　一是确定统计分析目标。针对社会保险体制改革中不断出现新情况、新问题、新经验的状况，社会保险统计分析，分清形势，确定有针对性的分析目标，特别是抓住社会保险工作实践中带有苗头性、倾向性、突发性和趋势性的问题，充分利用统计数据进行综合分析，提出政策措施和建议。　

二是做好基础数据采集。提高统计数据质量是统计信息工作的永恒的主题。统计数据质量体现在真实性、准确性、及时性、适应性等方面。如何保证统计数据质量，必须从源头抓起，从被调查单位的原始记录。数据收集、整理、汇总、上报的全过程，从每一个统计指标的困境，包括范围、取得渠道、指标来龙去脉，数据的采集操作制度化，以及建立健全统计原始记录、统计报表、统计台账制度。原始记录是统计基础工作的基础，这项工作必须做细、做准，不得有半点的虚假，这也是从源头上杜绝了虚假数据的产生，保证了社会保险统计数据采集的真实性和准确性。　　三是深入开展分析和专题研究，为科学决策和管理提供可供选择的咨询建议和对策方案。社会保险统计要提高决策咨询服务水平，重点是加强统计分析，做好决策咨询调研工作。统计分析要由简单的就数论数，数字文字化，转到对数字背后的深层关系进行分析，对数字背后的社会保障发展规律进行探讨，大大丰富社保统计工作内容，提高社会保险统计产品（统计报表、统计分析、统计调研报告等）的质量。通过实行重点课题责任制度、统计分析定期评估制度、热点问题及时追踪制度等等，使统计分析质量持续提高。　

四是建立表内和表间平衡关系。社会保险统计报表是一个完善体系，报表内部、报表之间都有严密的逻辑关系，保证逻辑关系合理是填报统计报表的基本要求。为了让基层统计人员更好地掌握报表的逻辑关系，确保报表填报的严密性，减少填报错误，提高填报质量，要对报表表内和表间的逻辑关系进行统一和规范，并将这些平衡公式录入统计软件，从而使数据之间，报表之间保持合理的逻辑关系。当因录入或其他的原因使统计数据出现差错时，表内和表间平衡关系都会受到影响，统计软件能够自动地、及时地为统计人员提出错误，是统计失误在基层就能够得到解决，从而提高统计报表质量。　　五是实行统计数据库与业务数据库对接。实现统计数据与业务数据的对接是一个多管齐下的系统工程，要业务、信息系统管理部门等多方努力，真正实行统计数据库与业务数据库对接，才能从基础经办机构统计工作中消除统计数据的虚报、瞒

报和假报现象，减少统计失误，保证统计分析的科学性。四、提高统计服务意识　　社会保险统计信息工作对社会保险政策、业务政策的出台都是重要的辅助工具，树立服务意识，利用社保统计这个工具，是我们做好社会保险经办工作的基础。　

一要高度重视社会保险统计信息工作。各级社会保险经办机构要进一步加强领导，提高认识，把社会保险统计工作摆上议事日程，各级业务部门领导要重视社会保险统计工作，经常了解本统筹区社保统计的基本情况，通过社保统计的数据分析本行政区社保工作的利弊，更好地为社会保险工作的决策服务。　　二要加大对基层统计人员的业务培训力度。基层社会保险经办机构面临机构整合、职能调整等，人员变化较频繁，给社保统计工作带来一定困难和问题。当前，提高基层统计人员的整体素质和服务意识迫在眉睫。要通过不定期地举办不同对象、不同层次的统计人员的培训，在培训中要注重基层统计工作的实际，要注重更新统计人员的知识，改善统计人员的知识结构，提高统计人员的综合素质。　　三要不断创新统计信息服务形式。要不断提高科学、准确、及时、有效的社会保险统计信息服务的领域和空间，通过统计业务报刊、统计信息网站，相互交流社会保险统计信息工作经验。通过依托并不断创新服务形式，使社会保险统计工作的地位得到加强，社会保险统计工作的环境得到改善，社会保险统计工作的发展更加宽广。

标签 | 大数据 架构

作者 | 张逸

无论是采集数据，还是存储数据，都不是大数据平台的最终目标。失去数据处理环节，即使珍贵如金矿一般的数据也不过是一堆废铁而已。数据处理是大数据产业的核心路径，然后再加上最后一公里的数据可视化，整个链条就算彻底走通了。

数据处理的分类

如下图所示，我们可以从业务、技术与编程模型三个不同的视角对数据处理进行归类：

业务角度的分类与具体的业务场景有关，但最终会制约技术的选型，尤其是数据存储的选型。例如，针对查询检索中的全文本搜索，ElasticSearch会是最佳的选择，而针对统计分析，则因为统计分析涉及到的运算，可能都是针对一列数据，例如针对销量进行求和运算，就是针对销量这一整列的数据，此时，选择列式存储结构可能更加适宜。

在技术角度的分类中，严格地讲，SQL方式并不能分为单独的一类，它其实可以看做是对API的封装，通过SQL这种DSL来包装具体的处理技术，从而降低数据处理脚本的迁移成本。毕竟，多数企业内部的数据处理系统，在进入大数据时代之前，大多以SQL形式来访问存储的数据。大体上，SQL是针对MapReduce的包装，例如Hive、Impala或者Spark SQL。

Streaming流处理可以实时地接收由上游源源不断传来的数据，然后以某个细小的时间窗口为单位对这个过程中的数据进行处理。消费的上游数据可以是通过网络传递过来的字节流、从HDFS读取的数据流，又或者是消息队列传来的消息流。通常，它对应的就是编程模型中的实时编程模型。

机器学习与深度学习都属于深度分析的范畴。随着Google的AlphaGo以及TensorFlow框架的开源，深度学习变成了一门显学。我了解不多，这里就不露怯了。

机器学习与常见的数据分析稍有不同，通常需要多个阶段经历多次迭代才能得到满意的结果。下图是深度分析的架构图：

针对存储的数据，需要采集数据样本并进行特征提取，然后对样本数据进行训练，并得到数据模型。倘若该模型经过测试是满足需求的，则可以运用到数据分析场景中，否则需要调整算法与模型，再进行下一次的迭代。

编程模型中的离线编程模型以Hadoop的MapReduce为代表，内存编程模型则以Spark为代表，实时编程模型则主要指的是流处理，当然也可能采用Lambda架构，在Batch Layer（即离线编程模型）与Speed Layer（实时编程模型）之间建立Serving Layer，利用空闲时间与空闲资源，又或者在写入数据的同时，对离线编程模型要处理的大数据进行预先计算（聚合），从而形成一种融合的视图存储在数据库中（如HBase），以便于快速查询或计算。

场景驱动数据处理

不同的业务场景（业务场景可能出现混合）需要的数据处理技术不尽相同，因而在一个大数据系统下可能需要多种技术（编程模型）的混合。

场景1：某厂商的舆情分析

某厂商在实施舆情分析时，根据基于需求，与数据处理有关的部分就包括：语义分析、全文本搜索与统计分析。通过网络爬虫抓取过来的数据会写入到Kafka，而消费端则通过Spark Streaming对数据进行去重去噪，之后交给SAS的ECC服务器进行文本的语义分析。分析后的数据会同时写入到HDFS（Parquet格式的文本）和ElasticSearch。同时，为了避免因为去重去噪算法的误差而导致部分有用数据被“误杀”，在MongoDB中还保存了一份全量数据。如下图所示：

场景2：Airbnb的大数据平台

Airbnb的大数据平台也根据业务场景提供了多种处理方式，整个平台的架构如下图所示：

Panoramix(现更名为Caravel)为Airbnb提供数据探查功能，并对结果进行可视化，Airpal则是基于Web的查询执行工具，它们的底层都是通过Presto对HDFS执行数据查询。Spark集群则为Airbnb的工程师与数据科学家提供机器学习与流处理的平台。

大数据平台的整体结构

行文至此，整个大数据平台系列的讲解就快结束了。最后，我结合数据源、数据采集、数据存储与数据处理这四个环节给出了一个整体结构图，如下图所示：

这幅图以查询检索场景、OLAP场景、统计分析场景与深度分析场景作为核心的四个场景，并以不同颜色标识不同的编程模型。从左到右，经历数据源、数据采集、数据存储和数据处理四个相对完整的阶段，可供大数据平台的整体参考。

门店的数据报表，包括各部门每周/每月的销售额、毛利、毛利率、日比、周比、同期比、销售占比、日平均销售额、通路费用、各项数据指标、达成率及行动计划等，对于门店管理来说是至关重要的。而往往最能直接暴露门店经营问题的，就是门店经营数据了，面对门店的一张张报表，如何从繁琐的数据中，合理的得出对门店日常经营管理的各项措施和办法，即如何做好门店数据分析，这对当下企业的门店管理来讲，是一门生意经。

基于此，帆软FineBI商业智能产品提供了企业级的门店智能数据分析的解决方案：通过鼠标点击和拖拽就能够轻松掌握门店分时段营业分析、门店综合营业分析、门店报废商品分析、门店综合管理驾驶舱等等一系列的数据，在经营和管理门店运营的过程中真正做到数据在手，胸有成竹。

方案内容

企业门店智能数据分析干货内容：

1.企业如何快速搭建门店智能数据分析平台？

2.如何让门店管理人员直接对接门店数据库快速完成基础数据分析？

3.如何让门店管理人员直接对接门店数据库快速完成综合数据分析？

4.如何让门店领导直接对接门店数据库快速完成即席数据分析？

5.如何让企业门店智能数据分析成果实现团队协作共享？

方案效果及实现说明

1.企业如何快速搭建门店智能数据分析平台？

这部分工作属于企业IT部门的前期数据准备工作，需要IT部门在FineBI的数据配置-数据连接管理中新建好数据连接，保证数据连接测试成功。然后添加人事管理业务包，将相关数据表加入并且建好立表间关联关系即可（如果是FineIndex类型的业务包需要更新好FineIndex数据）。分配好对应数据权限之后，用户即可直接在浏览器前端来对这些人事数据进行即席的多维探索分析。

以本方案为例，如上图所示，我们在人事管理业务包中添加好门店主档信息表、综合营业分析表、日期信息表、小时维度表、报废商品数据表、营业日数据源表等数据，并且建立好维度表和事实表之间的数据关联关系。

最后在数据配置-权限配置管理界面中将建立好的门店管理业务包的权限分配给门店部门相关人员，并且在管理系统-用户管理中将门店部门人员加入到BI编辑用户的已授权列表中。

2.如何让门店管理人员直接对接门店数据库快速完成基础数据分析？

a.门店分时段营业对比分析

门店经营的第一项基础且重要的工作，就是门店管理者需要对日常时间范围内的销售情况进行把控，熟悉各个时间段门店的销量状态。特别是对于特定的一些节假日举行的促销活动，我们更需要进行及时关注和跟踪，这样才能根据以往的经验更好地去策划未来的活动，取得更好地活动效果。

如上图所示的门店分时段营业对比分析，我们可以通过FineBI的时间控件进行任意日期的内的门店经营效果比对，追踪各个门店的实时经营状态。除了小时的粒度之外，针对不同星期的门店经营业绩进行分析对比（上图所示，周一的门店经营整体状态明显由于其他星期），以便优先选择活动效果最佳的时间。

b.门店报废商品分析

为了更好地对各个门店的销售商品进行优化，我们需要对报废商品进行一些数据分析。如上图所示，我们可以通过仪表盘合计出时间区间内的报废总金额，同时用对比柱状图过滤出报废商品Top10的商品，重点观察和监督。营业部方面，试用饼图统计出各个营业部的报废金额分布情况，着力对报废商品问题严重门店进行商品整改和优化。

c.门店信息查询

对于门店的信息查询，我们可以试用FineBI内置的地图进行基于地理位置的数据分布统计，另外通过明细表组件展示各个门店开设的详细信息（门店名称、大区名称、中区名称、小区名称、门店地址等）。

3.如何让门店管理人员直接对接门店数据库快速完成综合数据分析？

a.门店综合营业分析

接下来我们来进行门店的综合营业数据分析，如上图所示，我们使用仪表盘组件合计总的营业净额，使用柱状图降序统计各个门店的营业额数据情况。对于日期区间范围内各门店营业净额的数据，我们使用堆积柱状图进行统计，以对比分析每天各个门店的营业净额数据。销售结构（销售毛额、营业净额、折扣金额）和销售品类（一般商品销售金额、饮料销售毛额、食品销售毛额）的分析，我们使用折线图进行基于每天的数据对比分析即可。

b.门店经营目标达成分析

如上图所示，我们再来做企业各大区门店经营目标达成的数据分析。由于我们的门店营业部有三级分类，那么这边选择多层饼图来进行三级营业部下的目标达成率分析最合适不过了。各个门店的营业净额方面，使用组合图的对比柱状图分析各个门店的目标金额和营业净额数据，使用组合图的折线图分析各个门店的目标达成率（目标达成率=营业净额/目标金额）。

4.如何让门店领导直接对接门店数据库快速完成即席数据分析？

除了以上给大家介绍的制作一些企业常用的门店数据分析之外，FineBI最大的特性就是随时满足业务人员或者企业领导的数据即席分析需求了，通过轻松的托拖拽拽操作，就能生成丰富多样的数据分析可视化统计结果。

我们以上图的每日交易数量和销售毛额折线图统计场景为例，只需要将交易日期字段拖拽到分类轴，将销售毛额、交易数量拖拽到左右值轴，即可自动完成分组统计，真正做到想看数据“不求人”！

5.如何让企业门店智能数据分析成果实现团队协作共享？

企业的各项工作，主要由各部门团队分工协作完成，彼此之间需要很好地进行沟通和配合，那么FineBI是如何帮助企业将门店智能数据分析成果实现团队协作共享的呢？

以上图所示的门店管理中心驾驶舱为例，展示了企业的产品销售种类统计、门店毛利统计、地区销售额统计、月度销售额/毛利额统计等等多个核心的门店管理分析指标。那么门店管理人员通过FineBI做好的一个门店管理里中心驾驶舱之后，其实在FineBI中可以非常便捷地将它分享给相关部门或者指定人员的。

例如我这边想把它分享给企业的领导人员，那么可以在FineBI的仪表板中将做好的门店管理中心驾驶舱模板点击分享给领导部门的Tom，然后点击确定即可。这样一来，领导部门的Tom登录之后就能收到门店管理人员给他分享的门店管理中心驾驶舱了。

第一部分 项目背景及挑战

1.项目背景与意义

伴随着互联网与信息技术不断发展，系统数据量不断增大，数据分析越来越复杂。如何从海量数据中挖掘出有价值的数据信息，辅助科学决策、促进社会经济发展，成为政府行政服务能力一项新考验。近年来，商贸流通统计工作进展迅速，指标体系基本成型，统计工作机制初步建立，数据样本结构不断优化，统计成果应用加深。但目前商贸流通统计中还存在”数据质量参差不齐、行业分析深度不够、统计人员业务素质有待提高”等问题。另外，商贸流通数据分散在相关地市商务局的各个原有部门，无统一的储存方式和标准，存在”数据散、统计困难、数据展示不直观、数据利用率不高”等问题,需要将分散、异构、多源的数据进行归集处理。因此，结合商贸流通统计业务需求设计适用轻量级数据仓库，开展面向统计业务的数据映射换规则研究，利用计算机软件技术解决商贸流通数据处理分析难题，对于提高统计效率与加强行业数据分析深度，具有重要的工程价值。

2.应用场景与需求

东莞市商务局作为东莞首个大部制改革的典范，商务数据统计工作强度越来越高、需求变化越来越快。同时，东莞商务局现有商务数据比较分散、难于利用，而且统计工作大多基于传统人工方式，统计效率不高、统计实时性不强、统计深度不够、数据展现不直观，缺少对商务数据进行趋势预测，迫切需要基于大数据经济统计系统，以数据全方位、有深度、高效率的统计分析为目标，实现商务数据的统一处理、经济统计更高效。

3.IT环境及数据资源

3.1基础IT环境

商务局内部建有的系统分为内部应用系统和垂直应用系统，内部系统主要为局内自建的应用系统，供局内部工作人员进行独立业务统计查询使用；在内部系统IT设施中，有16台服务器，主要以IBM、DELL服务器为主,其中，有超过7台服务器，其配置较低(CPU小于8核，内存低于8G)，各服务器操作系统以Windows server2003、Ubuntu系统为主，数据库系统分别是Microsoft Sql server以及 Oracle；存储设备使用HP的光纤存储，容量为1T,存储IO为1G，带宽偏低；垂直应用系统多为商务部及商务厅系统，经商务内网或VPN直连网络使用，供商务局各科室及镇街办单独填报数据及下载数据。

3.2数据分布与组成

东莞商务局现有数据，既有内部信息系统采集，也有垂直系统采集，同时还包括第三方政府机构数据，如海关（按年支付数据费用）；数据统计要求按月度定期进行汇总统计，并形成统计报表。

目前东莞商务局月度报表的数据采集来源主要有以下3个：

（1）商务局职能科室的数据采集：采集方式是通过应用系统以表格方式导出Xls数据，再经过手工汇总、处理后形成统计报表。

（2）东莞市级相关部门的数据采集：涉及工商局、统计局、地税局、外汇局、科技局，需要通过东莞市政务信息共享平台采集相关数据。

（3）业务系统的数据采集：中央、省级直属应用系统数据。这部分未提供数据接口，只能通过手工复制粘贴到Xls文件的方式采集。

已有系统分为内部应用系统和垂直应用系统，内部系统主要为局内自建的应用系统，供局内部工作人员进行独立业务统计查询使用；垂直应用系统多为上级商务部门及商务厅垂直系统，供填报数据及下载数据。

4.问题与挑战

4.1异构多源数据采集清洗

传统的数据采集方法主要在同源、同构数据间，主要以数据库厂家提供的数据处理工具为主，选择源数据库与目标数据库执行”比对、匹配”等操作，并以中间表形式存储映射结果。在不同数据库平台之间数据互连操作，称为异构数据库集成，各个数据库厂家均提供异构互连的方法，但各厂商方法不一样。

Oracle中异构集成技术称为透明网关（Transparent Gateway），在Oracle8i版本后，通过使用ODBC组件链接SQL服务，通过SQL服务对各类数据库进行SQL操作。SQL server的异构集成工具称为Linked Server，通过ODBC实现与其它数据库的互联。Hadoop的Info Sphere Data Explorer平台，实现了大数据、RDBMS、Streams、File System与WEB 2.0等异构数据采集框架。

通过调研，东莞商务数据分散在多个数据源与不同数据库系统中，数据结构与数据分布复杂，如何实现异构多源数据采集、清洗、建库以利于数据应用是面临的首要问题。

4.2商务数据分析与挖掘

传统商务数据分析挖掘主要以政府管理部门的经济数据为主，但随着互联网、电商平台的快速发展，跨境交易、线上交易系统的发展越来越快，商务数据统计需要涵盖各类互联网平台的数据。东莞作为外向型经济主导城市，外贸、外资市场非常活跃，商贸流通情况非常复杂。经济统计中贸易方式、区域经济发展、转型升级等经济统计口径多、数据结构多样。在商务数据分析与挖掘领域，各类计量工具与数学方法非常普遍。通过数据分析与挖掘，规避了传统商务经济研究中纯理论文字描述的弊端；针对经济发展趋势、预测等问题，通过计量分析提高了经济研究的准确性与科学性。

商务数据分析与挖掘也是区域商务统计、商务经济分析的重要组成部分，在经济学上有较多的基于统计的数据分析与挖掘模型及算法，但模型的应用较宏观，在地市经济体与细分产业行业领域如何选择有效的商务数据分析与挖掘模型，是项目面临的另一个重要挑战。

第二部分 技术解决方案

1.拟采用的技术方案

1.1异构数据采集清洗

多源异构数据有两种情况，一种是指不同数据库（多源）并且数据库结构不同（异构）。在这种情况下，数据映射方式与多源同构数据映射方式差别不大。但由于使用异构数据库互连操作，会出现执行效率不高、系统开销大等问题。另外一种多源异构情况指不同数据源（多源），且数据分为结构化和非结构化（异构），此种情况也可以称为”大数据映射”。由于此种情况下，数据结构不固定，数据质量和信息量复杂，数据映射方法除了要考虑常见的异构问题外，还需要考虑大数据的采集处理效率、映射准确率与数据转化利用率等更多问题。

1.2商务数据分析与挖掘

在经济统计领域有很多不可量化的模糊问题，如经济发展预测、外贸走势等。面向这些复杂的经济问题，需要高质量的统计数据，需要用到准确、高效的量化分析方法与算法模型，还需要结合区域经济的现状与理论。大数据时代的经济统计分析将使用计算机技术，改变经济统计分析的现状，在经济统计分析中将复杂的经济现象收集整理，运用统计方法与模型对数据进行定量分析与运算，将模糊的经济问题通过统计清晰的抽象描述，大幅提高经济统计效率和分析准确率。

随着计算机技术的快速发展，云计算、大数据技术让大规模数据采集、处理、分析变得成本更低、效率更高，近年来利用数据仓库对大量数据处理变得更可行。

商务数据分析与挖掘有两种思路：一种不关注高深的数据挖掘理论与算法，利用高性能计算机处理大量的数据并实现数据分析挖掘。这种方法在”描述性统计”中应用效果较好，但由于大量数据带来的数据质量不高、算法效率低及数据结构不一致等问题，导致在”推断统计”中预测结果不可控。另外一种是通俗化。即将数据分析与挖掘结合行业知识，利用计算机将大规模行业数据通过分析挖掘转化为信息。

1.3技术选型与设计

系统基于java J2EE技术架构，并通过 B/S模式支持web和移动访问；通过SSH集成框架实现MVC三层架构，由Struts负责表示层和服务逻辑组装，Spring负责管理服务层，通过配置来实现核心业务逻辑，Hibernet负责平台模型和持久化层，并支持数据库表到数据实体的转换，最终实现表示层、业务层、数据持久层、实体层、服务层的解耦分离。平台在表示层采用Ajax的异步处理技术，灵活支持web套接字对长服务的调用，同时服务层以RESTful web方式提供GET/PUT等常用资源操作接口。

2.技术思路与技术路线

2.1技术思路

要解决东莞商务局现有的问题，达到未来的预期目标，应从整体、全局上把握当前重点解决任务，形成长远可持续的大数据平台发展思路，以”分步建设，重点先行，边建边用”为建设原则，以”上平台，统数据、成体系”为建设思路。以面向政府、行业协会、企业，打造提供”全方位、系统化、多层次”的商务数据服务为总体目标，以”一库、一平台、三体系、两标准”为重点建设内容，结合东莞市商务经济实际情况，勇于创新，突出重点，循序渐进，逐步实施。

第一，加强与有关部门、协会的沟通协作，以”政府牵头、部门配合、行业协作、企业主动”工作思路，建立政府、镇街、协会、企业多级信息采集机制。

第二，充分利用市信息资源共享平台，注重商务信息资源整合，努力建立规范、完整、系统、科学的信息搜集渠道，形成集中统一的商务信息共享资源池。

第三，充分运用大数据、分析挖掘等技术手段，创新政府服务职能，提高统计数据质量、商务经济运行监测预警、经济决策支持、企业引导服务水平，提升商务信息资源利用能力，不断放大对政府决策和企业发展的服务效能。

第四，分阶段，逐步实施，结合东莞市实际，以内部统计服务能力提升基础，以服务政府决策和企业服务为根本，逐步提升决策支持的精准性、科学性，丰富完善企业精细化、精品化服务手段，重点建设最急需、最实用、最便捷的商务经济运行指标，不断发挥商务信息资源分析价值。

2.2技术路线

项目重点规划建设商务信息资源库，商务大数据服务软件平台，贸易监测预警体系、决策支持服务体系、企业引导服务体系三大体系，及商务信息资源和运行服务两套标准规范。

如上图所示，技术路线重点考虑如下：

一方面,平台整体支撑能力，按照领域驱动设计理念，运用模块化、组件化、服务化的整体架构，充分考虑平台后续资源扩容性、用户规模增长、模型分析需求，保障可扩展性、高并发性、可用性、安全性。

二方面，信息梳理获取方式，通过设计多种采集策略，除传统数据录入、导入外，运用接口采集、数据库引擎调用、web服务等技术手段，实现包括不同来源、不同类型、不同结构的商务信息统一归集。

三方面，数据存储处理能力，综合运用传统数据库及NoSql对数据进行分类存储处理，传统结构化数据采用关系型数据库存储；半结构化或文档型数据采用非关系型分布式数据库存储。根据数据一致性不同层次要求，提供分类存储保障，包括内存cache、同步更新、异步更新等机制结合。并充分运用大数据并行计算框架，提升数据高并发的处理响应能力。

四方面，数据综合分析与决策支持手段，除传统数据统计分析方式外，进一步构建商务主题分析数据仓库，并综合运用分析挖掘中的特征抽取、分类、聚类、决策、神经网络等大数据分析方法，建立各类商务运行指标和模型，充分发挥大数据在决策支持、形势研判、趋势预测等方面作用。

五方面，商务信息服务能力提供，建立面向政府、行业、企业及向社会开放的统一信息服务目录，授权对服务内容订阅；建立统一的信息审核发布制度，定期将商务运行分析结果向不同对象开放和推送。

3.技术方案架构和特点

3.1技术方案逻辑架构

商务大数据统计项目充分考虑了现有电子政务基础资源，利用云计算和大数据技术，按照”九层两翼”的逻辑方式进行设计。描述如下：

用户层：平台主要的服务对象包括政府领导、主管机构、涉外经济机构，以及行业、企业

展示层：各类用户获取服务和交互的统一入口，主要由门户和各类访问渠道组成，访问方式包括web和移动端。用户可以通过各种渠道进行所需服务的访问，实现任何时间、任何地点的多渠道访问。

应用层：根据局内业务职能和东莞市商务运行发展需要，通...

作为一个在亚马逊开店的卖家，如果想了解店铺一天赚了多少钱，出了多少单，可以直接在后台查看Business report的各项数据。那么，如何看懂Business report呢？跨境电商全球开店，专业的定制化跨境电商服务可以为企业提供一站式服务，为传统企业转型跨境电商全方面解决业务全球化的布局，针对亚马逊电商平台运营规则和策略，速贸通为企业提供一站式跨境电商平台运营，助力企业快速入局跨境电商，实现全球市场布局和企业转型升级。速贸通（Sumaoglobal），全称深圳市速贸通电子商务有限公司，专注跨境电商定制化运营，全球营销，人才孵化业务。

一、亚马逊业务报告(Business report)

首先，卖家可以打开帐户后台，在“数据报告(Report)”选项中找到“业务报告(Business report)”入口，进入页面后可以看到业务报告(Business report)。

业务报告(Business report)由销售图表(Sales Dashboard)、按日期或按 ASIN的归类数据的业务报告(Business report)、亚马逊销售指导(Amazon selling Coach)三部分数据组成，而这些报告的数据通常最多可以保留两年。所有的数据分析(Business reports)，卖家都可以进行下载，系统默认下载全部数据。(如下图)。然后将数据保存到相应的文件夹里。在业务报告(Business report)里的任何一个数据报告，都把月租和产品销售佣金这部分的支出费用计算在内。可在后台“Report”里面的“payments”下载“Date Range Reports”查看实际收入。

二、销售图表(Dashboards)

销售图表(Sales Dashboard)由销售概览(Sales snapshot)、销售对比(Compare sales)和商品类别销售排名(Sales by category)三部组成。

如何读懂亚马逊后台的业务报告（Business report)

1.销售概览(Sales snapshot)

销售概览(Sales snapshot)通常会显示卖家当天的销售情况，数据大约每小时更新一次。

2.销售对比(Compare sales)

销售对比(Compare sales)由直观的图表组成。它能将不同时间的销售数据放在一起对比，可以很直观地看到商品销量、净销售额的升降情况。销售对比(Compare sales)具有互动式功能。

3.商品类别销售排名(Sales by category)

商品类别销售排名(Sales by category)能让卖家知道在具体时间段内，排在店铺前几名的产品类别分别有哪些分类，各分类的商品数量、净销售额有多少以及商品数量百分比和净销售额百分比。

三、业务报告(Business report)

业务报告(Business report)的报告按照日期、ASIN码和其他业务报告这三大版块来归类数据。业务报告(Business report)这一大块业务报告的数据比较多，但卖家常看的数据有以下几项。

1.根据日期统计的业务报告

1)销售量与访问量(Sales and Traffic)

根据日期统计的“销售量与访问量”这部分的数据，以图像+表格的形式表达，数据非常直观。在表格中，卖家可以看到具体某段时间内的销售额、销量、买家访问次数，订单商品种类数转化率等各类数据。下面，小编对各数据的专有名词进行解读。

日期(Date)：卖家可以按天/周/月/年查看数据，最长时间为2年。

已订购商品销售额(Ordered Product Sales)：具体时间段内，卖家所有订单加起来的净销售额度。计算公式=商品价格 *已订购的商品数量

已订购商品数量(Units Ordered)：具体时间段内，卖家所有订单加起来的商品个数的总和。比如，买家下了一个订单，这张订单含2件商品，那么已订购商品数量(Units Ordered)为2。

订单商品种类数(Total Order Items)：具体时间段内，所有订单中加起来的商品的品种个数。比如，买家下了3个订单，其中2个订单的产品都是相机，另外1个订单的产品是键盘，相机和键盘是不同的产品，算2种产品，那么订单商品种类数(Total Order Items)就是2。

每种订单商品的平均销售额(Average Sales per Order Item)：具体时间段内，平均每一种产品以多少价钱售出。计算公式=已订购商品销售额/订单商品种类数。比如，当天卖家店铺产生157美元销售额，共卖出36种产品，那么每一种商品的平均销售额约为4.4美元。

每种订单商品的平均数量(Average Units per Order Item)：具体时间段内，平均每一种商品的平均销售数量。计算公式=已订购商品数量/订单商品种类数。

比如，卖家当天售出了36个产品，共32个品种，那么每一个品种的平均销量为1.12。

平均销售价格(Average Selling Price)：具体时间段内，平均每一个商品以多少价钱售出。也就是我们平常所说的“每个商品的平均价格”。

买家访问次数(Sessions)：买家对卖家产品页面进行访问的浏览次数的统计。在一次访问中，即使买家多次浏览多个页面(24小时内)，也只会记为一次访问。买家访问量越高，证明产品爆光度越高。

商品转化率(Order Item Session Percentage)：在买家访问次数中下单用户所占的百分比。产品有没有吸引力，下单的人多不多，从这个转化率可以看得出来。

平均在售商品数量(Average offer count)：亚马逊所计算出来的处于“在售”状态的商品的平均数量。

2)详情页面上的销售量与访问量

在这项数据报告中，卖家应该重点读取关于销售量与访问量的数据。小编着重解释一下什么是页面浏览次数(Page Views)和购买按钮页面浏览率(Unit Session Percentage)。

页面浏览次数(Page Views)：所选取的时间范围内，产品详情页面被买家点击浏览的次数，即经常所说的PV。如果在24小时内，同一用户点击了10个商品详情页面，那么PV就算是10次。但买家访问次数(Sessions)只算1次，所以，“页面浏览次数”一般会比“买家访问次数”要高很多。PV高了，也就意味着商品的爆光率增高，对销量，转化率越有利。

购买按钮页面浏览率(Unit Session Percentage)：获得黄金购物车购买按钮的商品页面的浏览次数在总的页面浏览次数中所占的百分比。

3)卖家业绩

这一块数据主要反映售后情况，包括退款、退货、索赔的数据。通过这块数据，可以知道用户体验好不好，卖家有没有将售后和客户服务做好。

如何读懂亚马逊后台的业务报告（Business report)

已退款的商品数量(Units Refunded)：具体时间段内，卖家被要求退款的商品数量。即退货数量。

退款率(Refunded Rate)：具体时间段内，已退款的商品所占的比例。计算公式=已退款的商品数量/已订购商品数量*100%。

已收到的反馈数量(Feedback Received)：具体时间段内，卖家收到已验证购买的买家所留下的反馈总数量，包括好评与差评。

已收到的负面反馈数(Negative Feedback Received)：某段时间内，卖家所收到的已验证购买的买家所留下的差评数量，包括一星、二星差评。差评对卖家不利，数量越少越好。

负面反馈率(Received Negative Feedback Rate)：差评在反馈总数量中所占的比例，也就是已收到的负面反馈数除以已收到的反馈数量。

已批准的亚马逊商城交易索赔(A-to-z Claims Granted )：买家对卖家的产品或服务不满意，就会发起A-to-z Claims(索赔)，一旦成立就会计入次数。A-to-z索赔对卖家也很不利，卖家应尽量避免A-to-z Claims的产生。

索赔金额(Claims Amount)：买家提出的索赔的金额。金额当然是越小越好。

如果卖家的售后与客户服务都做得好，那么退货数量、退货率、负面反馈率都会比较低的。

2.按商品(By ASIN码)统计的业务报告

子商品详情页面上的销售量与访问量

如何读懂亚马逊后台的业务报告（Business report)

以上的数据都是介绍产品整体的表现。如果卖家需要仔细分析某个产品的表现，那么按商品统计中的“子商品详情页面上的销售量与访问量”这个数据值得一看。卖家可以主要查看子商品的买家访问次数、页面浏览次数、已订购商品数量、已订购商品销售额和订单商品种类数这几个反应listing销售量与访问量的数据。

同时，卖家也可以通过对比不同子产品数据，从而发现和挖掘产品的市场潜力。人气旺的热门产品的页面浏览量往往会比其它产品的高出很多，产品销量也会比较理想。但如果人气不旺，产品没有吸引力，买家的浏览量少了，那么它的销量也不会高到哪里去，这个产品就可能会有库存压力，那么卖家可以对listing标题、描述、关键词进行优化，或者进行推广引流。

3.按照其他方式统计的业务报告

每月销售量和订单量

如何读懂亚马逊后台的业务报告（Business report)

这块数据主要以月为单位，统计某个月已订购商品销售额、已订购商品数量、订单商品种类数、已发货商品销售额、已发货商品数量、已发货订单数量这些数据。可以知道哪个月比哪个月多了还是少了，方便卖家及时调整销售政策。

一、方案背景

对于大部分企业来说，销售部门是为企业直接带来利润的主要部门，说是企业命脉部门其实也不为过。

然而事实上是为数不少的销售部工作人员由于缺乏营销分析概念和方法，企业累积的大量数据得不到有效的利用，营销分析只停留在数据和信息的简单汇总和流水帐式的通报，缺乏对客户、业务、营销、竞争方面的深入分析，结果决策者只能凭着本能的反应来运作，决策存在很大的失误风险。

都说数据有价值，那么销售部门应该如何充分利用数据对市场预判，实时了解当下业绩情况，衡量三六九等客户价值，如何快速获取客户的信息做针对性销售呢？

答案是，不妨用BI搭建一个智能化的销售数据分析平台。

解决两个问题：

1、将数据信息化，汇总自动化，将销售管理者从传统的报表数据重复结算中解放，避免大量重复性的excel编辑工作

2、着重分析企业销售目标、销售活动、成本费用等销售重要指标的分析。

二、方案内容

接下来，本文将着重分享企业销售智能数据分析方面的内容干货，用的是FineBI搭建的销售数据分析平台：

1、IT技术模块——搭建销售智能数据分析平台

2、IT技术模块——直接对接销售数据库，自动化形成数据报表？

3、数据分析模块——如何让销售同时快速上手分析？

4、数据分析模块——如何让销售领导直接在线查看分析？

5、协同管理模块——如何在线分享数据分析报告？

三、方案效果及实现说明

1、搭建销售智能数据分析平台

这部分工作属于企业IT部门的前期数据准备工作，需要IT部门在FineBI的数据配置-数据连接管理中新建好数据连接，保证数据连接测试成功。然后添加销售管理业务包，将相关数据表加入并且建好立表间关联关系即可（如果是FineIndex类型的业务包需要更新好FineIndex数据）。分配好对应数据权限之后，用户即可直接在浏览器前端来对这些销售数据进行即席的多维探索分析。

以本方案为例，如上图所示，我们在销售管理业务包中添加好销售员信息表、产品名称表、分公司信息表以及销售目标表、客户信息表、合同信息表、销售活动表、合同回款信息表、活动费用表，并且建立好维度表和事实表之间的数据关联关系。

最后在数据配置-权限配置管理界面中将建立好的销售管理业务包的权限分配给销售部门相关人员，并且在管理系统-用户管理中将销售部门人员加入到BI编辑用户的已授权列表中。

2、直接对接销售数据库，自动化形成数据报表？

销售管理人员在使用分配好数据权限的账号登录平台之后，就可以新建仪表盘开始做基础的数据分析了。

我们以制作如上图所示的销售基础数据分析-销售人员分析页面例，首先使用仪表盘统计出企业的总销售人数，然后再用饼图统计出各大区的销售人员分布（这边可以看出我们上海区域销售人数是最多的，达到总销售人数的22.73%），最后用明细表组件展示企业的所有销售人员的销售姓名、所属大区、大区经理相关信息。这样一来，基础的销售人员配备信息也就快速可视化呈现在我们面前了。

销售人员分析的仪表板做好之后，销售人员可以申请给IT部门的超级管理员将该模板挂出到销售管理-销售基础数据分析目录下面，并且将仪表板开放给其他人员进行查看。另外利销售活动管理、合同信息查询的销售基础数据分析也是同理，用同样的方法做好之后申请给超级管理员挂出即可。

3.如何让销售同时快速上手分析？

a.销售目标进度分析

我们以上图所示的销售目标进度分析为例，对于企业销售管理来说，两个最核心指标莫过于销售额和回款额了。而企业通常每年都会设定销售目标额、回款目标额两个指标作为销售的年度考评KPI指标。

所以这样一来在每个时间阶段，作为销售管理者我们可以分析当前的销售额目标完成率、回款额目标完成率的总体情况。

I.销售额目标完成率=(销售额/销售目标额)*100%

II.回款目标完成率=(回款额/回款目标额)*100%

以销售额目标完成率为例，添加好总金额和销售目标额之后，在FineBI中直接添加销售目标完成率指标，输入“总金额/销售目标额”即可得到当前销售目标完成率的数据。

计算好销售额目标完成率以及回款额目标完成率之后，然后再按照区域逐级分解。这边我们按照区域对销售额和回款额分别使用条形图进行统计，然后降序排列即可。

接着对每个区域的销售额、销售目标额、销售额目标完成率、回款额、回款目标完成率进行分析计算，以便来分析当前影响目标达成进度的主要问题区域所在。最后添加好相关查询控件，调整好仪表板整体布局即可。

b.销售回款分析

销售回款分析方面，首先统计出当前时间段的应收账款、累计回款、累计回款率（累计回款率=累计回款/应收账款）这三个关键指标，用仪表盘进行展示。然后按照产品线进行分解，对比每个产品线的应收款款和回款金额数据情况。接着按照时间流逝维度进行分析，统计出当前时间区间的月度累计回款金额和月度累计应收金额，同时计算累计回款率。

最后分别按照大区和销售进行分解，统计对应大区和个人的应收账款、实际回款，计算出大区和个人的回款率。这样一来，企业整体到销售个人的销售业绩状况就一目了然了。

c.销售费用分析

销售费用分析方面，统计当年的费用开支总金额以及年度每个月份的费用金额。接着统计出各大类的销售费用模块分布占比、全国各个省份的费用金额分布、各个客户总费用的树图统计、销售费用开票统计、各销售费用排名统计相关信息，让企业的销售费用成本一目了然的以可视化形式呈现在我们面前。

4、如何让销售领导直接在线查看分析？

除了以上给大家介绍的制作一些企业常用的销售数据分析之外，FineBI最大的特性就是随时满足业务人员或者企业领导的数据即席分析需求了，通过轻松的托拖拽拽操作，就能生成丰富多样的数据分析统计结果。

我们以上图的年度签单&回款统计数据分析为例，只需要将签约年份字段拖拽到行表头，合同金额、回款金额字段拖拽到左值轴，即可得到每年的合同金额和回款金额走势了，真正做到想看数据“不求人”！

5、如何在线分享数据分析报告？

企业的各项工作，主要由各部门团队分工协作完成，彼此之间需要很好地进行沟通和配合，那么FineBI是如何帮助企业将销售智能数据分析成果实现团队协作共享的呢？

以上图所示的销售管理中心驾驶舱为例，展示了企业的签单金额、回款金额、单个合同金额分布、各地区/销售签单回款统计等等多个核心的销售管理分析指标。那么销售人员通过FineBI做好的一个销售管理里中心驾驶舱之后，其实在FineBI中可以非常便捷地将它分享给相关部门或者指定人员的。

例如我这边想把它分享给企业的领导人员，那么可以在FineBI的仪表板中将做好的销售管理中心驾驶舱模板点击分享给领导部门的Tom，然后点击确定即可。这样一来，领导部门的Tom登录之后就能收到销售人员给他分享的销售管理中心驾驶舱了。