考虑到现有技术解决方案的复杂性与多样化，企业往往很难找到适合自己的大数据收集与分析工具。然而，混乱的时局之下已经有多种方案脱颖而出，证明其能够帮助大家切实完成大数据分析类工作。下面我们将整理出一份包含十款工具的清单，从而有效压缩选择范畴。

　　数据已经成为现代化企业中最为重要的宝贵资源。一切决策、策略或者方法都需要依托于对数据的分析方可实现。随着“大数据分析”逐步替代其上代版本，即“商务智能”，企业正面临着一个更加复杂、且商业情报规模更为庞大的新时代。

　　考虑到现有技术解决方案的复杂性与多样化，企业往往很难找到适合自己的大数据收集与分析工具。然而，混乱的时局之下已经有多种方案脱颖而出，证明其能够帮助大家切实完成大数据分析类工作。下面我们将整理出一份包含十款工具的清单，从而有效压缩选择范畴。

　　1. OpenRefine

　　这是一款高人气数据分析工具，适用于各类与分析相关的任务。这意味着即使大家拥有多川不同数据类型及名称，这款工具亦能够利用其强大的聚类算法完成条目分组。在聚类完成后，分析即可开始。

　　2.hadoop

　　大数据与Hadoop可谓密不可分。这套软件库兼框架能够利用简单的编程模型将大规模数据集分发于计算机集群当中。其尤为擅长处理大规模数据并使其可用于本地设备当中。作为Hadoop的开发方，Apache亦在不断强化这款工具以提升其实际效果。

　　3. Storm

　　同样来自Apache的Storm是另一款伟大的实时计算系统，能够极大强化无限数据流的处理效果。其亦可用于执行多种其它与大数据相关的任务，具体包括分布式RPC、持续处理、在线机器学习以及实时分析等等。使用Storm的另一大优势在于，其整合了大量其它技术，从而进一步降低大数据处理的复杂性。

　　4. Plotly

　　这是一款数据可视化工具，可兼容JavaScript、MATLAB、Python以及R等语言。Plotly甚至能够帮助不具备代码编写技能或者时间的用户完成动态可视化处理。这款工具常由新一代数据科学家使用，因为其属于一款业务开发平台且能够快速完成大规模数据的理解与分析。

　　5. Rapidminer

　　作为另一款大数据处理必要工具，Rapidminer属于一套开源数据科学平台，且通过可视化编程机制发挥作用。其功能包括对模型进行修改、分析与创建，且能够快速将结果整合至业务流程当中。Rapidminer目前备受瞩目，且已经成为众多知名数据科学家心目中的可靠工具。

　　6. Cassandra

　　Apache Cassandra 是另一款值得关注的工具，因为其能够有效且高效地对大规模数据加以管理。它属于一套可扩展NoSQL数据库，能够监控多座数据中心内的数据并已经在Netflix及eBay等知名企业当中效力。

　　7. Hadoop MapReduce

　　这是一套软件框架，允许用户利用其编写出以可靠方式并发处理大规模数据的应用。MapReduce应用主要负责完成两项任务，即映射与规约，并由此提供多种数据处理结果。这款工具最初由谷歌公司开发完成。

　　8. Bokeh

　　这套可视化框架的主要目标在于提供精致且简洁的图形处理结果，用以强化大规模数据流的交互能力。其专门供Python语言使用。

　　9. Wolfram Alpha

　　这是一套搜索引擎，旨在帮助用户搜索其需要的计算素材或者其它内容。举例来说，如果大家输入“Facebook”，即可获得与Facebook相关的HTML元素结构、输入解释、Web托管信息、网络统计、子域、Alexa预估以及网页信息等大量内容。

　　10. Neo4j

　　其官方网站将这款工具称为图形数据库技术的下一场革命。这种说法在一定程度上并不夸张，因为此套数据库使用数据间的关系以操作并强化性能表现。Neo4j目前已经由众多企业用于利用数据关系实现智能应用，从而帮助自身保持市场竞争优势。

End.

如果对软件测试感兴趣，想了解更多的软件测试知识，请大家关注“51Testing软件测试网”百家号。

作者：吴彬彬

我们在生活中，会经常听说两种推理模式，一种是归纳 一种是演绎，这两种思维模式能够帮助数据分析师完成原始的业务逻辑积累，在此基础上快速定位业务问题，提升分析效率，但是对于刚入门的数据分析师，在项目经验不足的前提下，如何快速完成项目的分析报告？ 这里引进一种外展推理的思维模式，方便入门分析师的完成日常的工作。

那什么是外展推理模式呢？

在麦肯锡思维模式中它将人的推理过程涉及的实体分为三个部分：规则，情况以及结果。

规则: 通常是对这个世界的看法；情况：就是这个世界存在的已知事实；结果：将规则用于情况，预期要发生的事儿。

这三个任何一个实体都可以作为推理的起点，然而起点不同意味着，推理的方法也有所差异。

以规则为起点的推理方法可以称之为演绎推理。

举个例子，如果平时不努力，考试成绩将不及格(规则)；现实中a平时不努力(情况)；所以a考试不及格(结果)。

以情况为起点的推理方法就是归纳推理。

a平时不努力(情况)；a考试不及格(结果)；所以a考试不及格的原因可能是平时不努力。

以结果为起点的推理方法就是外展型思维方法。

a考试不及格(结果)，考试不及格通常是由于平时不努力(规则)，检查是否平时不努力(情况)。

从日常工作中，我们可以发现，外展推理的思维模式十分切合日常数据分析师的多维分析定位原因的工作模式，是数据分析师尤其是入门数据分析师最应该具备的一种思维逻辑，那如何进行外展推理呢？外展推理用大白话来说就是强迫自己思考产生问题的各种可能原因，之后的重点就是收集资料，以证明是这些原因或不是这些原因。在工作过程中MECE结构化分解是主要手段，按日常的工作可以简化如下三个流程：

将所思考的问题的相关因素全部罗列出来。对所有相关的因素进行层级和相关性比较，分离不同层级的因素，合并同一层级中相同的因素，确保各因素的独立性。按照正确的逻辑关系，把各因素进行排列组合。

如下图：我们可以将问题进行分解，分解的原则为

各部分之间相互独立 （Mutually Exclusive）所有部分完全穷尽 （Collectively Exhaustive）

在此基础上按层级进行数据分析定位，找到最细的原因。

在工作中，我们主要会用到的分解方法有这两种，

按业务职能结构划分，比如渠道，运营，功能等相关模块，将相关指标映射到主要模块，通过简单快速的沟通，能快速的定位问题原因，但是缺点是分析结果不够直接，依赖外部资源信息搜集。按因果结构划分（指标分解）营收=日活*付费率*arpu等指标因果关系进行划分，通过定位指标波动，定位最细指标，辅助维度下转，能够清楚的问题原因，该方式是较为稳妥的方式，是日常工作中的主要方式，但是缺点是需要构建相对完整的指标逻辑体系。

如上两种分解方法针对不同的项目要求进行组合应用，但是外部资源搜集及完整的指标逻辑体系训练是入门数据分析师到资深分析师最难跨越的两道门槛，在经过阶段训练后，逐步利用归纳和演绎的思维，提升业务熟悉程度，完成业务的初始积累后，后续的分析过程中就可以逐步减少拓展推理的层级及组合，逐步提升问题原因定位的效率。

网易有数：企业级大数据可视化分析平台。面向业务人员的自助式敏捷分析平台，采用PPT模式的报告制作，更加易学易用，具备强大的探索分析功能，真正帮助用户洞察数据发现价值。可免费试用。

来自：数据观 https://shujuguan

DT时代，我们每天都会收获来自各种渠道的海量数据，它们是对我们上一步行动的反馈，但人脑消化数据的能力却是有限的——如何及时洞察数据中的涵义，就需要数据可视化工具的帮助了。然而，图表的类型非常丰富，如何做出正确的选择，达到“一图胜千言”的效果呢？

［数据的五种关系］

首先，我们需要了解，数据通常包含五种相关关系：构成、比较、趋势、分布及联系。

构成

主要关注每个部分所占整体的百分比，如果你想表达的信息包括：“份额”、“百分比”以及“预计将达到百分之多少”，这时候可以用到饼图。

比较

可以展示事物的排列顺序——是差不多，还是一个比另一个更多或更少呢？“大于”、“小于”或者“大致相当”都是比较相对关系中的关键词，这时候会首选条图。

趋势

是最常见的一种时间序列关系，关心数据如何随着时间变化而变化，每周、每月、每年的变化趋势是增长、减少、上下波动或基本不变，这时候使用线图更好地表现指标随时间呈现的趋势。

分布

是关心各数值范围内各包含了多少项目，典型的信息会包含：“集中”、“频率”与“分布”等，这时候使用柱图；同时，还可以根据地理位置数据，通过地图展示不同分布特征。

联系

主要查看两个变量之间是否表达出我们预期所要证明的模式关系，比如预期销售额可能随着折扣幅度的增长而增长，这时候可以用气泡图来展示，用于表达“与……有关”、“随……而增长”、“随……而不同”变量间的关系。

对信息中包含的5种关系，可以简单归纳如下：

构成：占总体的百分比

比较：项目的排名

趋势：如何随着时间变化

分布：项目的频率情况

联系：变量之间的关系

［图表的具体适用场景］

下面，我们具体来看一下图表特点及适用场景：

以下图表均制作于数据观

条图

条图表达比较关系，按照强调的方式可以排列任何顺序，适用于高亮Top3或Top5数据，如在零售行业中统计畅销品的销售情况就是很好的应用。它是最通用的一种图表，应在所有的图集使用中占到25%。

柱图

柱图用高度反映数据差异，用来展示有多少项目（频率）会落入一个具有一定特征的数据段中，比如分析公司人员构成是否存在老龄化现象，可以通过柱图看到25岁以下的员工有多少，25岁到35岁之间员工有多少等这种年龄的分布情况。同时，柱图还可以用来表示含有较少数据值的趋势变化关系。

分析图形有单指标柱图、多指标柱图以及堆叠柱图类型。

（1）、单指标柱图

（2）、多指标柱图

（3）、堆叠柱图

线图

线图可用来反映随时间变化而变化的关系，尤其是在趋势比单个数据点更重要的场合。

在柱图与线图的选择过程中，可以考虑数据的本质。柱图强调的是数量的级别，它更适合于表现在一小段时间里发生的事件，产量的数据很适合这个领域。线图强调的是角度的运动及图像的变换，因此展示数据的发展趋势时最好使用它，存货量就是一个很好的例子。柱图和线图的使用应占到图集看板的50%左右。

线图类型中可以有单线图，还可以在图中进行多指标趋势性比较。

（1）、单线图

（2）、多指标趋势性比较

饼图

构成比例关系时，最好使用饼图，给人一种整体的形象，可以展示每一部分所占全部的百分比，比如产品A预计销售额占到所有产品销售额的最大份额。

为了使饼图尽量发挥作用，在使用中不宜多于6种成分。人的眼睛比较习惯于按顺时针方向进行观察，所以应该讲最重要的部分放在紧靠12点钟的位置，如果没有哪一个部分比其他部分更加重要，那么就应该考虑让它们从大到小的顺序排列。

数据观除了有标准饼图，还提供中空饼图和环形饼图两种类型。

（1）、标准饼图

（2）、中空饼图

（3）、环形饼图

Attention！不适用饼图的情况

饼图是通过面积呈现数据的变化，当各指标所占比例接近时，无法直观的判断面积的大小，此时选择条图来呈现，规律就更加清晰。饼图是应最少使用的图表，在所有的陈述和报告中其使用率应少于5%。

错误的图表类型：

正确的图表类型：

气泡图

气泡图判断两个变量之间是否存在某种关系，可反映五维数据。每个气泡的不同颜色或标签，以及气泡点大小，都可以反映一个维度。一般使用率为10%。

KPI图

最直接显示结果，适用于高亮关注指标值或者差异，可以通过主要指标和次要指标进行体现。信息量避免过多，越直观越好。

面积图

与折线图较为类似，面积图强调变量随时间而变化的程度，也可用于引起人们对总值趋势的注意。用填充了颜色或图案的面积来显示数据，面积片数不宜超过5片。

漏斗图

漏斗图用来表示逐层分析的过程，从一个总值（最顶端），不断除去不关心的部分，最终得到关心的值的过程。

多用于业务流程比较规范、周期长、环节多的流程分析，通过比较各个环节宽窄大小，能够直观地发现和说明问题所在。常见应用场景：电商网站、营销推广、CRM等。

1）电商网站：通过转化率比较能充分展示用户从进入网站到实现购买的最终转化率。2）营销推广：反映搜索营销的各个环节的转化，从展现、点击、访问、咨询，直到生成订单过程中的客户数量及流失。

3）CRM：销售漏斗图用来展示客户各个阶段转化比较。

金字塔图

金字塔图用于展示类似金字塔的层级结构和数据量。例如某个国家的收入分配，金字塔顶部显示高收入类别，逐渐降低到代表低收入的底部。

雷达图

雷达图可以用来表现一个周期数值的变化，也可以用来表现特定对象主要参数的相对关系。

雷达图多用于在财务分析中，用来分析企业负债能力、运营能力、盈利和发展能力等指标。

地图

地图是信息密度最大的数据可视化方式，人们在日常生活中就使用地图，所以能直观理解地图。

数据观基于不同的视觉化原理提供三种地图：区域地图、散点地图和热力地图。

（1）、区域地图

区域地图是按照国家、省市行政区划分，用来展现地理信息，以及与地理位置有关的信息，指标的多少可以用颜色深浅区分。

（2）、散点地图

散点地图基于高德地图实现，通过定位经纬度，用散点来表示所在位置的信息指标。

（3）、热力地图

热力地图以特殊高亮的形式显示访客所在的地理区域的图示，不同颜色反映不同区域密度的分布。

表格

表格可以通过拖拽所关心的指标，如通过一级、二级分类，了解更加明细的数据，起到数据透视表功能。

综合使用

饼图、柱图、条图、线图、气泡图可以组成可视化报告90%图形，其他视觉化展示可以将图表组合起来综合使用。

以上就是为大家提供的图表基本使用原则，适用于日常工作中大多数的图表制作。

最后，希望大家都可以需要根据自己想要表达的信息选择合适的图表，让数据可视化帮助我们的大脑减负，替我们的数据说话。

俗话说得好“泰山不拒细壤，故能成其高；江海不择细流，故能就其深。”清晰的思路在我们的实际工作中是非常重要的，能够让我们认真的去思考自己的岗位工作。可以让我们更高效的去完成工作任务。

一个优秀的数据分析师应该以价值为导向，放眼全局、立足业务、与人为善，用数据来驱动增长。所以清晰的思路对数据分析师尤为重要。下面是小编整理的数据分析师的常见分析思路。

九种基本思路

简单趋势

通过实时访问趋势了解产品使用情况。如总流水，总用户，总成功率，总转化率。

多维分解

根据分析需要，从多维度对指标进行分解。例如新老用户、支付方式、游戏维度、产品版本维度、推广渠道、来源、地区、设备品牌等等维度。

追踪思路

运营的问题，是追踪出来的，不是一次就看出来的。所有的数据都是靠积累和沉淀才能发现问题，单一的数字没有任何意义，只能称为 “数值”。

对比思路

单独看一个数据没有太多感觉，必须和另一个数据对比才更有感觉。通过对比，才能发现自己差距到底在哪，找到优化的正确方向。

用户分群

在精细化分析中，常常需要对有某个特定行为的用户群组进行分析和比对；数据分析需要将多维度和多指标作为分群条件，有针对性地优化产品，提升用户体验。

细查路径

数据分析可以观察用户的行为轨迹，探索用户与产品的交互过程；进而从中发现问题、激发灵感亦或验证假设。

留存分析

留存分析是探索用户行为与回访之间的关联。一般我们讲的留存率，是指“新增用户”在一段时间内“回访”的比例。通过分析不同用户群组的留存差异、使用过不同功能用户的留存差异来找到产品的增长点。

A/B 测试

A/B测试就是同时进行多个方案并行测试，但是每个方案仅有一个变量不同；然后以某种规则（例如用户体验、数据指标等）优胜略汰选择最优的方案。数据分析需要在这个过程中选择合理的分组样本、监测数据指标、事后数据分析和不同方案评估。

上海数据分析：shcpda

　　在2017年的世界物联网大会上，马云的一段演讲很引人注目，他的原话是这样的：未来的数据分析师都将被人工智能取代。

马云说作为一个数据分析刚刚入行的新人，听到这句话时顿时感觉恐慌，自己即将要被替代掉了吗?

　　这篇文章写写给那些已经入行数据分析，或者准备入行数据分析的人，希望我的一些看法能对你有所帮助，如有谬误，期待您的指教：

　　本文想讨论的主要有以下几个方面的问题：

　　1.数据分析这个职位到底是什么?

　　2.人工智能可以替代掉的是哪些人?

　　3.作为数据分析人，我们应当如何避免自己被替代?

　　1.数据分析这个职位到底是什么?

　　从去年开始，随着大数据概念的兴起，数据分析这个词也逐渐火了起来。在微信公众平台，我们能看见非常多有关数据分析，数据挖掘方面学习的文章;在知乎社区里，也是各种爬虫教程，数据分析教程.......

　　上面这个趋势图师在百度是关键词“数据分析师”的一个搜索趋势，从这个趋势我们可以看出来，从2015年开始，这个词的关注量就产生了一个跳变，并且在2016,2017这两年也都在稳步的增长着。当然这只是在百度这个入口的搜索趋势，关注数据分析的人群多是一些高校学生，或者互联网行业的从业者们，他们信息获取的聚集平台知乎和微信公众平台的数据这里还没有统计，这里就暂时以百度指数作为一个范本吧。

　　既然都在说数据分析，那么这个数据分析师到底是什么呢?这里给一段来自百科的解释：

　　从上面的词条中我们可以提炼出以下几个关键词：数据搜集，数据整理，分析，研究，评估。而对于这个词我个人的理解是：利用数据帮助企业实现增长。我们的最终目的是实现企业的增长，这个增长可能是企业利润的增长，产品用户的增长等等，这是我们分析的最终目的，而数据仅仅只是我们作为数据分析师这个职位，切入增长工作的一个入口或者说手段而已。

　　我在拉钩上找了一个比较有代表性的企业招聘需求，我们来看一看企业需要的数据分析师是什么样的?

　　从上面的招聘需求描述我们可以看出来，企业需要的的是通过数据产出对企业发展有驱动价值的信息。而数据分析师则充当了中间的这个信息转换的角色，将数据信息转化为发展决策信息。

　　说道这里，不只你对数据分析这样一个角色的认识是否清晰了呢?

　　2.人工智能可以替代掉的是哪些人?

　　人工智能作为一门计算科学，它所做的事就是从过去的事物之间找到一定的规律，并以此来确定当下自己面临的事应该如何去做，它的决策基础是数据，是概率(个人理解，欢迎指教)。

　　因此对于很多重复性的工作，人工智能可以很快的学会。通过我们过往的一些操作数据，人工智能可以就可以以此来当做自己的经验，飞速学习，然后掌握这个技能。

　　就比如说之前百科词条里面的数据收集，整理，这些可以说都是一些内容相对固定，切重复性高的工作，人工智能可以轻松学会。包括我们的一些简单的分析，比如趋势分析展示，简单的数据报告等都可以被人工智能取代。

　　举一个简单的例子，小王是某公司的一名数据分析师，每天他都需要向领导出一份数据报告，报告今天产品的数据波动。于是乎，小王通过数据库，提取了今天的用户活跃数据，然后将这些数据导入了Excel当中，通过Excel他做了一份统计图表，反映今天的用户活跃时长同比，环比，各个渠道的转化情况等，然后递交给领导，日复一日。突然有一天领导指着用户增长数据表上的一个数据下降拐点问小王，这个点的数据是怎么回事啊?小王一脸懵逼，只知道数据说本身本身就是这个样子。

　　后来一个月后，小王被辞退了，公司购买了一套BI报表系统，日报，周报，月报，实时数据后可以看，老板觉得这个BI系统好用多了，就这样小王这个数据分析师就被人工智能替代了。(以上故事纯属虚构，仅做说明之用)

　　上面的场景我想当下也正在上演着，未来也会有更多类似的场景上演，那些重复性的劳动迟早都会被人工智能替代的。

　　我们反观一下自己的工作，有哪些是高重复性的呢?包括取数，做报表，一些简单的回归预测等等，人工智能完全可以做的更好。

　　3.作为数据分析人，我们应当如何避免自己被替代?

　　上面提到的人工智能它是基于数据和概率产生的，凡是可被数据化，高重复性的工作都是可被替代的。那么什么才是不可被替代的呢?

　　我们人和人工智能最大的区别就在于我们人是有情感和思想的，而机器没有(起码现在没有)。因此想要在人工智能手下不被取代，我们的工作重心应该是向人靠拢的。我个人认为，不会被替代的有以下两点：

　　1>对业务的理解

　　就像上面的那个例子一样，当数据出现下滑拐点时，一定是有原因的，而这个原因是由我们的业务变化引起的，这个时候相关的东西就多了，可能是我们公司竞品的上线，广告策略的调整或者说某个社会热点事件的发生等等。这些内部或外部因素的发生才引起了数据的变化，只有深刻理解我们的业务，我们才能在这多个因素之间快速定位到问题的根本原因，并产出解决的方案，为企业的下一步动作进行决策支持。

　　在这一点上，目前的人工智能还是无法学习的，因为它所涉及的因素太多，随机性太强，它需要人的思考与判断。

　　2>对人性的理解

　　不管是什么行业，我们都是在做一个为人服务的行业。我们所服务的用户是活生生的人，我们企业的数据变化产生时，我们反思业务上的原因。更应该思考的是用户为什么会产品这样的行为，用户的情感发生了哪些变化。人有七情六欲，用户的每一个行为，都是其内心活动变化的体现。

　　在人性这一点上，我相信计算机在可见的未来还是无法超越人类的，这也是我们最大的优势。

　　那么，作为数据分析师，我们应该如何做，从而避免自己被替代呢?

　　1.拓宽自己的知识面，既要走进数据当中去，又要大胆从数据中走出来：

　　数据是客观的，而理解数据则是主观，当我们对业务，对行业，对用户有不一样的理解时，我们解读数据的角度和深度也是自然不一样，而这些所依靠的就是一个广阔的知识面。产品，运营，营销，技术都了解一点，不断拓宽自己的认知，让自己从数据中走出来。

　　2.营销学，社会心理学的知识多了解一些，加深自己对用户行为的理解：

　　不夸张的讲，我们今天看到的很多概念，很多用户模型，策略等等，基础都来自于营销以及社会心理学，它所诠释的是“用户为什么会这样做?”通过拓宽这些知识，并不断加以应用，我们对用户的理解自然会加深，我们也更加能明白用户行为以及背后的为什么?

　　3.拥抱新技术，新变化，用新技术武装自己：

　　人工智能是一门系统的学问，我们不能说随随便便的就掌握它。但是我们可以去了解它，应用它。比如当下比较火的机器学习，作为数据分析师，我们可能无需深刻理解它的含义，但我们可以学会使用它。一些编程语言，如Python就有很好的扩展包支持，我们仅需要一些编程基础，并加以练习，便可以让新技术为我所用。

　　总之，如果你想依靠某个固定的技能或者职位在今天变化的世界生存，基本是不现实的。唯有不断升级，不断学习才能跟上变化越来越快的时代(ps:莫畏科技是上海技术为主导的科技创新型企业，主要专注于APP开发设计制作，计算机软件开发，有关于互联网开发业务)。

数据其实是非常的客观的，但是数据本身并不会告诉你多少有价值的东西，其中蕴涵的内容才是我们应该去发掘的。

我们通过数据分析将现实中的问题简化成数字问题，从而得到解决问题的建议。

需要注意的是，数据分析只是工具，不是目的。我们进行数据分析是为了让分析结果能反映现阶段的情况，并对下一步计划产生指导意义，所以千万不要为了分析而分析。

1、明确目标

一切分析的基础都是需要明确目标，在此之前，不要开始任何分析，因为那很可能是无用功。

一般来说，目的主要有以下三种。

（1）分析现状，反映目前的状况，并且帮助我们制定下一步计划。

（2）分析问题，针对出现的问题，分析其中的原因并找到解决办法。

（3）分析变化，当产品的情况出现变化时反映变化的情况，并找出原因，有针对性的进行下一步行动。

2、明确分析范围

因为数据的量和维度都非常的多，我们在明确目标后，就必须选定我们分析的范围，明确的分析范围能避免分析报告内容太多，而且不深入。

需要注意的是，确定范围后我们就需要进行数据采集了，但是具体要采集什么样的数据，不是我们平常的“自然语言”描述就可以实现的，需要抽象成“数学语言”表达出来。

3、数据采集

确定了范围后，我们就可以采集数据了，需要采集哪些数据也是有讲究的，它也是需要我们用“数学语言”来表达的。一般来说，需要采集的数据分为以下3类，这是最基础的：名称、数量和转化率。

（1）名称：某些数据的结果不是以数字形式展现的，比如某某功能

（2）数量：这个比较简单，比如：某某功能的点击次数

（3）转化率：有些数据单独的看，是不能说明问题的，例如：光看一个功能的点击次数，我们不能得出这个功能是否吸引人，是否需要改进，我们还需要看完成这个功能的人数。然后将两个数据相除后得到这个功能的转化率。

以上都是一个分析中最基础的指标，在实际数据分析中，还会有更多更细致的维度。比如：用户点击这个功能后，停留时间，退出的数量，在中途放弃的数量等等。

4、数据清洗

采集数据后，这些数据并不是直接就可以用的。因为可能会有一部分“脏数据”会污染我们的数据，进而影响我们的分析结果。这就需要进行数据清洗，将不符合要的“脏数据”清洗掉。

比如，某个用户一直在点击某个功能，每秒固定点击1次，然后退出，那么这个“用户”很可能是个机器，而不是人。这些数据是不能用的。

一般“脏数据”有以下几个类型。

（1）频率异常：正常用户的使用一个功能的频率一般会保持在一定范围内，不会太频繁。

（2）总数异常：比如某一个用户一个人就拉高了整个数据的水平，让某个功能点击率陡然上升。

（3）行为异常：这个就比较复杂了，对应不同的业务有不同的理解。比如：比如一个购物APP，一个用户的多次的下单，然后退货，这类数据就是应该排除的。

5、数据整理

收集完成后，我们需要对收集到的原始数据进行整理。因为收集出来的数据必然是比较乱的，不能直接拿来分析。整理分析分为汇总和拆分两种。

（1）汇总

有些数据比较杂乱无章，我们要按照某个维度汇总才能进行效果的观察。比如：我们需要观察某个功能上线后用户行为的变化，就可以按照上线前和上线后的用户行为数据进行分类汇总，然后通过两份数据的对比来得到结论。

（2）拆分

有些原始数据并不足够细致，需要我们依据数据的关系进行数据拆分。例如，一个功能的入口可能有多个，我们就需要确认每个入口的量，甚至完成整个功能的量，这些数据会让我们更加了解我们的用户行为。

6、数据对比

整理完数据后，我们要进行数据对比。这也是数据分析中非常重要的步骤，因为数据分析的结果绝大多数都来自于对数据的对比。比如：一个功能改进前和改进后的转化率，肯定要经过对比才能知道我们的改进是不是有效的，有效多少。通常对比方法有以下几种。

（1）时间对比。通过时间节点前后进行对比数据。例如：某个营销活动，促进注册、活跃等，我们就可以得出这个营销活动能够带动日活的结论。

（2）空间对比。在我们生活的世界中，因为人们所存在的空间不同，会有不同的行为。比如：通过数据分析，我们会发现，东北的羽绒服效率比海南高，于是我们就可以判断羽绒服在东北更加畅销。

（3）人群属性对比。在用户画像中也提高过。不同的年龄层对于不同事物的看法不同，会导致某个功能在不同人群中的差异性。

依据分析目的灵活地选定对比范围，能让我们从数据中挖掘到我们想要的东西。

7、原因探寻

数据，通过对比呈现出来，能够反映一定的现象，但是造成这些现象的原因还需要我们来寻找。

原因的分析方法有很多，可以正推导、反推导。我们可以结果，那假设原因，再去求证。或者通过某个功能的整个流程进行梳理和复盘，结合数据来分析每一步发生这种情况的原因。

或者通过数据来复盘某一个活动，来分析活动输出的这种数据或好的或坏的原因是什么。

8、展现结果

完成上面的7步，我们的数据分析报告也就差不多了，当然我们必须形成一个比较完整的文档来反馈给相关人员。

我们可以把报告分成以下3部分。

（1）数据分析背景：向大家交代分析的背景与原因。

（2）主要结论：给出主要结论，方便不需要了解细节的人阅读，或领导。

（3）具体分析过程：向大家说明分析的步骤并展示具体数据。

这样就完成了一篇还比较靠谱的数据分析报告。

对于超市数据分析，其实问题可以主要为两方面，一方面是超市数据分析应该关注哪些指标？另一方面是超市数据分析用什么样的软件会更方便，最好这个软件就直接能解决我分析的困难。

一、使用什么样的软件？

简单的数据分析Excel就可以完成，如果是复杂的分析，可能就需要一些用到一些BI工具。BI分为传统BI和敏捷BI，在敏捷BI中国外做的比较好的有Tableau，国内做的比较好的有 Yonghong BI ，Tableau有很多个人的分析师在用，企业里用 Yonghong 的比较多。

二、应该关注哪些指标？

对于超市来说，需要关注的指标其实蛮多的，针对不同的目的，我们可以有不同的指标体系。我们可以看一下这张图。

我们可以看到有供应链、物流、财务、市场、门店、销售、会员这七个模块，而每个模块中又会有具体的分析内容。我们说几个比较常用的

1.用户分析

用户分析主要是对顾客群体的购买行为的分析。

通过对用户的年龄、人均购买次数、购买总金额、消费地区、购买途径等数据进行分析，深入洞察消费者购物行为和偏好，寻找到高价值客户的消费规律，通过精准营销，提升销售额。

2.门店分析

实体门店仰赖营业额作为绩效指标，但对于营业额不佳的门店，却难以有更进一层的数字观察与改进。通过数据分析，进行门店客流追踪，不仅能根据日、周、月、年等做周期分析、跨门店分析，还能结合POS营业额等销售数据做整合分析，进而预测下一周期的营运绩效，助力零售商达到经营效益最大化。

3.商品分析

商品分析的主要数据来自销售数据和商品基础数据。

主要分析商品的类别结构、品牌结构、价格结构、毛利结构、结算方式结构、产地结构等，从而产生商品广度、商品深度、商品淘汰率、商品引进率、商品置换率、重点商品、畅销商品、滞销商品、季节商品等多种指标。通过对这些指标的分析来指导企业商品结构的调整，加强所营商品的竞争能力和合理配置。

4.渠道分析

如果企业同时运营着线上渠道和线下渠道，需要对加盟商的情况做到心里有数，因为库存和缺货是所有的零售迫切解决的一个难题。

如果零售商对用户的需求没有进行精准的预测，则会导致供需失衡，造成高库存或者是缺货状态，最终将造成成本上的浪费。通过对渠道数据进行分析，可以对供需平衡进行高效管控，降低成本。

这里分享一个711便利店做超市数据分析的案例。

711便利店的收银台键盘区域有这样几个键：男、女，年龄20-30、30-50、50-70（大概这样一个区间），然后在每次你付款结束后，他会很快地建立出一个用户画像出来。比如你今天买了一本《男人装》的杂志，在收银台后端的数据就会显示为，20-30岁女性，购买商品为xx杂志。通过对每一个用户数据的记录，711的这个店铺就能很快知道，我这个店周围的用户群体大致的一个画像，是年轻人多，还是老年人多，他们主要都喜欢购买哪些商品，主要集中在哪个时间段。

有了这些数据，711就能以此调整自己的商品供应，实现了相对精准的营销。所以你表面上看所有的711便利店都是一样的，其实里面卖的商品品类是根据这个店周围的用户属性进行过微调的。

其实这个案例就是以上有提到的用户分析、门店分析、商品分析的一个最简单的方式。通过数据分析就可以解释：WHO——购买和使用产品的消费者是谁、WHEN——在什么时候购买、WHERE——在什么地方购买、WHAT——消费者购买了什么产品、WHY——消费者为什么购买。

这样超市就可以知道顾客消费偏好，提高营销决策水平，实现销售额的高速增长了。

希望以上内容对你做超市的数据分析有所帮助。

推荐一些简单的，日常工作能实际应用，或者个人学习数据分析、可视化有必要的工具。

希望大家能真的用起来！

推荐顺序：

能中文版的，尽量不推荐没汉化的，密密麻麻我也头疼；

能“傻瓜式”使用的，尽量不写代码，怕把你们吓跑；

能免费的尽量不付费，破解咱不提倡哈。

本文章提要：

纯可视化图表生成（3个）可视化报表类（1个）商业智能分析（3个）数据地图类（2个）可视化大屏类（3个）数据挖掘编程语言（2个）

纯可视化图表生成类——适合开发，工程师

Echart

一个纯Javascript的数据可视化库，百度的产品，常应用于软件产品开发或网页的统计图表模块。可在Web端高度定制可视化图表，图表种类多，动态可视化效，各类图表各类形式都完全开源免费。能处理大数据量和3D绘图也不逊色，据说结合百度地图的使用很出色。

Echart还是多用于一些开发场景的，但它也衍生了一个0代码的图表生成器—“百度图说”，我体验了下，操作基本上就是选择图标，把数据复制过去，然后生成图表，保存为图或者代码嵌入。

AntV

AntV又是蚂蚁金服出品（阿里系）的一套数据可视化语法，貌似是国内第一个采用The grammar Of Graphics这套理论的可视化库。antv带有一系列的数据处理API，简单数据的数据归类，分析的能力，被很多大公司用作自己BI平台的底层工具。

Highcharts

说道Echarts，都会拿来与Hicharts对比，两者有点像WPS和OFFICE的关系，倒不是说Echarts怎样，日常图表动效Echarts完全够了。

Highcharts同样是可视化库，只不过是国外的，商用的话需要付费。其优势是文档详细, 实例也很很详细，文档中依赖哪些js脚本，css都十分详细，学习和开发都比较省时省力，相应的产品稳定性较强。

可视化报表类——适合报表开发、BI工程师

FineReport

一个报表软件，企业级的应用。用于系统的开发业务报表，数据分析报表。也可集成在OA，ERP，CRM等应用系统内，做数据报表模块，也可以开发成财务分析系统，就看你如何驾驭数据了。

两大核心功能是填报和数据展示，但我觉得比较惊艳的一点是，它内置了大量的图表和可视化动效，可视化很丰富，完全没有印象中做报表那种古板的风格。多以它能做出格式各样的dashboard、甚至是可视化大屏，一点不虚。

我之前工作有段时间拿finereport，感触最深的是开发报表很省力，10张门店报表以往做10张excel的，在他里面就是一个参数查询，然后批量导出，用一个模板。

所以有号称：

工作用小屏，决策用大屏。办公用微软，经营用帆软。

商业智能分析——适合BI工程师、数据分析师

Tableau

几乎是数据分析师人人会提的工具，内置常用的分析图表，和一些数据分析模型，可以快速的探索式数据分析，制作数据分析报告。

因为是商业智能，解决的问题更偏向商业分析，用 Tableau可以快速地做出动态交互图，并且图表和配色也非常拿得出手。

FineBI

自助是BI工具，也是一款成熟的数据分析产品。内置丰富图表，不需要代码调用，可直接拖拽生成。可用于业务数据的快速分析，制作dashboard，也可构建可视化大屏。

有别于Tableau的是，它更倾向于企业应用，从内置的ETL功能以及数据处理方式上看出，侧重业务数据的快速分析以及可视化展现。可与大数据平台，各类多维数据库结合，所以在企业级BI应用上广泛，个人使用免费。

PowerBI

软继Excel之后推出的BI产品，可以和Excel无缝连接使用，创建个性化的数据看板。

数据地图类

很多工具都能实现数据地图，比如上面提到的Echarts、finereport、tableau等。

这里强烈安利的Power Map 2016，可以快速体验一把爽。

还有比较快速的，地图慧

内置的是百度地图，选择模板、上传数据、保存地图很简单的3步。

可视化大屏类

阿里DataV

天猫双十一大屏就用DataV做的，是阿里云的拖拽式可视化工具，主要用于业务数据与地理信息融合的大数据可视化，像一些展览中心，企业管控中心用。

不需要编程，通过简单的拖拽配置就能生成可视化大屏或者仪表盘。

FineReport

上面提过，这个工具它也能做可视化报表，也能做大屏。

因为后端通常连接业务系统数据，所以可以实时连接业务数据，做企业的一些经营数据展示。比如展览中心、BOSS驾驶舱，还有城市交通管控中心、交易大厅等。

数字冰雹

产品技术不了解，也只是有幸在一次活动上见过。

专注于做数据图像、三维处理、数据分析等相关业务，通过图像可视化方式呈现数据分析，在智慧城市、工业监控用的比较多。

就是商业的，不过官网上有很多大屏设计，可以提供灵感。

数据挖掘编程语言——适合技术性数据分析师、数据科学家

典型如R和Python

R-ggplot2

Python

在我们日常工作中经常需要用到数据分析，但一些如回归，聚类、概率分析方法比较复杂，学习成本高，也不一定能用得上。实际分析的时候，有四种很简单的分析方法非常实用，这四种就是：对比、细分、转化和分类。只要掌握了这四种思想，基本上已经可以应付日常的分析工作了。

一、对比

对比又可以分为纵向对比和横向对比，指标间的横向对比帮助我们认识数据的合理性和分析是否有问题，而指标纵向的对比，如在时间维度上的对比，既可以做趋势分析也可以判断是否达到预期值。

如店铺的订单量，可以把最近30天的订单显示在坐标轴上，这样就可以很明显的看到最近的订单数量是否达到了预期，当然我们也可以以周或者月（或者季度，年等等）为单位。做对比一定要考虑实际的场景，因为今天和昨天的性质可能未必一样，例如今天可能是周六，或者恰好是节假日等等。所以我们在做纵向对比的时候，两个对比的数据是否合理，是否是同一性质。比如看最近30天的趋势数据，我们还可以考虑环比和同比，今天和上个月的今天，今年的双11和去年的双11进行对比。横向的对比，比如一个地区这周的成交额上涨了10%，那当地的子公司是不是应该高兴呢？但是例如其它子公司的店铺这周的成交额都上涨了20%！那这个子公司可能已经被其它子司拉大了距离。也就是说，我们对一个数据结果判断好不好，这是需要一个参照物的。

二、拆解

通过拆解方法我们对分析对象进行逐步拆分，最终定位到问题点。拆解的角度可以有很多，越细分越能准确描述问题。比如零售中的人货场分析，就是将零售中的问题，逐步定位某一个或几个细节上的问题，最终找出成本最低的解决方式。举个栗子，通过报表知道了这个月成交额下降了这个问题后，现在我们用拆解来找出问题的所在：

成交额 = 客单价 X 客户数。对比客单价和客户数的趋势，就可以判断出影响成交额变化的主要因素是什么，如果是客户数问题，我们则对客户数进行细分，如果是客单价问题，则对客单价进行细分。

客户数 = 新客户 + 老客户。老客户 = 二次成交客户 + 多次成交客户

一段时间内的新客户反映的是电商的引流效果，而老客户反馈的是电商的产品质量，服务质量和客户维护营销等。

客单价 = 成交价 X 人均成交数。 均成交数这是电商中一个非常值得关注的指标，它能最直接地反馈出电商的服务质量和客户维护营销等方面的效果，如果该值过小表明电商的客户流失率很大，应该重点关注。

成交价 = 件单价 X 连带率。 成交价反馈的通常是导购的能力，促销活动的效果等，成交价的上升或者下跌，反映的问题可能很多，对其进行分解后就很明确了。件单价的变化通常是有促销的力度，商品结构和消费结构（例如季节因素等）变化引起的。带率这个反馈的是店铺内导购的能力，或者促销手段（例如买一送一等）的效果，也是店铺管理人员重点要关注的指标。

拆解的方法其实就是不断用更小的量化指标去细分一个大的指标，从而达到定位问题的目的。

三、转化

拆解的方法可以从纵向定位问题，但是单单细分是不够的。这些指标是从哪里来的，每一个步骤的转化率怎么样，哪一个步骤的转化不好，可以改善？这些通过转化都可以分析出来。

例如我们要分析本周的活跃客户数（有成交的客户数），那么我们就要分析这些活跃的客户数是从哪里来的，梳理一下可以简单分为以下4个步骤：进入平台的客户数 ==》浏览过商品的客户数 ==》下单的客户数 ==》支付成功的客户数。这里4个步骤就会有3个转化率，哪些步骤转化率比较高，哪些步骤转化率比较低，历史趋势怎么样，是否合理，是否有改进的空间等等。通过应用转化的思想，能够有效的指导和优化实际的运营工作。转化的思想就是一种漏斗，每一步其实都会有转化率，通过改善我们的转化率来提高我们的运营业绩。

四、分类

分类就是把一些对象，按照某种规则，划分为若干个类别，然后分析各个类别的特征，并以此来指导我们的行动。分类思想的应用很多，例如对客户的分类，我们可以用RFM分析模型，也可以用简单的利用某个指标的值（例如渠道标识，这样我们就可以分析到各个渠道客户的质量等）。基于这些客户的分类，我们就可以进行精准的客户营销了。在电商或者零售业上，我们经常做的分类还有商品分类，经典的有按照品类分类，或者ABC分类，这些对于我们做商品运营都是非常重要的。

总结：

以上四种其实都是很简单的数据分析思想，而且在日常的运营中也非常实用，但需要注意的是一定要了解自己的业务，只有深入了解业务，才能很好的运用数据分析，并不是自己知道几种统计学的算法，就能做好业务数据分析了。

道家强调四个字，叫“道、法、术、器”。

层次区别：

“器”是指物品或工具，在数据分析领域指的就是数据分析的产品或工具，“工欲善其事，必先利其器”；

“术”是指操作技术，是技能的高低、效率的高下，如对分析工具使用的技术（比如用Excel进行数据分析的水平）；

“法”是指选择的方法，有句话说“选择比努力重要”；

“道”是指方向，是指导思想，是战略。

在数据分析和产品、运营优化方面，数据分析方法是其核心，属于“法”和“术”的层次。

那么如何做好数据分析呢，今天我们来讲讲互联网运营中的十大数据分析方法。

01 细分分析

细分分析是分析的基础，单一维度下的指标数据的信息价值很低。

细分方法可以分为两类， 一类逐步分析， 比如：来北京市的访客可分为朝阳，海淀等区； 另一类是维度交叉， 如：来自付费SEM的新访客。

细分用于解决所有问题。

比如漏斗转化，实际上就是把转化过程按照步骤进行细分，流量渠道的分析和评估也需要大量用到细分的方法。

02 对比分析

对比分析主要是指将两个相互联系的指标数据进行比较，从数量上展示和说明研究对象的规模大小，水平高低，速度快慢等相对数值， 通过相同维度下的指标对比，可以发现，找出业务在不同阶段的问题。

常见的对比方法包括： 时间对比，空间对比，标准对比。

时间对比有三种： 同比，环比，定基比。

例如： 本周和上周进行对比就是环比；本月第一周和上月第一周对比就是同比；所有数据同今年的第一周对比则为定基比。通过三种方式，可以分析业务增长水平，速度等信息。

03 漏斗分析

转化漏斗分析是业务分析的基本模型， 最常见的是把最终的转化设置为某种目的的实现，最典型的就是完成交易。但也可以是其他任何目的的实现，比如一次使用app的时间超过10分钟。

漏斗帮助我们解决两方面的问题：

在一个过程中是否发生泄漏，如果有泄漏，我们能在漏斗中看到，并且能够通过进一步的分析堵住这个泄漏点。

在一个过程中是否出现了其他不应该出现的过程，造成转化主进程收到损害。

04 同期群分析

同期群（cohort）分析在数据运营领域十分重要，互联网运营特别需要仔细洞察留存情况。 通过对性质完全一样的可对比群体的留存情况的比较，来分析哪些因素影响用户的留存。

同期群分析深受欢迎的重要原因是十分简单，但却十分直观。 同期群只用简单的一个图表，直接描述了用户在一段时间周期（甚至是整个LTV）的留存或流失变化情况。

以前留存分析只要用户有回访即定义为留存，这会导致留存指标虚高。

05 聚类分析

聚类分析具有简单，直观的特征， 网站分析中的聚类主要分为：用户，页面或内容，来源。

用户聚类主要体现为用户分群，用户标签法；页面聚类则主要是相似，相关页面分组法；来源聚类主要包括渠道，关键词等。

例如： 在页面分析中，经常存在带？参数的页面。 比如： 资讯详情页面，商品页面等，都属于同一类页面。简单的分析容易造成跳出率，退出率等指标不准确的问题，通过聚类分析可以获取同类页面的准确数据用于分析场景。

06 AB测试

增长黑客的一个主要思想之一，是不要做一个大而全的东西，而是不断做出能够快速验证的小而精的东西。 快速验证，那如何验证呢？主要方法就是AB测试。

比如： 你发现漏斗转化中中间有漏洞，假设一定是商品价格问题导致了流失，你看到了问题-漏斗，也想出了主意-改变定价。但主意是否正确，要看真实的用户反应，于是采用AB测试，一部分用户还是看到老价格，一部分用户看到新价格，若你的主意真的管用，新价格就应该有更好的转化，若真如此，新价格就应该确定下来，如此反复优化。

07 埋点分析

只有采集了足够的基础数据，才能通过各种分析方法得到需要的分析结果。

通过分析用户行为，并细分为：浏览行为，轻度交互，重度交互，交易行为，对于浏览行为和轻度交互行为的点击按钮等事件，因其使用频繁，数据简单，采用无埋点技术实现自助埋点，即可以提高数据分析的实效性，需要的数据可立即提取，又大量减少技术人员的工作量，需要采集更丰富信息的行为。

如： 重度交互（注册，邀请好友等）和交易事件（加购物车，下订单等）则通过SDK批量埋点的方式来实施。

08 来源分析

流量红利消失，我们对获客来源的重视度极高，如何有效的标注用户来源，至关重要。

传统分析工具，渠道分析仅有单一维度，要深入分析不同渠道不同阶段效果，SEM付费搜索等来源渠道和用户所在地区进行交叉分析，得出不同区域的获客详细信息，维度越细，分析结果也越有价值。

09 用户分析

用户分析是互联网运营的核心， 常用的分析方法包括：活跃分析，留存分析，用户分群，用户画像，用户细查等。

可将用户活跃细分为浏览活跃，互动活跃，交易活跃等，通过活跃行为的细分，掌握关键行为指标；通过用户行为事件序列，用户属性进行分群，观察分群用户的访问，浏览，注册，互动，交易等行为，从而真正把握不同用户类型的特点，提供有针对性的产品和服务。

用户画像基于自动标签系统将用户完整的画像描绘清晰，更有力的支撑运营决策。

10 表单分析

填写表单是每个平台与用户交互的必备环节，优秀的表单设计，对转化率的提升起到重要作用。

用户从进入表单页面之时起，就产生了微漏斗，从进入总人数到最终完成并成功提交表单人数，这个过程之中，有多少人开始填写表单，填写表单时，遇到了什么困难导致无法完成表单，都影响最终的转化效果。

以上是常见的数据分析方法，更多应用方法需要根据业务场景灵活应用。