定位思维系列文章之四

定位理论在营销理论非常重要的一环，但是在营销界很多大咖都是蹲着坑拍脑袋决定的。

这是非常不专业的手法!!!

为啥呢？

因为每个人的认知思维是有局限的，每个人都是活在自己的熟知的领域内。

今天我要和你讲的定位，就是要用大白话，最简单的告诉你最复杂的事情，这才叫分享。

（一）拍脑袋定位的2个大坑

先来讲一下，不懂用大数据分析的自媒体人都掉进哪些坑里面去了。

1.客户想要的不是你想给的

2.你觉得很棒的未必有市场

我们每个人的心理都是不一样的，所以我们拍脑袋进行的想法有90%的可能是经不起考验的，这也是为什么那么多的创业者失败的原因。

（二）定位三锦囊

废话不多说，直接送你定位的三个锦囊，锚定你定位的方向。

1.市场竞争非常小

2.市场需求却很大

3.和自己的爱好资源匹配

我一直都说选择大于努力，如何给你自己个人定位？如何给你的产品定位？

你就需要用到这三个锦囊了，这三个锦囊知识给你一个锚，你还需要真实的数据给你坐支撑。

（三）如何用大数据定位？

为了避免我们昨天提到的官方的去拿到的几千上万份问卷调查的虚假数据，我们需要借助互联网直接查看，从而来帮助我们自己做准确的市场决策呢？

那谁能提供这些数据给我们呢？我只做国内市场，那么就来看下国内的：

1.百度指数

2.淘宝生意参谋

百度指数可以看到搜索关键词的搜索量，搜索量越大说明市场需求很大，那看看搜索结果前3页，要是很少有专业网站的话，那这个细分领域就有非常大的机会了。

这些搜索词来的用户算是有潜在需求的用户，还是比较准确的。

而第二个淘宝生意参谋，就是原来的淘宝指数，里面可以看到淘宝里面所有行业，各种产品的成交数据，这数据更直观，哪个产品，哪个行业在什么时候卖的好，竞争大不大，每天有多少人搜索，有多少成交量，这些客户画像如何，收入，兴趣爱好等等都可以看到的。

所以在做定位之前，不妨花时间好好的来做数据分析，最后用数据说话，结合我给的三个锦囊，这样你的成功率会高很多哦。

好了，看了新上映的黑豹，回来晚了，写了本文，花了30分钟，希望对你有所帮助。

预告，明晚给你带来《细分领域市场的选择策略》

这篇文章你觉得价值多少？

一、大数据应用思维

【例1】

产品经理给大数据部门提了个需求：我想知道所有用户的标签，比如哪些用户喜欢时尚类型的微博、哪些用户是单身狗等，好给这些人针对性推阿里巴巴的广告，而且很急，下个月新版本就要上线。

大数据部门的程序员们收到需求之后，一分析，数据有好几百TB，一台机器跑要跑7个月（200多天），所以得用分布式计算。于是搞了100台服务器，并把这100台服务器分成两部分，一部分有90台，叫Master，负责划分数据，分配数据处理任务；一部分有10台，叫Worker，负责归并数据块，计算出最终结果。

服务器搭建好了，架构弄好以后，程序员开始分头写程序，一部分负责写数据文件的划分，把文件分成一小块一小块来处理；一部分负责写计算任务调度，就是把划分好的数据文件分配到90台Master服务器中；一部分负责写归并处理程序，部署到剩下的10台Worker服务器，接收那90台服务器传过来的数据，并计算结果；一部分负责写出错检测，检查哪些机器挂了导致计算任务停止了，一旦发现出错了，把计算任务分配到其他正常的服务器上计算。

10台Worker服务器根据1，2，3...10，进行了编号，假设每个人的都有一个微博ID（是数字）,按照微博ID的个位数来进行划分，比如我ID是 1001，那我的处理结果会在1号服务器，ID是100213，那么处理结果就在3号服务器。

假设上面的流程都正常，因为机器多了，原本需要200多天的任务，有了100台机器，结果3天就跑完了！得到了这样的微博用户特征（@大师兄[单身概率 88%，科技工作者概率90%，性别男概率100%，本科毕业概率81%，收入水平5000元/月概率 10% ...]）。

二、数据处理的流程

大数据的数据处理这件事用一种非技术的角度来看的话，可以按处理顺序分为三个部分，第一个部分是数据采集，第二个部分是数据存储，第三个部分是数据分析，这也是大数据搭建的基本产品模型。

1、数据采集

● 基本原则

全：多种源（客户端、服务端、数据库等），完善的数据源（零售、C端、电商、供应链等）全量而且非抽样

细：Who、When、Where、How、What

数据采集最重要的就是数据源，数据源好，后面的事情都很容易。但如果数据源就有问题或是太差不全之类的，后面有些问题用再复杂的算法可能都解决不了，可能都是很难得到正确的结论。所以数据采集处理流程有两个基本的原则，一个是全，一个是细。

● 全：就是说我们要拿多种数据源，不能说只拿一个客户端的数据源，服务端的数据源没有拿，数据库的数据源没有拿，做分析的时候没有这些数据你可能是搞歪了。大数据里面讲的是全量，而不是抽样，因为数据之间可能有很大差异。比如纵向里，做全国零售数据分析的时候，不能只把四川或者北京的拿来分析，因为它一定代表不了黑龙江、甘肃等地方，所以必须要全量分析全国数据。横向里，我们在分析某个商品的总的销售情况的时候，我们除了分析线下零售数据还有需要C端外送数据和电商数据，因为一个东西可能在公司的多个业务系统上销售。所以对于多个业务系统的公司，需要每个业务系统涉及的数据都要足够全，不能有任何一个系统有缺失。

● 细：其实就是强调多维度，在采集数据的时候尽量把每一个的维度、属性、字段都给它采集过来。比如：像 where、who、how 这些东西给它替补下来，后面分析的时候就跳不出这些能够所选的这个维度，而不是说开始的时候也围着需求。根据这个需求确定了产生某些数据，到了后面真正有一个新的需求来的时候，又要采集新的数据，这个时候整个迭代周期就会慢很多，效率就会差很多，尽量从源头抓的数据去做好采集。

● 数据清洗：在数据采集过程种需要对源数据做清洗处理。其实也是对数据做加工的过程，确保命名约定，编码结构，属性维度等一致性。因为本身的源数据会存在垃圾数据，本身也是杂乱的没有很好的逻辑，数据清洗的过程就是让数据更具逻辑性，更干净有序的存储。

2、数据存储

①、数据建模

数据建模指的是对现实世界各类数据的抽象组织，确定数据库需管辖的范围、数据的组织形式等直至转化成现实的数据库。 将经过系统分析后抽象出来的概念模型转化为物理模型后，在visio或erwin等工具建立数据库实体以及各实体之间关系的过程（实体一般是表）。在软件工程中，数据建模是运用正式的数据建模技术，建立信息系统的数据模型的过程。（百度百科）

数据模型就是对现实世界的一个抽象化的数据的表示。大数据的数据建模则是基于大数据本身的数据量、数据特征、业务需求、还有自身分析重点和目标做的数据模型。我们可以针对分析的需求对数据重新进行解码，它内容可能是一致的，但是我们的组织方式改变了一下。就拿用户行为这块数据来说，就可以对它进行一个抽象，然后重新把它作为一个判断表。数据建模时常常考虑的有两个概念，一个是维度，一个是指标

通常各个业务系统，一般前端做一个请求，然后对请求经过处理，再更新到数据库里面去，数据库里面建了一系列的数据表，数据表之间都是很多的依赖关系。这些表一个业务项发展差不多一年以上它可能就牵扯到几十张甚至上百张数据表，然后把这个表直接提供给业务分析人员去使用，理解起来难度是非常大的。数据建模则可以把这些关系重构，让业务人员更容易理解。

②、数据仓库

● 面向主题：数据仓库是围绕着一些主题，如顾客，供应商，产品，销售等创建的。数据仓库关注决策者的数据建模与分析，排除对决策无用的数据，提供特定简单明确的数据视图。

● 集成：构造数据仓库时，数据来源是多种异构的数据源，使用数据清洗和数据集成技术，确保命名约定，编码结构，属性维度等一致性。

● 伴随时间变化：数据仓库存储从时间维度提供信息，所以每一条数据必须包含时间维度，同时也就需要各个业务系统在建表时加入“创建时间、修改时间、创建人、修改人、是否删除”五个字段

● 非易失：数据仓库不同于普通的业务应用数据，它跟操作环境下的应用数据是分离的，所以它不需要参与事务处理和并发控制。通常它只需要两种数据访问：数据的装入（抽取）和数据访问，不存在数据更新或者数据删除，所以数据修改时需要加入数据修改时间、修改人，数据删除时在数仓标记数据已经删除。

数据仓库在创建的时候需要分库和分表：创建表时根据数据清洗阶段进行分库，根据主题域进行分表。

③、数据集市

数据集市(Data Mart) ，也叫数据市场，数据集市就是满足特定的部门或者用户的需求，按照多维的方式进行存储，包括定义维度、需要计算的指标、维度的层次等，生成面向决策分析需求的数据立方体。数据中心的重点就在于它迎合了专业用户群体的特殊需求，在分析、内容、表现，以及易用方面。数据中心的用户希望数据是由他们熟悉的术语表现的。

用通俗的话说数据仓库是为数据集市提供服务，在数据仓库里，每个数据单元都与特定的时间相关。数据仓库包括原子级别的数据和轻度汇总的数据，是面向主题的、集成的、不可更新的(稳定性)、随时间不断变化（不同时间）的数据集合，用以支持经营管理中的决策。而数据集市就是数据仓库的一个子集，他主要面向部门级业务，并且只面向某个特定的主题。为了解决灵活性与性能之间的矛盾，数据集市就是数据仓库体系结构中增加的一种小型的部门或工作组级别的数据仓库。数据集市存储为特定用户预先计算好的数据，从而满足用户对性能的需求。数据集市可以在一定程度上缓解访问数据仓库的瓶颈。

在数据结构上，数据仓库是面向主题的、集成的数据的集合。而数据集市通常被定义为星型结构或者雪花型数据结构，数据集市一般是由一张事实表和几张维表组成的。

数据集市特点：

● 数据集市的特征包括规模小。

● 有特定的应用。

● 面向部门。

● 由业务部门定义、设计和开发。

● 业务部门管理和维护。

● 能快速实现。

● 购买较便宜。

● 投资快速回收。

● 工具集的紧密集成。

● 提供更详细的、预先存在的、数据仓库的摘要子集。

● 可升级到完整的数据仓库。

3、数据分析

当数据采集回来并存储好以后就可以在这基础上运用这些数据来做数据分析了，对于互联网产品常用的分析方式有四种：

①、多维度分析： 多维事件的分析，对不同维度之间的组合、关系进行分析。

②、漏斗分析：对于电商、订单相关的这种行为的产品来说非常重要，要看不同的渠道转化这些东西，一个用户从做第一步操作到后面每一步操作，可能是一个杂的过程。

③、留存分析：用户来了之后我们希望他不断的来，不断的进行购买，这就是留存。

④、回访分析：回访是留存的一种特别的形式，可以看他一段时间内访问的频次，或者访问的时间段的情况

上面说的四种分析结合起来去使用，对一个产品的数据支撑、数据驱动的这种深度就要比只是看一个宏观的访问量或者活跃用户数就要深入很多。

大数据工具让企业能够从数据仓库获得洞察力，从而在数据驱动的业务环境中提供重要的竞争优势。

为了满足旺盛需求，大数据工具在迅速遍地开花。在大数据这一概念和业务战略出现以来的十年间，市面上出现了成千上万执行各种任务和流程的工具，它们都承诺可为你节省时间和资金，发掘业务洞察力从而实现创收。显然，一个不断增长的市场呈现在大数据分析工具的面前。

其中许多工具一开始就像最初的大数据软件框架Hadoop那样是开源项目，但后来商业公司迅速涌现，为开源产品提供新工具或商业支持和开发。

从中进行遴选可能很困难，尤其是许多大数据工具用途单一，而你可以用大数据处理许多不同的任务，所以你的分析工具箱会塞得满满当当。本文我们列出了市面上主要的大数据分析工具市面上主要的大数据分析工具，分三大?类别来介绍。

·主要的大数据工具·

如前所述，大数据工具往往属于单一用途类别，而使用大数据有多种方式。所以我们将按类别细分，然后讨论每个类别的分析工具。

一、大数据工具：数据存储和管理

大数据完全始于数据存储，也就是说始于大数据框架Hadoop。它是Apache基金会运行的一种开源软件框架，用于在大众化计算机集群上分布式存储非常大的数据集。

很显然，由于大数据需要大量的信息，存储至关重要。但除了存储外，还需要某种方式将所有这些数据汇集成某种格式化/治理结构，从而获得洞察力。因此，大数据存储和管理是真正的基础――离开了它，分析平台一无是处。在一些情况下，这些解决方案还包括员工培训。

这个领域的大玩家包括：

1. Cloudera

实际上是增加了一些额外服务的Hadoop，你会需要它，因为大数据不容易搞。Cloudera的服务团队不仅可以帮助你构建大数据集群，还可以帮助培训你的员工，更好地访问数据。

2. MongoDB

MongoDB是最受欢迎的大数据数据库，因为它适用于管理经常变化的数据：非结构化数据，大数据常常是非结构化数据。

3. Talend

作为一家提供广泛解决方案的公司，Talend的产品围绕其集成平台而建，该平台集大数据、云、应用程序、实时数据集成、数据准备和主数据管理于一体。

图1：Talend大数据集成平台包括数据质量和治理功能

二、大数据工具：数据清理

在你真正处理数据以获取洞察力之前，需要清理和转换数据，转换成可远程搜索的内容。大数据集往往是非结构化、无组织的，因此需要某种清理或转换。

当下，数据可能来自任何地方：移动、物联网和社交媒体，数据清理显得更为必要。并非所有这些数据都可以轻松“清理”以获得洞察力，因此优秀的数据清理工具极其重要。实际上，在未来几年，预计经过有效清理的数据会是可接受的大数据系统与真正出色的大数据系统之间的竞争优势。

4. OpenRefine

OpenRefine是一款易于使用的开源工具，通过删除重复项、空白字段及??其他错误来清理凌乱的数据。它是开源的，但有一个相当大的社区可提供帮助。

5. DataCleaner

与OpenRefine一样，DataCleaner可将半结构化数据集转换成数据可视化工具可以读取的干净可读的数据集。该公司还提供数据仓库和数据管理服务。

6. 微软Excel

说真的，Excel有其用途。你可以从各种数据源导入数据。Excel在手动数据输入和复制/粘贴操作方面特别有用。它能消除重复项，查找和替换内容，检查拼写，还有用于转换数据的许多公式。但Excel很快陷入困境，不适合庞大数据集。

三、大数据工具：数据挖掘

一旦数据经过清理和准备，你可以通过数据挖掘开始搜索数据了。这时你执行这个实际的过程：发现数据、做出决定和进行预测。

数据挖掘是大数据流程的真正核心。数据挖掘解决方案通常底层很复杂，但竭力提供　一种外观漂亮、对用户友好的用户界面，说起来容易做起来难。数据挖掘工具面临的另一个挑战是：它们确实需要人来编制查询，所以数据挖掘工具的好坏取决于使用它的专业人员。

7. RapidMiner

RapidMiner是一款易于使用的预测分析工具，有着对用户友好的可视化界面，这意味着你没必要编写代码即可运行分析产品。

8. IBM SPSS Modeler

IBM SPSS Modeler是一款包括五个数据挖掘产品的套件，面向企业级高级分析。另外IBM的服务和咨询首屈一指。

9. Teradata

Teradata为数据仓库、大数据和分析以及营销等应用提供端到端解决方案。这一切意味着贵公司可以真正成为数据驱动的公司，另外还有商业服务、咨询、培训和支持。

图2：与许多目前的大数据工具一样，RapidMiner解决方案也支持云

四、大数据工具：数据可视化

数据可视化是指以一种可读、实用的格式显示你的数据。你可以查看图表图形以及直观显示数据的其他图像。

数据可视化既是一门科学，又是一门艺术。随着大数据从有大批数据科学家支持的高管转移到整个公司上下，众多员工可以使用可视化工具极为重要。销售代表、IT支持和中层管理，这些团队个个都需要能够理解数据，因此重点放在易用性上。然而，易于阅读的可视化有时与来自深度特征集的数据读出相冲突，这带来了数据可视化工具面临的主要挑战之一。

10. Tableau

Tableau是该领域的领导者，其数据可视化工具专注于商业智能，无需懂得编程，即可创建各种地图、图表、图形及更多可视化元素。它共有五款产品，一款名为Tableau Public的免费版供潜在客户试用。

11. Silk

Silk是Tableau的简单版，让你可以通过地图和图表将数据可视化，无需任何编程。你在首次加载Silk时，它甚至会试着将数据可视化。它还让用户很容易在网上发布结果。

12. Chartio

Chartio使用自己的可视化查询语言，只要点击几下鼠标即可创建功能强大的仪表板，无需懂得SQL或其他建模语言。它有别于其他工具的地方主要在于，你可以直接连接到数据库，因此不需要数据仓库。

13.IBM Watson Analytics

IBM Watson Analytics结合了机器学习和人工智能，有助于提供智能数据科学助手，为业务分析员和数据科学家等拥有众多数据科学技能的用户扮演了向导。

·大数据工具的三个层次·

普华永道的移动数据和分析计划首席技术官Ritesh Ramesh表示，就先进程度和市场战略而言，大数据工具可分成三层金字塔。

第一层：最庞大的是一系列开源工具。每家公司以开源起家，像Cloudera和Hortonworks。除了基本的基础设施、服务器和存储外，没有多大的价值。大多数云厂商已将这一层实现了商品化。

第二层：在这一层，大多数这类厂商已有意增加各自的市场份额，在开源工具上面构建一些专有应用程序，从而做到与众不同。举例说，Cloudera开发了许多产品，比如驻留在Hadoop核心上的数据科学平台。

第三层：这些是针对特定垂直领域的应用程序。这些公司大多与普华永道、高知特或埃森哲等系统集成商合作。真正的价值出在这里，这对大数据工具开发商来说也是非常有效的竞争策略。

Ramesh表示，除了基本功能外，这些工具的三大方面备受欢迎。首先是数据处理工具。他说：“数据学习工具是客户的工具箱中确保数据质量和分析数据的重要工具，比如处理5000万行数据以发现洞察力。”

他表示，领先的厂商包括Trifacta、Paxata和Talend。

第二大类应用程序是治理，比如你如何定义元数据。他说：“好多人在这方面遇到困难。人们只是将大量垃圾数据倒到数据湖。市面上可在数据湖中积极发挥功效的工具不多。由于这项工作主要由IT人员完成，他们更有兴趣将数据倒到数据湖，而不是确立一种治理结构。”

主要厂商包括Waterline Data、以数据编目工具见长的Tamr和Collibra。

Ramesh说，经常出现的第三大需求是安全。他说：“人们希望一个产品就有安全访问的所有层(列、行和对象)。他们希望一款产品为不同的数据对象支持用户访问和安全。这也是个新兴领域。”

这个领域的主要厂商是Wandisco和FireEye。

End.

来源：网络大数据

文章推荐

一份高质量数据分析报告的三板斧

如何完成一份高质量数据分析报告

不同行业的软件都爱用什么编程语言开发？

摘要：今天，我们就聊聊从产品和运营的角度，如何通过大数据做转化分析？

在2017年的多次营销文案刷屏事件中，产品和运营人越来越清楚地看到，流量≠转化。而转化率，才是衡量一个产品和一次活动最为核心和关键的数据。因此，转化率是网站最终能否盈利的核心，提升网站转化率，提升销量才是王道。今天，我们就聊聊从产品和运营的角度，如何通过大数据做转化分析？

首先要清楚，转化率究竟是什么？受哪些数据的直接影响？这些数据的影响因素又是哪些？

转化率指在一个统计周期内，完成转化行为的次数占推广信息总点击次数的比率。简单地以下面这个公式来说明：

以电商平台购物为例，总流量一定的情况下，购买人数越多，转化率越高。

而一个用户一次成功的购买行为依次涉及搜索（曝光）、浏览、加入购物车、结算、支付等多个环节，任何一个环节出现差错，都能让用户立刻放弃这次购买行为。根据有关数据，多数电商的转化率只有0.5%左右，这意味着有99.5%的流量被浪费了。（听着好心痛哦）

那么，怎么才能提升购买人数呢？产品和运营，又能怎样进行操作来提升产品销量呢？

一、基础分析：转化的直接影响者都需要设计

转化分析的基础阶段，主要是转化步骤的分析和转化率趋势的监测。

大家都知道，流量是呈漏斗形状的，把流量变为消费者，大约会经历这么5个步骤。就是这5步，足以滤掉99.5%的潜在用户。另外根据统计，在几个较大的B2C网站中，流量数据在增大，但是客户停留在网站上的时间在减少，在被称为眼球经济的时代，每个网民在电子商务网站停留的时间大约在17分钟。

在这一分析阶段，网站运营和产品人员都应该了解什么数据呢？

这一阶段，网站平台能直接获取的数据多而杂，运营人员在收集数据后，对数据进行分类整理，一般分为以下几类：人口属性，社会属性，行为习惯，兴趣偏好等几个方面。

人口属性，包含年龄，性别，身高，地域，学历，收入和教育社会属性，包括社会职务，婚姻状况，住房车辆，社交关系等等行为习惯，包括运动，休闲旅游，酒店住宿，饮食起居等偏好兴趣偏好，包括购物，游戏，体育，文化等

这一阶段的收集分析为用户画像提供基数。为后期的运营方案，文案策划，渠道规划等提供一定的数据支撑。

二、中阶分析：从不同维度分析转化情况

过去人们认为数据是企业的资源，实质上数据是资产，是可以为销量创造价值的资产。要想更好地提升转化率，需要对不同维度的因素进行考虑，也是对上一阶段数据的细分。例如：访问来源、操作平台、跳出页面、操作系统、浏览器类型等。

本阶段，首先要了解，正在网站上浏览的客户，哪些是明确要来买东西的，哪些只是随便来逛逛的，以及他们从什么入口进入;

其次，没有购买的用户，到底看了多少产品页，多少放进购物车没有付款，多少是一个产品页都没有看的;

第三，多少客户产生了购买行为。

第四，非常重要的是，客户登录网站首页之后，除了有40%的弹出率之外，剩下60%的用户分别从哪些渠道进入到产品页面，这些渠道进入之后付款的比例分别是多少。

最后，多少人将产品加入购物车，是否有召回的可能？

通过对网站平台庞大的数据库进行细分整理，才能发现这背后隐藏的用户行为逻辑，从而实现产品人员从产品角度进行优化，运营人员则负责对活动，专题，商品详情页等进行优化。

例如，之前合作过的一个用户，后台数据显示，很多人都将某一款产品加入购物车，但是都没有付款。为了召回这部分客户，网站即时推送了一条优惠券，最后召回30%的订单。

三、高阶分析：多维度交叉分析，不断优化迭代产品

互联网行业的产品都有一个共识：小步快跑，快速迭代。唯有如此，才能打造出受用户喜爱的产品。

通过上两段的数据收集和分析，网站的工作人员对网站的优势以及存在的问题，心中已经有概念了。在这一阶段，就需要沉下来，从具体的维度和点进行分析和修正。这一阶段，可以说是数据驱动产品和运营决策。

例如，

广告投放哪个渠道的流量更优质？什么样的品牌内容更容易被消费者传播？

网页内容，如何组织安排更符合访客的个性化需求；

老客户如何才能回访网站，反复购买产品；

如何减少支付失败的订单？

四、分析转化的进阶之旅：思维与工具

提升转化率，既需要有数据驱动的意识，也需要熟练掌握一定的数据分析工具。正所谓，工欲善其事必先利其器。

创意派(softpai)在大数据营销领域已经实践多年，全面抓取用户的行为数据，根据企业需要获取页面，产品，用户之间的关系。

企业可以知道用户从哪个落地页进入产品，又是在哪一个转化过程中流失掉，切分维度和用户人群，定位流失原因，为运营决策提供数据支撑，提高产品的转化率。

　　随着互联网和IT技术的推进，大数据的应用逐渐渗透到各行各业。尤其是数据体量大的互联网、金融、银行、制造行业。大数据正逐渐改变企业的运营模式，市场导向，进而惠及人们的生活。

　　“大数据”这一概念最早在国外被提及。之后国内外兴起了一系列大数据技术，包括大数据硬件类、大数据分析类、大数据数据处理类等等，也因此诞生了一批大数据厂商。

　　其中最为热门的是大数据分析技术，可以直接应用到企业生产经营，来带直接有效的帮助。

　　本文将对国内大数据分析厂商做一盘点。（排名不分先后）

　　分析解决方案类

　　平台解决方案厂商除去IBM、SAP、Oracle、微软、惠普国外代表厂商，在国内有星环科技、帆软软件、用友、永洪等等。

　　星环科技

　　星环信息科技主要从事大数据时代核心平台数据库软件的研发与服务，被Gartner列为国际主流Hadoop发行版厂商。其产品Transwarp Data Hub提供高速SQL引擎Transwarp Inceptor, NoSQL搜索引擎Transwarp Hyperbase、流处理引擎Transwarp Stream和数据挖掘组件Transwarp Discover。

　　帆软软件

　　帆软软件由报表软件FineReport起家，目前已成为报表领域的权威者，拥有10年企业数据分析的行业经验。后发布的商业智能自助式BI工具FineBI，提供包括Hadoop、分布式数据库、多维数据库的大数据可视化分析；提供PC端、移动端、大屏的可视化方案，广泛应用于银行、电商、地产、医药、制造、电信、制造、化工等行业，拥有成熟的行业化解决方案。

　　数据可视化类

　　数字冰雹

　　数字冰雹主营大数据可视化业务，提供集设计、程序开发、硬件集成为一体的解决方案，广泛应用于航天战场、智慧城市、网络安全、企业管理、工业监控等领域。

　　海云数据

　　海云数据的产品——图易能够集成用户内部系统大量结构化、非结构化数据，在真实的数据源上，将行业大数据进行多维度的可视分析。目前主要应用于公安、航空、快消、制造、金融、医疗、信息安全等领域。

　　星图数据

　　星图数据是互联网大数据服务公司，涉及线上零售、线上娱乐、线上教育等领域。基于分布式大数据获取与存储系统进行大数据处理及分析，具有自有的大数据分析体系和云计算处理技术。

　　用户行为/精准营销分析类

　　大数据技术使得用户在互联网的行为，得到精准定位，从而细化营销方案、快速迭代产品。这方面的厂商有GrowingIO、神策数据等。

　　GrowingIO

　　GrowingIO是基于互联网的用户行为数据分析产品，具有无埋点的数据采集技术，可以通过网页或APP的浏览轨迹、点击记录和鼠标滑动轨迹等行为数据，进行实时的用户行为数据分析，用于优化产品体验，实现精益化运营。

　　神策数据

　　与GrowingIO类似，也是基于用户网络行为，采集数据进行分析。技术上提供开放的查询 API 和完整的 SQL 接口，同时与 MapReduce 和 Spark 等计算引擎无缝融合，随时以最高效的方式来访问干净、规范的数据。

　　分析服务类

　　提供舆情分析的有百度统计、品友互动、Talking data、友盟、中科数据等等。

　　百度统计

　　百度统计是专业的网站流量分析工具，和GA类似，提供免费的流量分析、来源分析、网站分析等多种统计分析服务，能够告诉用户访客是如何找到并浏览用户的网站，在网站上做了些什么，以此来改善访客在用户的网站上的使用体验。

　　TalkingData

　　TalkingData是独立的第三方移动数据服务品牌。其产品及服务涵盖移动应用数据统计、移动广告监测、移动游戏运营、公共数据查询、综合数据管理等多款极具针对性的产品及服务。在银行、互联网、电商行业有广泛的数据服务应用。

　　友盟+

　　第三方全域大数据服务提供商，通过全面覆盖PC、手机、传感器、无线路由器等多种设备数据，打造全域数据平台。提供全业务链数据应用解决方案，包括基础统计、运营分析、数据决策和数据业务等，帮助企业实现数据化运营和管理。

《大数据时代》书中写到大数据产品是以一种前所未有的方式，通过对海量数据进行分析，获得有巨大价值的信息或深刻的见地。因为数据本身是没有价值的，只有数据分析师从数据中挖掘出有用的信息，大数据才被赋予了真正的“生命”，才能被称为一种产品。

一、大数据产品设计的两个基本原则：

1、精确：数据只有精确才能让人信服

2、易用：产品只有易用才能让人更方便去挖掘有用的信息，才能体现价值

二、大数据产品的用户

1、狭义：数据分析师和数据科学家

2、广义：产品经理、市场专员、营销经理、机器学习专家、管理层都具有大数据分析的需求

大公司有专门的大数据产品部门，小公司和个体商户（淘宝店主等）可以使用第三方的数据产品（比如友盟、数据魔方等）。

三、大数据产品长什么样？

不同职位、不同技能的用户需要不同交互形式的大数据产品。

管理层：提供可视化数据报表，帮助管理层利用其大脑和经验 做决策；

市场/营销专员、产品经理：提供小型数据库表/OLAP Cube，将数据导入Excel后完成数据分析工作；

初级数据分析师：设计更专业的数据仓库/数据库表，利用SQL、R完成数据分析；

高级数据分析师、机器学习专家：开发大数据平台的数据接口API，利用平台的超计算力进行数据挖掘。

处在表格越下方的产品包含的数据量越大，使用难度越大，产品的用户也越专业。准确地说，提供大数据平台接口API才是真正的大数据产品，其他三种只能算是“小数据”或“类大数据”。但在实际工作当中，一般的数据产品都会包含以上这四个层次，以便于不同层次的各类用户使用。

不过，一个完整的大数据产品不仅仅只有产品的交付形式，背后往往具备一个架构在平台之上的大数据流水线。以可视化大数据报表为例，至少具备五个部分：

获取用户行为的原始数据

上传和处理用户大数据（将“大数据 ”分解为“小数据 ”）

存储大数据（不同层级的数据如何存储）

设计大数据的交互方式（针对不同的用户层次）

数据精确度管控（数据不精确就没有可信度，最核心环节）

任何层级的数据产品都需要具有一定技术难度的数据流水线支撑，流水线的维护、开发就是大数据团队的日常工作。

合肥合和信息科技有限公司研发的大数据研判实战分析系统，是交通大数据应用的深度挖掘，系统将数据与业务充分结合，以实战为目的，利用道路卡口、电警抓拍的过车数据，结合车辆行驶轨迹，实时与后台嫌疑车辆信息库进行比对，对图片进行研判分析，交通管理部门可通过比对结果，预警布控，实现精准打击。

系统创新点：

大数据研判分析系统不仅可以对嫌疑车辆通过监控点时，进行实时报警，还可通过车辆历史轨迹进行分析研判，确定车辆行驶方向和路线，交警可根据比对结果进行提前布控，有效精准拦截。

系统应用范围：

布控违法嫌疑车辆、逾期未年检车辆、套牌车辆、无证失格人员驾驶车辆、禁区内行车等交通违法行为。

系统功能：

1、缉查布控系统自动从嫌疑车辆数据库名单中实时增量同步嫌疑车辆名单。

2、系统每天自动统计嫌疑车辆中违法后仍在使用的车辆信息，并生成预警名单，未使用的嫌疑车辆不纳入预警范围。

3、通过卡口抓拍到预警名单中的车辆驾驶人照片和违法驾驶人证件照比对以及通过违法前后两周预警车辆行驶轨迹比对，照片比对一致，轨迹相似则生成布控车辆名单。

4、对布控名单内车辆近两周使用信息进行统计，生成一个高频率行驶的布控车辆名单。

5、对高频率行驶的布控车辆名单中的车辆经过卡口按频次高低排名统计。

6、对高频率行驶的布控车辆名单中的车辆，近两周行驶轨迹以及高频次路口进行分析对比。

7、对驾驶轨迹规律的布控车辆进行精准打击，对驾驶轨迹不规律的布控车辆使用实时布控辅助精准打击。

8、对布控车辆进行布控，当布控车辆被抓拍到轨迹信息后，后台服务会向指挥中心告警客户端推送告警信息，告警客户端向指挥中心提供车辆实时告警以及预测车辆行驶方向轨迹信息。为指挥中心调度执法站交警进行有效精准拦截。

9、布控车辆抓捕结束后，指挥中心相关人员将结果反馈给后台系统。

阅读本文不需要技术背景。

总体介绍

首先模拟一个数据分析场景，某企业积累了如下表格所示的销售数据：

表格中每一行表示某个时间段内某种商品在某个地区的销售情况。很明显，这些数据涉及到了时间、地区、产品三个业务角度。

在对这样的数据进行分析时，不同的角色都会基于自己所感兴趣的业务角度提出问题

销售经理关心各个地区的销售情况，希望找出销售增长率在平均水平之下的地区产品总监则希望了解近期内各种产品的销量对比，以作为后期产品研发方向的参考CEO想要知道近六个月内整体销售环比信息，用以评估是否达到公司运营目标

对于表格中的数据，可以将其转换为另一种数据格式 - "三维空间立方体"，如下图所示：

相对于表格，以三维立方体形式呈现的数据结构更加直观。

在这个数据立方体中，每一个坐标轴都代表一个业务角度（时间、地区、产品），坐标轴上的坐标值则表示了某个业务角度的一个确定的值（如：北京市、3月份、手机），不同坐标轴坐标值的交叉点则表示一个具体的销售额。

实际上，此数据立方体中表示业务角度的坐标轴就是维度，类似于三维立方体的数据结构则被称为多维数据结构（也称数据立方体）。

再次回顾前文中销售经理、产品总监、CEO各自提出的问题，不难发现他们各自所关注的维度分别为：地区、产品、时间

目前我们所模拟的这个数据分析场景较为特殊，因为只有三个维度，所以可以直观的将数据想象成一个三维立方体。

实际情况中，企业进行数据分析时往往要参考更多的维度，而且提出的问题也会更加复杂，此时，已经不能将数据以经典的三维立方体结构进行呈现。

虽然无法在三维空间中呈现更多维度的数据结构，但是面对更多维度时进行数据分析的思路却完全不变，不同的角色只需要从自身所关注的维度出发并提出问题即可，他们即不需要了解十几甚至几十维的数据如何存储，也无需考虑多维数据查询的具体实现方式。

核心概念简介

在多维数据分析领域中，有几个非常重要的核心概念：

数据立方体（Cube）维度（Dimension）成员（Member），又称维度成员（Dimension Member）度量（Measure）级别（Level）

维度（Dimension）

维度就是描述数据的业务角度。在不同的数据分析场景中，会存在若干个不同的维度。

以上图为例，存在三个维度：时间、地区、产品。在这个数据分析场景中，“哪种产品销量最好？”这样的问题显然主要关注的是产品这个维度，而“哪些地区连续六个月销售额环比增长？”则同时关注了地区和日期两个维度。

在一个多维数结构中，维度可以被抽象理解成一个坐标轴，图1中所示的数据分析场景由三个维度组成，每个维度各自代表了三维空间中的一个坐标轴。

相对于三维空间，具有更多维度的空间结构显然不易于被理解，实际上，您并不需要在头脑中想象出一个更多维度的空间场景，下文中几个简单的步骤将帮助您快速理解多维空间结构：

【理解一维空间结构】

一维空间是一把尺子，只有一个坐标轴，坐标轴上的一个坐标值就能确定一个点

【理解二维空间结构】

二维空间是一个平面，具有两个坐标轴，不同坐标轴上的两个坐标值确定一个点

【理解三维空间结构】

三维空间具有长、宽、高三个坐标轴，三个坐标轴坐标值确定一个点

【理解四维空间结构】

四维空间比三维空间多出一个坐标轴，这里我们称这个新的坐标轴为“第四坐标轴”，现在如果需要确定一个点，除了长、宽、高三个轴上的坐标值外，还需要第四坐标轴上的一个坐标值

【理解N维空间结构】

N（N可以是大于零的任意整数）维空间中具有N个坐标轴，需要N个不同坐标轴上的坐标值才能确定一个点

维度成员（Dimension Member）

前文介绍维度概念时，讲到可将维度理解成表示某种业务角度的坐标轴，而维度成员则非常类似于维度坐标轴上的坐标值。

以时间维度为例，“一季度”、“1月份”、“2月份”这三个维度成员同属于时间维度，它们各自表示了时间维度下一个具体的时间段。

由下图可以看出，同一个维度下的维度成员呈现出树状结构，我们将没有子级成员的成员称为明细成员（Leaf Member，又称明细维度成员Leaf Dimension Member），其他成员称为非明细成员。

数据立方体（Cube）

数据立方体表示由若干个维度所描述的一个数据集合，每个维度各自表示一个可对此数据集合进行观察和分析的业务角度。

之所以称为“立方体”，是因为由三个维度所描述的一个数据集，能够非常轻松的被想象成三维空间中的一个立方体结构。

需要注意的是，在多维数据分析体系中，一个数据立方体往往具有更多的维度，虽然更多维度形态并不像三维空间立方体那样直观，但维度表示某些业务角度的作用不会改变。

度量（Measure）

在一个数据立方体中，从每个维度上都选取一个确定的维度成员，这些维度成员组合所确定的一个点就是度量值。

在图 10示例中，日期维度：1月份、地区维度：河北省、产品维度：手机确定了一个最细粒度的数据方块，这个小数据方块（下文称为Data Cell）就是销售额6688这个度量值，显然，这表示“河北地区1月份手机产品的销售额是6688”。

如果仔细观察图 10，您可能会发现并没有一个Data Cell能够直接表示“北京市一季度手机产品的销售额”。由于一季度与1、2、3三个月份是父子级的关系，所以“北京市一季度手机产品的销售额”可以通过汇总计算得到，如下图所示：

图 11 - 度量值汇总

一般情况下，数据立方体中并不直接存储非明细成员所描述的度量值，而是通过对其后代成员中的全部明细成员进行汇总计算而得出。

级别（Level）

级别表示维度成员所描述业务角度的细节程度，也可理解为通过维度成员观察数据的粒度。例如日期维度中一季度、1月这两个成员，分别属于季度、月份两个不同的级别，显而易见，季度级别的维度成员描述数据的粒度较为宽泛，月级别则较为细致。