我们学习了各种各样的图形，它们大部分都是利用R语言的基础图形系统创建的。在R语言中，除了基础图形系统之外，R语言还提供了grid、lattice和ggplot2这三种图形系统，它们克服了R基础图形系统的低效性，大大扩展了的R语言的绘图能力。

grid图形系统可以很轻松地控制图形基础单元，给予编程者创作图形极大的灵活性。lattice包通过一维、二维或三维条件绘图来对多元变量关系进行直观展示。ggplot2包则基于一种全面的图形语法，提供了一种全新的图形创建方式。因为grid没有提供生成统计图形以及完整绘图的函数，因此数据分析师很少直接采用grid包来分析数据。这里重点介绍lattice和ggplot2图形系统。

四种图形系统的载入方式有所不同，基础图形函数可以自动调用，grid和lattice函数的调用必须要加载相应的包（library(lattice)），要调用ggplot2函数需要下载并安装该包（install.packages("ggplot2")），第一次使用还要引入加载该包（library(ggplot2)）。

lattice包为单变量和多变量数据的可视化提供了一个全面的图形系统，它可以轻松生成栅栏图形。

在一个或多个其他变量的条件下，栅栏图形展示某个变量的分布或与其他变量间的关系。lattice包中singer数据集包含了合唱成员的身高和声部数据，让我们考虑以下问题：纽约合唱团歌手的身高随着他们所属的声部如何变化？来看以下代码：

>library(lattice)

> histogram(~height|voice.part, data=singer,main="Distribution of Heights by Voice Pitch", xlab="Height (inches)")

height是因变量，voice.part被称作条件变量，这段代码对八个声部的每一个都创建了一个直方图。图形显示了男高音和男低音比女低音和女高音身高要高。

在栅栏图形中，单个面板要依据条件变量的各个水平来创建。如果指定了多个条件变量，那么一个面板将按照各个因子水平的组合来创建。然后面板将被排成一个阵列以进行比较。每个面板在一个区域都会有一个标签，这里的区域称作条带区域。随后我们可以看到，用户可对每个面板中展示的图形、条带的格式和位置、面板的摆放、图例的内容和位置以及其他许多图形特征进行控制。

lattice包提供了丰富的函数，可生成单变量图形（点图、核密度图、直方图、柱状图和箱线图）、双变量图形（散点图、带状图和平行箱线图）和多变量图形（三维图和散点图矩阵）。

各种高级绘图函数都服从以下格式：

graph_function(formula, data=, options)

graph_function为图形类型函数；

formula指定要展示的变量和条件变量；

data指定一个数据框；

options是逗号分隔函数，用来修改图形的内容、摆放方式和标准。

lattice包中常见的图形类型函数如下：

lattice包中图形函数常见的配置选项如下：

设小写字母代表数值型变量，大写字母代表类别型变量（因子）。在高级绘图函数中，表达式形式通常为：

y ~ x | A * B

在竖线左边的变量称为主要变量，右边的变量称为条件变量。主要变量将变量映射到每个面板的坐标轴上，此处，y ~ x表示变量分别映射到纵轴和横轴上。对于单变量绘图，用~x代替y ~ x即可；对于三维图形，用z ~ x*y代替y ~ x，而对于多变量绘图（散点图矩阵或平行坐标图）用一个数据框代替y ~ x即可。注意，条件变量总是可以自行挑选的。

根据上述逻辑， ~ x | A即展示因子A各个水平下水平下数值型变量x的分布情况； y ~ x | A*B即展示因子A和B各个水平下组合下数值型变量x和y间的关系。而A ~ x则表示类别型变量A在纵轴上，数值型变量x在横轴上进行展示。 ~ x表示仅展示数值型变量x。

下面以数据框mtcar为例，我们使用以下代码进行lattice图形的绘制：

library(lattice)

attach(mtcars)

gear<- factor(gear, levels = c(3,4,5),labels = c("3 gears", "4 gears", "5 gears"))

cyl<- factor(cyl, levels = c(4,6,8), labels = c("4 cylinders","6 cylinders","8 cylinders"))

densityplot(~mpg,main="Density Plot", xlab = "Miles per Gallon")

densityplot(~mpg | cyl,main="Density Plot", xlab = "Miles per Gallon")

xyplot(mpg ~ wt | cyl * gear, main="Scatter Plots by Cylinders and Gears",xlab = "Car Weight",ylab = "Miles per Gallon")

cloud(mpg~wt*qsec | cyl, main="3D Scatter Plots by Cylinders")

dotplot(cyl ~ mpg | gear, main="Dot Plots by Number of Gears and Cylinders", xlab="Miles Per Gallon")

splom(mtcars[c(1,3,4,5,6)], main="Scatter Plot Matrix for mtcars Data")

detach(mtcars)

我们可以存储和操作lattice包中的高级绘图函数生成的图形。来看下列代码：

mygraph<- densityplot(~height | voice.part, data=singer)

plot(mygraph)

它创建了一个栅栏密度图，并存储在mygraph对象中。但是此时不会展示任何图形，只有调用plot(mygraph)或（mygraph）时才会展示图形。

我们可以通过options轻松地修改lattice图形对象，另外还可以使用update()函数来修改lattice对象，例如：

update(mygraph, col="red", pch=16, cex=.8, jitter=.05, lwd=2)

作者 | 于泽 （大数网副主编）

3月29日，国家发改委正式批复，由中国科学院计算技术研究所承建的“大数据分析系统国家工程实验室”（以下简称“实验室”）在京揭牌。

“大数据分析系统国家工程实验室”揭牌仪式

实验室重点立足“分析”和“系统”两个关键词（具体后面会讲），是2016年《国家发展和改革委员会办公厅关于请组织申报大数据领域创新能力建设专项的通知》规划的13个国家级大数据实验室中的一个。

据介绍，实验室由中国科学院计算技术研究所牵头，联合中国科学院大学、中国科学院计算机网络信息中心、曙光信息产业股份有限公司、国创科视科技股份有限公司共同建设。宗旨是产学研结合，使大数据技术更好的落地，推动大数据产业更快的发展。而事实上，这也是《通知》对于国家级大数据实验室的核心要求。

只热闹不够，重要的是落地

从13个国家级大数据实验室的设立，不难看出大数据当前的发展热度。而实际上，像这样的指导性文件和规划近两年还有很多，比如《关于运用大数据加强对市场主体服务和监管的若干意见》、《促进大数据发展行动纲要》、《政务信息资源共享管理暂行办法》、《大数据产业“十三五”发展规划》……

特别需要指出的是2016年10月9日，中央政治局举行集体学习，习近平总书记提出，要实施网络强国战略，建设全国一体化的国家大数据中心，推进技术融合、业务融合、数据融合，实现跨层级、跨地域、跨系统、跨部门、跨业务的协同管理和服务。

国家对大数据产业的重视程度略见一斑。它不再是产业内少数几个企业在做、在推动的事情，已经上升到了国家层面。换句话说，从上至下，全社会已经充分意识到了数据的价值。

这很好，重视是做好一件事的前提。但与此同时，光口头上的重视并不能带来实际的价值。数据如果不经过处理，它只是数据，没有意义。

这正是13个国家级大数据实验室所承担的使命。简而言之，为国家、为产业界趟出一条实践的道路，未来各个实验室在各自细分的领域都是一个样本工程。

你理解“分析”和“系统”

这里值得一提的是，相较科研实验室，工程实验室更讲究落地、应用，因此在操作中更讲求产学研的结合。具体到实验室的设置、规划，也能看出这一点。

从共建成员来看，中国科学院计算技术研究所、中国科学院大学、中国科学院计算机网络信息中心、曙光信息产业股份有限公司和国创科视科技股份有限公司，研、学、产各方都有，而且实力很强。

以曙光信息产业股份有限公司（以下简称“曙光”）为例，服务器、存储等硬件处于领先地位，特别是在高性能计算领域；软件方面，曙光自主研制的XData大数据平台能够充分融合各种数据资源并进行全方位多层次的智能分析。更为关键的是，曙光的软硬件方案已经在气象、政府、医疗、广电等多个行业得到了实践，这是实验室最迫切需求的。

从实验室业务建设方向来看，规划了三大平台：大数据分析基础设施平台、软硬一体的大数据开放分析平台、大数据分析示范应用与服务平台，覆盖大数据分析全生命周期的技术与应用环路。

解释一下实验室的两个关键词“分析”和“系统”。

分析主要指横向软件层面的。用户需要的不是Hadoop，也不是Spark，而是解决问题的能力，因而实验室要研制的是新一代的数据分析软件栈，是要把各种数据分析平台都囊括其中，做成一个工具集。

系统狭义的理解纵向软硬件一体的平台。广义的理解如曙光高级副总裁聂华所讲，产学研的搭配、软硬一体的组合、从数据收集分析到应用的全囊括。我理解这是应对大数据时代的一套方法论，让大数据发挥出价值是项系统工程，要系统的对待。

一切以落地、应用为前提。

深入行业，应用是根本

除此之外，总体规划在三大基础平台之上，各共建单位还将分别深入一个细分领域进一步探究大数据的应用。比如曙光就同时挂牌“政府大数据分析系统实验室”，未来将重点开展政府相关行业的大数据智能分析技术与系统的研制。

为什么会有这样的布局，主要源于两方面的考虑：一是工程实验室本来就致力于实际应用，基础性研究只是手段不是目的，深入行业触及实际应用是必然；二是从共建方的角度考虑，擅长、优势的行业更利于拓展应用。

再以曙光为例，自其2015年提出“数据中国”战略以来，通过“百城百行”的布局，一张中国云数据服务网络已初现端倪。截止当前已经有近40个城市落地、服务近百行业、部署近千应用。

从这个角度看，曙光深入政府行业是一种顺其自然。就“政府大数据分析系统实验室”这个小目标而言，曙光有很好的基础。这意味着曙光发展自身业务与建设“政府大数据分析系统实验室”这件事刚好一致，这个过程不会有资源被浪费，相互促进更利于双方面的共同进步。

如果再放大视角来看，曙光的战略布局与实验室规划的契合度也非常高。实验室所致力的三大平台建设，无论软硬件还是应用，曙光都能提供很好的支撑和促进作用。同时，在这个过程中如聂华所言，将进一步完善曙光自身的大数据理念、架构、技术，推进大数据的理论研究与产业应用，推动业务更好的发展。

因此，我们有理由相信在实验室近期目标“直接可管理的科学与政府大数据开放资源30-50PB”“分布于50-100个城市的大数据分析云基础设施”和“支撑至少两大领域的示范应用”的规划中，曙光能做出自己的贡献。同时，在更长远的“建设大数据产学研用良性生态系统”的目标中，曙光也能发挥自己应有的价值。

大数据时代已经来临，其所能带来的产业价值不可估量。而我国的实际情况却是这样，据统计，中国拥有全球14%的数据量，利用率却不到0.4%，待开发的价值可想而知。这对于实验室而言，既是压力也是动力。希望其能化压力为动力，迎难而上，早日让大数据发挥出应有的价值。

　　很多公司在引入bi数据分析系统之后，常常会在运营的时候遇到很多问题。数据化运营是一项专门的工程，一般而言一家公司需要专业的IT人员专门来数据分析bi工具，但很多人没这个意识。部署bi数据分析系统确实有点难度，但不是所有人都是专家，所以小编在这里分享几招小策略，帮助大家更好地运营好商业智能BI工具。

　　那么，bi数据分析系统要运营好首先要做好策略，认真部署和进行。

　　（1）为商业智能提供业务所有权

　　埃夫森表示，将商业智能置于业务用户手中的组织比将商业智能置于IT内部的成功率更高，这可能意味着将商业智能嵌入业务线，或将商业智能业务报告提供给首席数字官或首席客户官。

　　虽然早期商业智能技术的复杂性使得IT部门负责许多商业智能程序，但是如今的工具更加直观，允许它们直接提供到业务用户的手中，这些用户可以运行对他们重要的查询。

　　同样，用户需要访问数据的速度以及从商业智能获得的见解近年来也急剧增加。今天的业务用户通常需要实时的操作信息，不愿等待IT部门生成报告。

　　（2）监控商业智能的使用并必要时调整

　　虽然企业应该拥有商业智能计划，但是IT部门仍然是必须保持监控和评估商业智能系统使用的积极合作伙伴。监控商业智能系统正在做什么，正在访问什么数据源，正在使用什么工具，以及业务部门A是否使用商业智能超过业务部门B。”

　　（3）验证，验证，验证

　　组织需要一个强大的验证过程，重点是访问所有需要回答查询的数据。它还应该防止有问题的数据进入商业智能系统，这样就不会产生错误的见解。此外，验证过程应该足够的敏捷性，以快速响应新的商业智能功能的请求。

　　哈根斯指出一个假设用例，其中商业智能工具生成有关净销售额的报告。如果该工具接收到销售数据，但没有计算返回的已售商品数量，那么最终信息是不好的。

　　（4）首先关注业务问题，然后再关注数据

　　太多的组织构建数据存储库，然而采用商业智能，期望业务用户能够更好地开展业务。

　　埃夫森阐述了这个例子：营销部门发现客户流失问题，并希望了解客户为什么要离开。组织应该着重提供回答营销业务问题的能力，首先要确定需要衡量哪些指标，访问计算这些指标所需的数据，然后使营销对数据进行详细的分析。

　　埃夫森说：“人们需要确定一个明确的业务问题，首先要分析什么指标，最后，谈论如何得到数据。”

　　其实，bi数据分析系统运营也没有那么难，但是一些整体上的规划和细节问题都需要企业领导注意，才能更好地部署和运营好一款数据分析bi工具。

在惠普“超越存储 远见未来”2015存储远见者高峰论坛上，惠普就给出了他们的答案。对于如何定义未来存储，惠普也给出了“超越闪存、超越融合、超越架构、超越虚拟化、超越性能、超越扩展”这六大超越理念。在会上，惠普还发布了HP 3PAR StoreServ全闪存阵列，并逐一为大家展示了全新产品在这六大超越中的表现。

“现在传统的网络安全防护的体系已经崩溃，攻防对抗当中防护的模式也已经过时，未知的威胁可以绕过现有部署的一切安全设备切入到我们的系统。360的安全解决之道就是用大数据，用数据来提供安全，这是一个全新的技术安全体系。这里边包括了大数据中心、。”大数据引擎和大数据分析系统

普元资深架构师顾伟指出，”微服务“是一种更灵活、更可靠、更开放的架构，它的特点集中在开放、轻量、松耦合、易迁移、易伸缩、容错性、自监控、语言中性等。”微服务“的“零散”特征使得企业能够快速应对服务扩容、业务开放、业务变化、服务整合等需求。“微服务”通常的解决方案会结合当下比较流行的Docker和OpenStack技术。而支撑“微服务”的就是能够快速迭代“微应用”，在“微应用”之下是一个以各种技术标准、进行兼容和统一为基础、并提供多类型的业务平台。

旅游大数据分析系统的搭建，需要先弄清楚旅游大数据分析系统有哪些组成部分？

对于整个数据分析体系来说，旅游限定的是具体的行业，这代表我们需要去了解旅游行业可以关注哪些数据指标，使用什么样的方法进行分析。

而大数据分析系统更多的指的是技术层面的问题，使用什么样的技术、能够把行业的数据进行收集、存储、分析、展现。

所以对于这个问题，可以从这两个方面分别来阐述：

一、旅游行业应该关注哪些指标？

我以一个省的旅游数据为例，那么可以分析的指标有：

省旅游收入分析（包括收入金额、增长率、与全国收入增长率对比）省内旅游情况分析（包括星级饭店总数、国内游客数、入境游客数、入境过夜游客、游客消费水平、旅行社数、旅游从业人员等）入境游客量分析（国外游客数、港澳同胞数、台湾同胞数、及其对应的增长率）旅游收入分析（商品销售、长途交通、住宿、景点门票、餐饮、邮电通讯）酒店分析（按客房数的多少可以分析出现阶段适合发展的酒店形式，是连锁酒店还是民宿更合适）

综合以上分析，就可以得出该省下一阶段在旅游方面应该去重点关注的地方，给规划提供判断依据。

二、大数据分析系统

大数据分析系统或者说大数据平台，其整体架构如下图

从底层逐步往上，如图所示表示这么几个环节：

1.业务应用：其实指的是数据采集，你通过什么样的方式收集到数据。互联网收集数据相对简单，通过网页、App就可以收集到数据，更深层次的还能收集到用户的行为数据，可以切分出来很多维度，做很细的分析。但是对于涉及到线下的行业，数据采集就需要借助各类的业务系统去完成。当然你还可以通过一些公开的数据源或者爬虫去获取一些外部数据，来弥补你自身数据不足的现状。

2.数据集成：指的其实是ETL，指的是用户从数据源抽取出所需的数据，经过数据清洗,最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。此处的Kettle只是ETL的其中一种。

3.数据存储：指的就是数据仓库的建设了，此处相对复杂，我不再赘述，大家可以详细看下图中『数据仓库层』这部分。

4.数据共享层：表示在数据仓库与业务系统间提供数据共享服务。不论是Web Service，还是Web API ，都代表的是一种数据间的连接方式。

5.数据分析层：分析函数这部分大家都能理解，就是数学上的各种公式，比如聚类分析、回归分析等等。

列存储使得磁盘的每个Page仅仅存储来自单列的值，而不是整行的值。因此，压缩算法会更加高效，因为它们能够作用于同类型的数据。再说的简单点，可以减少磁盘的I/O、提升缓存利用率，因此，磁盘存储会被更加高效的利用。

而分布式计算能够把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分，然后把这些部分分配给许多计算机进行处理，最后把这些计算结果综合起来得到最终的结果。整体上来说，通过这两种技术，可以大幅度提高数据分析的效率。

而Yonghong MPP应该是目前做列存储和分布式最好的产品。

6.数据展现：分析的结果通过什么样的形式去呈现，说白了就是数据可视化的工作。这部分推荐用敏捷BI类的产品，区别于传统BI，它能通过简单拖拽的方式就生成报表，比较节省时间，学习成本相对较低。国内的敏捷BI中，个人用户推荐Tableau，企业级需求推荐Yonghong BI 。

7.数据访问：这个就比较简单了，看你是通过什么样的方式去查看这些数据，图中示例的是因为B/S架构，最终的可视化结果是通过浏览器访问的。当然也有C/S架构，通过客户端去查看。相对来说，B/S架构会比较便捷，更适合现在很多人用手机办公的需求，打开个网页就能看到数据。

以上是大数据分析系统搭建的架构概述，其中每一步都可能要涉及一些产品、技术以及具体的实施。

所以想要做好旅游行业的大数据分析系统，不仅要了解分析系统的技术层面的问题，也要了解旅游行业的业务，这样才能让数据发挥更有效的价值。

　　数据分析系统开发公司紫鲸互联表示:大数据时代的到来，企业主们都说过或听过大数据，然而什么是大数据却只懂得表面，并未真正深入了解，大数据对于企业而言，意味着什么-能够起到什么作用-能够为品牌带来销量-能够为企业带来什么商业价值-今天就以移动大数据分析系统为例，为企业主们讲讲，大数据意味着什么，企业如何获得用户大数据!

　　大数据分析系统采用一物一码技术，实现每一件商品可赋予一个可变二维码，消费者购买产品后通过扫码领取红包(积分、实物、流量)关注到企业公众号;营销应用(微商城、拼团、投票、送礼、查溯源)通过以上方式实现获取用户大数据的关键一步。

　　获得大数据之后，下一步是数据类型的分析，因为不是每一个关注进来的用户都是扫二维码进来的.

　　大数据分析系统可采集到用户的性别、昵称、电话、扫码地区、扫码时间、购买商品名称、防窜货信息，获取礼品等...

　　二维码可通过哪些场景进行数据的采集-

　　大数据分析系统数据分析：

　　1、会员CRM展示出会员属性，交易频率，参与过的营销，购买过的商品，充分了解会员对公众号的黏度。

　　2、展示会员购买商品的地区，时间，价格，产品，了解用户常驻地点，喜欢在什么时间购买，喜欢我哪个产品，从而展开更深入的二次销售。

　　3、用户参与过我哪些活动营销，活动参与率达到什么程度，判断我这次活动举办是否受到用户的欢迎等。

　　大数据分析系统数据价值体现：

　　再小的品牌，都要有自己的大数据引擎

　　我们专注为企业提供一站式移动互联网营销解决方案

　　一物一码大数据分析系统

　　1、一物一码: 赋予每件商品一个唯一二维码, 实现促销直达、防伪，提高消费者的体验感和互动性, 提高公众号关注量, 快速获取用户数据

　　2、拼团(快速转化成交, 快速获取粉丝)

　　3、投票(一周暴增粉丝10万不是问题)

　　4、送礼(节日送礼方便了消费者, 提高互动性, 提高转化率)

　　5、微商渠道管控(商品进销存, 多个品牌, 一键授权, 无限层级, 防伪, 防窜, 控价，快速拓展线下渠道)

　　6、防窜货系统(每一批货都能知道销售去向)

　　7、溯源系统(可追溯到原材料来源)

　　8 、摇一摇/投票/砍价/签到/会员制度/月增十万粉丝 销量倍增

　　9 、终身免费培训(系统后台操作及营销)

市面上所有一切讲大数据的书，或者个人，都是垃圾

因为这些假大空的数据除了让你看看之外无任何用处，营销实战中真正的数据分析应该有什么标准呢？符合以下两条：一可落地执行、二能产生收益。

因为研究与赚钱无关的「大」数据，一不能指导你的营销、销售、策划、执行中的实战，二不能为你所做的事情带来收益；这跟看着苍老师的电影撸了一发有什么区别；你懂了天文地理钱就会从天上掉下来？从地理钻出来？懂历史难不成还去挖祖坟么？

知道国家数据党和政府不会分一毛给你，知道国际数据联合国都不带看你一眼、知道行业数据同样被竞争对手打得找不着北。

所以关注大数据的分四类人：

1、五百强企业决策层，

2、写毕业论文的大学生，

3、写商业计划的骗投资者，

4、傻逼；

大数据代表性来源分一下几个部分：

一、国家层面的数据：

data.stats.gov

tjcn.orgceicdata/zh-hans 二、行业数据：

soshoo、

iresearch  analysys、

re.qq

199it 

告诉你以上这些，为了让你拉黑他，忘掉吧，我们来看一下务实有用，接地气的数据分析：能带你做正确的事情赚到钱的营销相关性数据和竞争比较性数据。

什么是营销相关性数据？与市场、受众、产品、价格、渠道、宣传、顾客相关的数据。

什么是竞争比较性数据？和品类比，和对手比，和自己历史比较的数据。

OK,那么今天先上一道小菜，从分析市场数据说起

如何分析市场数据，市场数据分区域热点数据、品类热点数据、潜在机会品类数据、市场缝隙数据

1、分析区域热点数据

用阿里指数-区域指数-搜索词排行-涨幅榜（网址：alizs.taobao/area），

查看各省有哪些涨幅迅猛的搜索词

然后用百度指数和微指数判断转播效果以及是否值得往下拆解，用微博可视化分析工具查看传播节点，用新榜、蓝标公众号榜单（http://blueview.cc/user/toRegister.do?type=oSohw0qBVAn1VQ5aZ6nPmw长按复制打开）、搜狗微信搜索查询微信传播。

为什么要进行区域数据分析？因为有人气的地方一定有钱赚

2、分析品类热点

还是用阿里指数-行业指数-搜索词排行-涨幅榜（网址：https://alizs.taobao/industry），

查看自己品类有哪些涨幅迅猛的搜索词，并用百度指数和微指数判断转播效果以及是否值得往下拆解，用微博可视化分析工具查看传播节点，用新榜、蓝标公众号榜单（http://blueview.cc/user/toRegister.do?type=oSohw0qBVAn1VQ5aZ6nPmw长按复制打开）、搜狗微信搜索查询微信传播，拆解其增长原因，及我们如何借鉴。

总之，有行业人气的地方，一定有钱赚。

 3、分析机会品类

分析品类机会可通过以下五项指标长期监测分析

五项指标是：

1、小类目占大类目比（数据魔方）（淘宝生意参谋）

2、小类目的最近一年增幅（数据魔方）（淘宝生意参谋）

3、小类目的人群基数（淘宝生意参谋、阿里指数、淘宝指数）

4、淘内搜索人群重合度（淘宝指数）（生意参谋）

5、每年的需求高峰（百度指数）不过没前四项没啥卵用

每周导出生意参谋子行业交易排行榜，对比各细分品类的支付金额占比、与上一周期的比、买家数占比，并长期监测。

4、分析市场缝隙

庞大市场处处红海，你得学会用数据分析的方法找到一条缝让自己钻进去，一为遮羞，二为机会；所以，重磅工具来了，如今市面上的工具适用于定位理论的无非两大工具，一是淘宝生意参谋搜索词分析，一是百度关键词规划师；

所以用淘宝生意参谋-搜索词查询，分析品类相关关键词的搜索人气与在线商品数，搜索人气高需求越多，在线商品数少对手越少。

打开淘宝生意参谋-关键词查询（网址：https://mq.sycm.taobao/words/search_words.htm），然后：

1、搜索品类关键词

2、导出并分类品类数据 关键是采集完数据分类的过程 比如：

导出女鞋百度关键词规划师数据，并进行清洗、分析、提取，得到以下表：

进行统计分析得到下表：

从而得出如下结论：

以上，为数据分析分析市场数据，抛砖引玉部分，深藏功与名，你可以用淘宝生意参谋，提取客户数据，然后分析，来与我讨论。下一篇更新不知道是什么时候，会写完写尽如何分析受众心智数据！

静待下次更新！

某矿泉水公司，除了依靠自身其特色产品之外，还狠抓数据管理，主要体现对经销商的营销方式、顾客的喜好、需求，他们都通过数据来进行分析。

在没有上数据分析平台之前，他们想知道怎样摆放水堆更能促进销售?什么年龄段的消费者在水堆前停留久，他们一次购买的量会是多少?气温的变化让购买行为发生了哪些改变?竞争对手的新包装对销售产生了怎样的影响?

为了弄清这些问题，从2008年开始，他们的业务员就开始采集信息，如开始拍摄水怎么摆放、位置有什么变化、高度如何等等照片，每个月都会产生大概有3TB数据。对于这么多的数据，他们借助金金蝶BI-SpotView运营魔方制定数据管理平台，平台架构如下如下：

通过数据之后，实现产品精准营销，大大增强产品销售量，并且能够实时监控产品动态。

如图 （经销商分析）

除此之外，该公司还为了控制物流成本，提高企业的利润，把很多其它数据纳了进来，如：高速公路的收费、道路等级、天气、配送中心辐射半径、季节性变化、不同市场的售价、不同渠道的费用、各地的人力成本、甚至突发性的需求(比如某城市召开一次大型运动会)等等

通过金蝶BI-SpotView运营魔方平台，进行数据分析处理之后，及时利用大数据，计算出一套最优的仓储运输方案，使各条线路的运输成本、物流中心设置最佳地点等信息及时呈现；将全国十多个水源地、几百家办事处和配送中心整合到一个体系之中，形成一个动态网状结构，进行即时的管控。

同时还把让退货、残次等问题与生产基地能够实时连接起来，通过数据准确获知该生产多少，送多少实现对产品精准预知与控制。最终解决了采购、仓储、配送这条线上的顽症，实现产品运输决策的智能科技化、物流成本的精准化、运输资源的配置合理化。

使用金蝶BI-SpotView运营魔方取得成效

有了强大的数据分析能力做支持后，他们运用大数据技术，销售、市场费用、物流、生产、财务等数据的计算速度，几乎做到实时计算，产品实时统筹计划，大大提高了产品销售额和市场占有份额，近几年更是以30%-40%的速度迅速增长。

要做一名优秀数据分析师，首先对数据分析岗位有基本的概念，其次，要明白数据分析中有哪些套路和方法，如此，才能举一反三，才能不同场景数据分析切换自如。下面我们高屋建瓴，抽茧剥丝般讲讲数据分析四大要素。

-任何数据分析过程都逃不掉四大要素-

任何数据分析过程都包括四大要素：场景+数据+工具+方法，数据分析起点必须来源于某个场景下的需求，根据需求目标（场景），搭建分析框架（方法），提取需要的数据指标（数据），用适合的工具实现，最后提炼结论，给出建议或策略。

01 场景

首先，移动互联网化+传统企业转型触网使数据获取难度大大降低，其次，云存储和云计算使存储和计算成本降低，最后，人工智能和商业智能使数据价值凸显，越来越多企业愿意花大钱于数据基础建设，那么数据分析场景也越来越丰富，从行业来看，主要有互联网、移动互联网、金融、汽车、房地产和供应链等。

每个行业具体业务场景也会不同，比如同样是互联网，可以分为游戏、社交、电商、安全、新零售、娱乐、外卖、航旅、共享经济、搜索、人工智能.....，应用场景和边界不断扩展，不同场景分析套路和重点也不完全相同，但有一点，场景越丰富，数据分析岗越有必要和价值，思路和想象也可无限扩展。

02 数据

百科定义：数据指对客观事件进行记录并可以鉴别的符号，是对客观事物的性质、状态以及相互关系等进行记载的物理符号或这些物理符号的组合。它是可识别的、抽象的符号。它不仅指狭义上的数字，还可以是具有一定意义的文字、字母、数字符号的组合、图形、图像、视频、音频等，也是客观事物的属性、数量、位置及其相互关系的抽象表示。

数据特征：变异性和规律性，变异性是指不同事件量化的数据不同，具有差异性，正是因为数据变异性，数据分析才有必要；规律性是指包罗万象的数据中，数据是有规律可寻的，从而得出有价值的结论，正是因为规律性数据分析才有价值。

数据类型：数据可分为结构性和非结构性数据。结构化数据是指可以用数字量化的，相对规整的数据，比如生产、业务、交易和客户信息等的结构化数据，数据分析和方法很长时期都集中在这类数据上，这块的方法和工具也相对成熟；但相比结构化数据，非结构化数据存储量更大，也蕴含着非常丰富的价值，比如合约、发票、书信与采购记录等营运内容；如文书处理、电子表格、简报档案与电子邮件等部门内容；如HTML与XML等格式信息的Web内容；以及如声音、影片、图形等媒体内容。非结构数据处理算法和方法在近几年有很大的进步，比如在图像、语音、翻译等有广泛应用。

数据简史：数据规模和存储方式在1991年之前，增长是缓慢的，之后在互联网的推动下，数据量开始爆发，2005年hadoop诞生，标志着人类对海量数据处理有了解决方案，近几年在很多学者和企业的推波助澜下，数据价值越来越受到企业重视。

03 工具

工欲善其事必先利其器，工具在数据分析过程中也是非常重要的一环，下面列举些常用的工具类型：

1>笔记本电脑，电脑配置还是要高点儿，尤其是在数据量比较大的公司，如果计算内存小，很容易出现死机，严重影响工作效率。至于电脑操作系统是选择os，还是ws，建议选择后者，从电脑普及率来看是ws更高，ws分析工具更全，功能更强大；

2>基础分析和展示工具：数据分析中最常用的数据汇总和展示工具是excel和ppt，excel是最常用的数据分析工具，哪怕是在大的数据公司，比如阿里巴巴、美团、腾讯、百度，通常会先在云上把需要的指标进行初步汇总，取出放到excel中分析，excel功能很强大，除了透视汇总，图表、分类外，还有简单模型、规划求解等功能。

因此，excel是最基础也最常用的分析工具，数据分析师必须要好好掌握；数据分析完成后，通常要把成果展示给听众，ppt是非常好的选择，数据分析报告ppt不像营销同学做的花哨，形式为辅，核心是结论、信息传达，数据作为论据，如果能将数据分析报告类ppt做的很美观，也很厉害，可以参考咨询公司的报告，比如麦肯锡、埃森哲等，网上可以找到很多。

3>数据提取工具：数据提取如果数据量比较小，很多公司会有直接下载的功能，但如果数据量比较大，就需要自己加工了，常用的数据查询工具有sql、hive，很多大的互联网公司都是用hive，hive和sql语法有点类似，也是很多数据仓库同学必须掌握的语言，作为一名大公司的数据分析同学，hive是必须要掌握的，hive最早是谷歌搞出来的，不少公司在此基础上封装成自己的语言，加些自己的函数等，但总体语法和架构是一样的。

4>可视化工具：ppt中有些可视化的功能，但在可视分析上还不是特别专业，市场上认可度比较高的可视化分析工具有tableau、spotfire等，前者市场推广做的更好，知名度更高，后者功能更强大，可视化组件更丰富。如果想给人耳目一新的感觉，这些可视化工具是不错的选择，而且所见即所得，tableau和spotfire都收费，前者差不多1万元左右，如果是学生，可以申请教育版的，这样可以省一笔钱。当然，大的互联网公司也会有自己的数据产品，相对外部工具，数据接入更容易。

5>高阶数据分析工具：如果你想用一些算法、模型解决日常的工作，可以学习R软件、python，还有传统的一些spss、matlab、spss modler等，除了这些工具外，大公司也会有自己的模型或算法平台，可以通过java、python等语言直接调取已有算法包，也可以用这些语言重新封装新的算法再使用。

市面上工具很多，但要做一名合格的数据分析师，掌握1/2/3中的工具就可以解决80%的商业分析问题，另外，20%需要高阶的工具。

04 方法

数据分析思维数据分析方法包括两个层面，一个是数据分析思维层面，另一个是套路层面，常用的数据分析思维有：

1> MEMC（Mutually Exclusive Collectively Exhaustive）——“相互独立、完全穷尽”，这个是金字塔原理中非常经典的复杂问题拆解方法，尤其是针对比较大的研究课题，可能开始无从下手，这个时候通过这种方法，可以把整体分解成很多局部模块，再针对每个模块进行可能性假设和论证，最终得出满意的答案。

2>归纳，指从许多个别的事物中概括出一般性概念、原则或结论的思维方法，每次数据分析探索可能很多维度、视角都会尝试，最终要写成分析报告的时候需要提炼核心观点，这就是一个信息归纳的过程。

3> 演绎，演绎推理是由普通性的前提推出特殊性结论的推理，我们在数据分析中经常会沿用原有的经验，很多都是采用演绎的方式进行，比如 28法则是人类收入分配中有这种倾向，电商卖家收入也会有这种倾向。

4>对比思维，数据分析中很多时候要回答某个结果是好还是坏，需要有具体的参考系，常用的参考系有四类，去年同期对比如何，上期环比如何，和目标比如何，和竞争对手比如何，只有通过对比才有实际的意义，否则只是陈列数据。

5>抽茧剥丝，数据分析要像剥洋葱一样，一层层往下分解，直接不能再分解，或者可落地解决为止，如果只停留在表象，会发现不接地气，数据无法真正驱动业务。

6>5W1H，数据分析不一定都要回答6方面的问题，想表达的是如何面对复杂case，要了解这个需求的前因后果，只有先做综合性的判断，才能清楚地判断需求是否靠谱，是要接着往下做，还是要放弃，很多需求是没有意义的。另外，通过5W1H方式的沟通，会获得解决方向灵感，以及判断需求所能影响的范围。

“套路”方法常用的套路层面，需要结合具体的业务场景，比如电商流量、安全、市场营销、会员运营、销售管理等不同场景的数据分析套路是不完全一样的，下面大概讲下，后续会退出更详细的

1>流量：常用的分析方法是流量漏掉，不管是在电商、搜索、还是在社交游戏，通过流量漏斗思路，做流量转化效率优化都是这块的核心。

2>安全：安全最主要的思路是攻防（规则识别、模型识别），流程或政策优化，比如针对账号被盗这样的风险，可以在登录时增加校验流程，或者增加校验难度，也可在不改变流程情况下，提高规则、模型对异常攻击识别的准确率和覆盖度。原则要做安全和用户体验平衡。

3>成交：成交很重要的思路是从流量端做成交驱动拆解，成交金额=uv*转化率*客单价，每个指标都可以再细分，也可以从供给端做供给数量和效率拆解，再从不同维度细分，比如行业、商家类型等。

4>用户：用户主要关注的是用户粘性，和ARUP值，常用的方法是RFM，将用户分成不同类型精细化运营，终极目标是让用户离不开你，情愿花更多钱。

5>销售管理：销售核心的工作是KPI制定和分配，佣金激励，过程管理，数据分析更多是KPI制定的方法，佣金系数制定的方法，过程指标分解的方法。

6>市场营销：市场营销核心分析思路是影响面，以及投入产出比（roi）。

以上就是数据分析4要素，希望您对数据分析岗有全面的了解。

End.

作者：anyway

原文链接：https://zhuanlan.zhihu/p/33010889

前言

之前在给公司的程序员培训机器学习专题实战的时候，发现他们听的认真，也非常想学，但是每当问他们有哪里不懂的时候，他们总是回答不出哪里不懂，识懂非懂的状态，后来我总结了一下原因，1.机器学习领域跟程序开发的区别非常大，机器学习属于一个交叉学科，即需要数学也需要计算机学，难度相对与单学科要大些，2.机器学习领域有很多专业词汇与术语，之前程序员都没听说过和接触过，即使当时讲解的时候讲的非常细，也很难接触的过来，需要有个消化过程。

本篇文章将着重介绍机器学习与数据挖掘领域常用的专业术语，希望能在机器学习路上的你带来帮助，假如你正准备学机器学习或数据挖掘建议你先了解该篇文章后在去学习。

一．基础

1.数据集（DataSet）

数据集，又称为资料集、数据集合或资料集合，是一种由数据所组成的集合。

程序员可以简单的理解成数据库表。

2.变量（variable）

变量来源于数学，是计算机语言中能储存计算结果或能表示值抽象概念。变量可以通过变量名访问。

可以理解为字段。

3.向量（Vector）

在数学中，向量（也称为欧几里得向量、几何向量、矢量），指具有大小（magnitude）和方向的量。它可以形象化地表示为带箭头的线段。

4.X变量（Independent variable）

又称自变量，自变量一词来自数学。在数学中，y=f（x） 。在这一方程中自变量是x，因变量是y。将这个方程运用到心理学的研究中，自变量是指研究者主动操纵，而引起因变量发生变化的因素或条件，因此自变量被看作是因变量的原因。如在比较男女性白细胞数的实验中，性别被称为了自变量，而白细胞数则为因变量。

可以理解成我们在机器学习中需要分析的变量叫做X变量。

5.Y变量（dependent variable）

又称因变量，可以理解为结果变量，如我们在金融贷款项目中预测某人是否可以放款，是否可以放款这个变量就叫做因变量。

6.连续变量

在统计学中，变量按变量值是否连续可分为连续变量与离散变量两种。在一定区间内可以任意取值的变量叫连续变量，其数值是连续不断的，相邻两个数值可作无限分割，即可取无限个数值。如:年龄、体重等变量。

7.离散变量

离散变量的各变量值之间都是以整数断开的，如人数、工厂数、机器台数等，都只能按整数计算。离散变量的数值只能用计数的方法取得。

8.二元变量

通常可以理解成哑变量或虚拟变量，虚拟变量 ( Dummy Variables) 又称虚设变量、名义变量或哑变量，用以反映质的属性的一个人工变量，是量化了的自变量，通常取值为0或1。

9.定性变量

统计学概念，定性变量（qualitative variable）又名分类变量 ( categorical variable ): 观测的个体只能归属于几种互不相容类别中的一种时，一般是用非数字来表达其类别，这样的观测数据称为定性变量。可以理解成可以分类别的变量，如学历、性别、婚否等。

10.均值

即平均值，平均数是表示一组数据集中趋势的量数，是指在一组数据中所有数据之和再除以这组数据的个数。

11.中位数

对于有限的数集，可以通过把所有观察值高低排序后找出正中间的一个作为中位数。如果观察值有偶数个，通常取最中间的两个数值的平均数作为中位数。

12.缺失值

它指的是现有数据集中某个或某些属性的值是不完全的。

13.缺失率

某属性的缺失率=数据集中某属性的缺失值个数/数据集总行数

14.异常值

异常值（outlier）是指一组测定值中与平均值的偏差超过两倍标准差的测定值，与平均值的偏差超过三倍标准差的测定值，称为高度异常的异常值。

15.度量

度量（metric）亦称距离函数，是度量空间中满足特定条件的特殊函数，一般用d表示。度量空间也叫做距离空间，是一类特殊的拓扑空间。弗雷歇（Fréchet，M.R.）将欧几里得空间的距离概念抽象化，于1906年定义了度量空间。

16.矩阵

在数学中，矩阵（Matrix）是一个按照长方阵列排列的复数或实数集合，最早来自于方程组的系数及常数所构成的。

矩阵是高等代数学中的常见工具，也常见于统计分析等应用数学学科中。

即可以看成一个方便用来计算的数组。

17.方差

（variance)是在概率论和统计方差衡量随机变量或一组数据时离散程度的度量。概率论中方差用来度量随机变量和其数学期望（即均值）之间的偏离程度。统计中的方差（样本方差）是每个样本值与全体样本值的平均数之差的平方值的平均数。在许多实际问题中，研究方差即偏离程度有着重要意义。

方差是衡量源数据和期望值相差的度量值。

18.标准差

标准差（Standard Deviation） ，中文环境中又常称均方差，是离均差平方的算术平均数的平方根，用σ表示。标准差是方差的算术平方根。标准差能反映一个数据集的离散程度。平均数相同的两组数据，标准差未必相同。

19.皮尔森相关系数

皮尔森相关系数（Pearson correlation coefficient）也称皮尔森积矩相关系数(Pearson product-moment correlation coefficient) ，是一种线性相关系数。皮尔森相关系数是用来反映两个变量线性相关程度的统计量。相关系数用r表示，其中n为样本量，分别为两个变量的观测值和均值。r描述的是两个变量间线性相关强弱的程度。r的绝对值越大表明相关性越强。

20.相关系数

相关系数是最早由统计学家卡尔·皮尔逊设计的统计指标，是研究变量之间线性相关程度的量，一般用字母 r 表示。由于研究对象的不同，相关系数有多种定义方式，较为常用的是皮尔逊相关系数。

21.特征值

特征值是线性代数中的一个重要概念。在数学、物理学、化学、计算机等领域有着广泛的应用。设 A 是n阶方阵，如果存在数m和非零n维列向量 x，使得 Ax=mx 成立，则称 m 是A的一个特征值（characteristic value)或本征值（eigenvalue)。非零n维列向量x称为矩阵A的属于（对应于）特征值m的特征向量或本征向量，简称A的特征向量或A的本征向量。

22.特征向量

矩阵的特征向量是矩阵理论上的重要概念之一，它有着广泛的应用。数学上，线性变换的特征向量（本征向量）是一个非简并的向量，其方向在该变换下不变。该向量在此变换下缩放的比例称为其特征值（本征值）。

23.求导

求导是微积分的基础，同时也是微积分计算的一个重要的支柱。物理学、几何学、经济学等学科中的一些重要概念都可以用导数来表示。如导数可以表示运动物体的瞬时速度和加速度、可以表示曲线在一点的斜率、还可以表示经济学中的边际和弹性。

24.MSE(Mean Square Error 均方误差）

均方误差（mean-square error, MSE）是反映估计量与被估计量之间差异程度的一种度量。设t是根据子样确定的总体参数θ的一个估计量，(θ-t)2的数学期望，称为估计量t的均方误差。它等于σ2+b2，其中σ2与b分别是t的方差与偏倚。反映估计量与被估计量差异程度。

25.LMS(LeastMean Square 最小均方)

最小均方算法，简称LMS算法，是一种最陡下降算法的改进算法， 是在维纳滤波理论上运用速下降法后的优化延伸，最早是由 Widrow 和 Hoff 提出来的。 该算法不需要已知输入信号和期望信号的统计特征，“当前时刻”的权系数是通过“上一 时刻”权系数再加上一个负均方误差梯度的比例项求得。 其具有计算复杂程度低、在信号为平稳信号的环境中收敛性好、其期望值无偏地收敛到维纳解和利用有限精度实现算法时的平稳性等特性，使LMS算法成为自适应算法中稳定性最好、应用最广的算法。

26.LSM(Least Square Methods 最小二乘法)

最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。

27.MLE(MaximumLikelihood Estimation最大似然估计)

最大似然估计(maximum likelihood estimation, MLE)4一种重要而普遍的求估计量的方法。最大似然法明确地使用概率模型，其目标是寻找能够以较高概率产生观察数据的系统发生树。最大似然法是一类完全基于统计的系统发生树重建方法的代表。

28.QP(Quadratic Programming 二次规划)

二次规划是非线性规划中的一类特殊数学规划问题，在很多方面都有应用，如投资组合、约束最小二乘问题的求解、序列二次规划在非线性优化问题中应用等。在过去的几十年里，二次规划已经成为运筹学、经济数学、管理科学、系统分析和组合优化科学的基本方法。

最大似然法明确地使用概率模型，其目标是寻找能够以较高概率产生观察数据的系统发生树。最大似然法是一类完全基于统计的系统发生树重建方法的代表。该方法在每组序列比对中考虑了每个核苷酸替换的概率。

29.CP(Conditional Probability条件概率)

条件概率是指事件A在另外一个事件B已经发生条件下的发生概率。条件概率表示为：P（A|B），读作“在B条件下A的概率”。条件概率可以用决策树进行计算。条件概率的谬论是假设 P(A|B) 大致等于 P(B|A)。数学家John Allen Paulos 在他的《数学盲》一书中指出医生、律师以及其他受过很好教育的非统计学家经常会犯这样的错误。这种错误可以通过用实数而不是概率来描述数据的方法来避免。

30. JP(Joint Probability 联合概率)

联合概率是指在多元的概率分布中多个随机变量分别满足各自条件的概率。假设X和Y都服从正态分布，那么P{X<4,Y<0}就是一个联合概率，表示X<4,Y<0两个条件同时成立的概率。表示两个事件共同发生的概率。A与B的联合概率表示为 P(AB) 或者P(A,B),或者P（A∩B）。

31.MP(Marginal Probability边缘概率)

边缘概率 Marginal Probability 是某个事件发生的概率，而与其它事件无关。边缘概率是这样得到的：在联合概率中，把最终结果中不需要的那些事件合并成其事件的全概率而消失（对离散随机变量用求和得全概率，对连续随机变量用积分得全概率）。

这称为边缘化（marginalization）。A的边缘概率表示为 P(A)，B 的边缘概率表示为 P(B)。

32. Bayesian Formula(贝叶斯公式)

贝叶斯定理由英国数学家贝叶斯 ( Thomas Bayes 1702-1761 ) 发展，用来描述两个条件概率之间的关系，比如 P(A|B) 和 P(B|A)。按照乘法法则，可以立刻导出：P(A∩B) = P(A)*P(B|A)=P(B)*P(A|B)。如上公式也可变形为：P(B|A) = P(A|B)*P(B) / P(A)。

贝叶斯的统计学中有一个基本的工具叫贝叶斯公式、也称为贝叶斯法则， 尽管它是一个数学公式，但其原理毋需数字也可明了。如果你看到一个人总是做一些好事，则那个人多半会是一个好人。这就是说，当你不能准确知悉一个事物的本质时，你可以依靠与事物特定本质相关的事件出现的多少去判断其本质属性的概率。 用数学语言表达就是：支持某项属性的事件发生得愈多，则该属性成立的可能性就愈大。

L1 /L2Regularization(L1/L2正则，以及更多的，现在比较火的L2.5正则等)

L1范数正则化（ L1 regularization 或 lasso ）是机器学习（machine learning）中重要的手段，在支持向量机（support vector machine）学习过程中，实际是一种对于成本函数(cost function)求解最优的过程，因此，L1范数正则化通过向成本函数中添加L1范数，使得学习得到的结果满足稀疏化(sparsity)，从而方便人们提取特征。

GD(GradientDescent 梯度下降)

梯度下降法是一个最优化算法，通常也称为最速下降法。最速下降法是求解无约束优化问题最简单和最古老的方法之一，虽然现已不具有实用性，但是许多有效算法都是以它为基础进行改进和修正而得到的。最速下降法是用负梯度方向为搜索方向的，最速下降法越接近目标值，步长越小，前进越慢。

可以用于求解非线性方程组。

34. SGD(Stochastic Gradient Descent 随机梯度下降)

随机并行梯度下降算法（stochastic parallel gradient descent algorithm），简称SPGD算法。作为一种无模型优化算法，比较适用于控制变量较多，受控系统比较复杂，无法建立准确数学模型的最优化控制过程。

35.QR-decomposition(QR分解)， 矩阵分解

矩阵分解 (decomposition, factorization)是将矩阵拆解为数个矩阵的乘积，可分为三角分解、满秩分解、QR分解、Jordan分解和SVD（奇异值）分解等，常见的有三种：1)三角分解法 (Triangular Factorization)，2)QR 分解法 (QR Factorization)，3)奇异值分解法 (Singular Value Decomposition)。

36.Quantile (分位数)， 分位数

分位数（Quantile），亦称分位点，是指将一个随机变量的概率分布范围分为几个等份的数值点，常用的有中位数（即二分位数）、四分位数、百分位数等。

37.协方差

协方差（Covariance）在概率论和统计学中用于衡量两个变量的总体误差。而方差是协方差的一种特殊情况，即当两个变...