今天学习的两个实例简单易学，一起学习吧！

数据分析才是excel的重点和精华，第一个分析是条件格式析数据分析，根据条件来更改格式。

例子说明，效绩考核表。

1.要在第一项到第四项中找出多少个小于60的，只要输入公式：countif(D4:G16,"<60")即可，结果显示为2个。< strong="">

PS:总分公式：=SUM(D4:G4) ; 排名公式：=RANK(H4,$H$4:$H$16)

2.如果想要知道小于70的，有几个，又是那几个数字，（就是结果和结论了），把结果转化为结论，才叫数据分析。（有16个，在数据中已不同的颜色标示）

选中数据，开始，条件格式，突出显示....小于(L)....

3.如果70以下是红色，80-90是蓝色，90以上做绿色。

4.还可以在输入数据前，将条件格式做好。

4.1设置有效性，整数或小数1-100，输入信息，出错警告设置好。

4.2点击右键，打开保护，取消锁定。

4.3 点击保护工资表，取消选定锁定单元格，输入密码。

4.4这样输入数据后出现数据分析，一目了然！

日期的提醒，30天以内合同到期

将下表提示为当月合同到期，多数据如此类推。

选中姓名，条件格式，公式：=C7-today()<=30，格式，颜色。< p="">

本月合同到期人员为红色显示。

学习的目的在于掌握学习方法和规律，能够灵活运用，举一反三。

2.另外学习一下excel中排序法数据分析实例吧！

excel中排序，例子说明，

1.1数据排序，直接将光标放置在数据上，如年龄，点击排序的升序或降序即可。在点击编号即可还原。

1.2 文本排序，有音序和笔画排序，如果要在性别上分年龄大小排序，就需要做两次排序，即主要和次要排序。

根据自己的需要做好排序布局即可。

文篇幅较长，分为五部分，在中间部分有关于心理分析工具的介绍，案例分散在第二部分和第五部分，大家在阅读的时候可以跳过“心理分析工具”部分，直接去看案例，如有不明白的地方，再回去查看理论基础，这样也会提升阅读效率。

现今互联网界，不管是研发、产品、设计，还是市场或运营，用户画像这个概念被炒得相当的火。如何构建用户画像的方法论可谓是汗牛充栋，但鲜有能落地生根的，更别提如何将其应用于实践了。

比如，你得到了如下的用户信息/用户画像，小伙伴们能流畅的回答下面的几个问题么？

一些常见的用户信息

这些数据的来源真实、准确和可靠么？能有效的反映出产品使用人群的情况吗？

你能从这些信息中得出有价值的、能运用于实践的insight吗？

如何将得到的用户洞察（有价值的、深层次的用户信息挖掘）应用于实践？

如果上面的问题，你觉得难以作答，或是答案连自己都难以打动，那也很正常。因为这些只是用户的人口统计学信息，哪怕在数据来源质量上没有问题，你也很难得出有价值的用户洞察。

那么，我们应该去重点获取和研究哪些关于用户的信息呢？或者是，从哪（些）个角度去研究用户呢？

笔者认为，是情感，从情感的角度去洞悉用户的内心世界，挖掘其内在的情感需求，以它为基础进行情感营销，从而对产品设计、营销推广和运营发挥建设性的作用。

本文篇幅较长，分为5大部分，在中间部分有关于心理分析工具的介绍，案例分散在第二部分和第五部分，大家在阅读的时候可以跳过“心理分析工具”部分，直接去看案例，如有不明白的地方，再回去查看理论基础，这样也会提升阅读效率。

本文的行文路线图

在这里，我们先聊聊啥是“情感需求分析”，说说它的概念及重要性，之后再讨论如何去挖掘用户的情感。

一、为什么要对用户进行情感需求分析

在移动互联时代，没有哪位用户会老老实实的去接受各种铺天盖地、接踵而至的传统/数字广告所传达的信息，因为这些枯燥、霸王硬上弓式的信息传播，已经很难和用户产生共鸣了，根本打动不了用户，用户对这些产品和与之相关的营销活动压根提不起神来。

对于产品/品牌来说，这种无实效性转化的数字营销已经意义不大了。

此时，企业需要转变思路，采用情感营销打动用户。

情感营销是从消费者的情感需要出发，唤起和激起消费者的情感需求，“诱导”消费者心灵上的共鸣，寓情感于营销之中，让有情的营销赢得无情的竞争。

以下2个图分别从用户和企业/品牌的角度来说情感营销的重要性。

情感是用户最深层的需求

情感定位与营销有助于品牌解决3大困境

要进行情感营销，最重要的一个环节就是挖掘用户的内心真情实感，了解其内在需求，以便“对症下药”，设计出令用户满意的产品和能迎合用户心意的营销方案来。

情感需求分析就是通过各种方法和手段捕捉用户内心情感方面的信息，并对此进行深度分析，得出用户个人情感差异和内在需求的insight,并以此作为“绘制”产品用户画像的核心，最后借助于这些有价值的用户情感洞察，企业可以进行产品的情感包装、情感促销、情感广告、情感口碑、情感设计等策略，实现产品的各项经营目标。

举个例子，很多70/80后不远千里集聚北京首体，去听“纵贯线”组合的演唱会（2008年由罗大佑、李宗盛、周华健、张震岳组成的乐团），不仅仅是因为他们的歌声和乐曲多么的动人，而是听他们的歌声，能触动他们的内心世界，把自己带回到风华正茂的光辉岁月。

只有叩开他们的心扉，满足了用户内心的情感需求，才能吸引他们的关注，从而促成其后续的转化行为。

这时，问题来了：我们该如何进行用户的情感需求分析呢？

答案是，从微博上去抓取能“折射”出用户情感需求的标签。

二、从微博上获取用户情感需求的初始信息

在说抓取用户标签之前，先说个旧闻，用来解释笔者为何选择在微博上进行用户情感需求信息的提取。

1、为何要从微博上获取用户相关信息

2005年7月4日，美国成功发射的彗星探测飞船—“深度撞击号”释放出一颗372公斤级的钢弹，撞击“坦普尔1号”彗星的核。通过这“惊天一撞”，人类得到了价值极高的信息：

从该彗星彗核内部获取彗星形成和演变过程的重要信息

获取大量彗核碎片样本

为人类探索太阳系起源提供新的线索

为地球避免与小天体相撞提供有用的数据。

不知道大家有没有一个疑惑，为什么要通过撞击才能得到这么多有价值的信息呢？

因为在撞击之前，人类对该彗星已有100多年的了解，比较熟悉它的轨道特征、自转特征、表面状况等情况，而且还知道它正处于中年时期，不会连续地向外喷发气体。

不过，这些都只是它的表层情况，对于它的内部特征，尤其是内核构成还一无所知。因而，人类需要对它进行一次危险的“亲密接触”—强烈撞击，强行打开这个“黑箱”（指那些既不能打开，又不能从外部直接观察其内部状态的系统，比如人们的大脑只能通过信息的输入输出来确定其结构和参数），从迸发出的星体碎片中得到更深层次的信息。

与此类似的是，我们积攒了很多用户，这些用户的一些基本特征（如性别、年龄、地域等）我们可以轻易的获得，但是对于哪些是活跃用户、哪些是流失的用户难以进行辨别，而且，我们对于他们的喜好/兴趣图谱挖掘得不够。

但是，通过一条近期转发量大的微博传播进行分析，我们可以获得忠诚度高、活跃性高的用户讯息，除了可以了解他们的基本信息（性别、年龄、地域等），还能得到直通其心灵深处的一些信息。

所以，对于动态发布的微博进行分析的意义在于：

主动互动的用户是活跃用户和忠诚度较高的用户（去除掉僵尸粉、水军以后），描述出的用户画像更精准，比仅关注账号而不进行互动的粉丝有价值

微博上的信息传播具有时效性，企业能在第一时间获取准确的用户信息

对于发布微博的品牌来说，相当于做了一次无意识的抽样调查（它是从全部调查研究对象中，抽选一部分单位进行调查，并据以对全部调查研究对象做出估计和推断的一种调查方法），虽然是非全面调查，但它的目的却在于取得反映总体情况的信息资料，所以也可起到全面调查的作用。

2、如何从微博上获取用户情感信息

下面，我将以小米微博作为研究案例，对它旗下微博账号所发布的微博进行用户信息提取。笔者所选取的微博遵循如下几点要求：

转发/评论的数量足够多，粉丝互动足够多

以近期发布的微博为主，保证较强的时效性

尽量多找几条微博进行分析，得出其中的共性、重合部分，保证信息的稳定和准确

遵照上述几条，我分别选取了小米旗下的2个微博账号中的3条转发量较大的微博进行了微博传播分析，用到的是微博大数据分析工具—微分析（http://apps.weibo/5749860995/QozsgdY），它具有刻画传播路径、洞察关键人物、解读用户画像、分析传播质量等功能，本文用到的是其中的解读用户画像功能。

对小米两个微博账号的3条微博进行分析微博传播分析

从上图可以看到，这些微博都是用户转发量、评论量和点赞量较大的3条微博，属于“热门微博”，而且发布时间上间隔不久，故符合上述甄选条件。

微博1的传播分析结果（部分）

微博2的传播分析结果（部分）

微博3的传播分析结果（部分）

对于上述结果，我们重点关注其中能反映粉丝情感特征的信息，主要是兴趣标签和星座信息。

兴趣标签。对大多数微博用户而言，微博的一个主要的功能就是获取信息，而用户的关注者就代表了用户感兴趣的话题，因此利用用户的关注者的兴趣标签来推测用户的特征是一个很直观的思路，具体的情感挖掘分析后有详述。

星座信息。不是迷信，也不是主观臆测，这个也涉及到心理学方面的知识，下面会有详述。

此时，一个新的问题冒出来了：对粉丝的兴趣标签和星座信息进行情感需求挖掘，这个该如何操作呢？

在这里，我们需要用到心理动力学，主要涉及到1个心理分析方法论（心理投射）和1个心理分析工具（Censydiam消费动机费模型）。

三、如何从用户的标签信息中获取情感洞察：运用“心理投射”分析方法

1、 什么是“心理投射”？

“投射”一词在心理学上是指个人自己的思想、态度、愿望、情绪、性格等个性特征，不自觉地反应于外界事物或者他人的一种心理作用，也就是个人的人格结构对感知、组织以及解释环境的方式发生影响的过程。说得更直白点，就人们把自己心里的内容和感受，放到客观世界中，就如同投影仪一样，让一个事物拥有我心里的内容。正所谓“寄情于物”、“借物传情”、“借景抒情”，说的就是这个道理。

由于投射效应的存在，我们常常可以从一个人对别人的看法、以及自身的兴趣爱好来推测这个人的真正意图或心理特征。

投射的心理过程是无意识运行的结果，对于投射者来说，这个心理过程的发生是毫无觉知和悄无声息的。个体在选择、关注或喜好某事物时，常常不自觉地将隐藏在内心的冲突和欲望融入这些事物中，借助于事物带将其宣泄出来，即把个人的内心世界投射于所参与的事物中。而我们通过对他们的选择、关注或喜好的事物（标签）的分析，从而了解其内心真正的需求。

2、 掌握心理投射分析法的必要性

正确运用心理投射的影响力是巨大的，只有掌握符合用户的内在心理特征，才能够进一步得到对方的喜欢，才能让用户支持你、拥戴你，帮助你获得成功；否则，必然会导致失败。

“正确投射”在影响力中的作用，就像射击比赛中运动员一枪打中靶心的作用一样大。射击运动员只有瞄得准，才能射得准。只有射得准，才能取得好的成绩。这一过程运用到企业与用户之间，便是只有完全地了解了目标用户的心理喜好，才能有针对性地通过产品设计和运营策略来影响用户。

关于正确投射的例子数不胜数，其中典型的还有金利来男款服饰。金利来男款服饰将成功男人的特征，准确地通过广告用语“金利来，男人的世界”投射出来。因而该品牌成功地博得广大渴望成功的男士的信任。

3、心理投射的基本假设

在运用心理投射进行分析之前，我们先来了解一下它的3个基本假设：

人们对于外界刺激的反应都有其原因而且是可以预测的，不是偶然发生的；

这些反应固然决定于当时的刺激或者情境，但是个人本身当时的心理结构、过去的经验、对将来的期望，也就是他整个的人格结构，对当时的知觉与反应的性质和方向，都会产生很大的影响；

人格结构的大部分处于潜意识中，个人无法凭借其意识说明自己，而个人面对一种不明确的刺激情境时，却常常可以使隐藏在潜意识中的欲望、需求、动机冲突等“泄漏”出来，即把一个反映他的人格特点的结构加到刺激上去。如果知道了一个人如何对那些意义不明确的刺激情境进行解释和组织，就能够推论出有关个体人格结构的一些问题。

4、心理投射法在商业场景中的应用

移动互联网技术正在深度影响今天主流的思维范式、行为模式和生活方式。无论是iPhone还是小米，华为或者魅族，既是一种圈层标签也是在表达自我态度。如莎士比亚口中的衣服，手机屏幕会泄露我们的秘密，起到同样作用的还有智能电视、游戏电脑、iPad、kindle等，这些都是我们理解世界的方式。（吴声，《场景革命》）

我们的生活方式、内心情感状态决定了我们想要的场景。

用户内心憧憬何种场景，我们就需要去营造他们想要的场景，不过，前提是对他们的内心世界有着深刻的理解，洞悉他们的内在情感。如果能切中用户的情感需求，用户就会自动找上门来。

由此，这就需要我们在找寻用户的兴趣图谱和使用场景的同时，深入的去挖掘其内心的情感需求，以此为依据，为其量身定制产品设计方案和营销策略，争取由内而外的打动他们。

心理投射是一种分析用户内心情感和内在需求的方法论，若要实现对用户情感的分析，将这些外化的标签转化成更富价值的用户情感洞察，则需要用到一个心理工具，即营销界应用广泛的Censydiam用户动机分析模型。

四、让用户情感需求洞察成为可能：Censydiam用户动机分析模型

1、马斯洛需求层次理论在分析用户行为动机上的不足

传统的用户动机研究往往基于美国社会心理学家、人格理论家和比较心理学家亚伯拉罕·马斯洛的需求层次理论，这个理论大家也相当熟悉咯，所以下面只简单聊几句，不太明白的可以去网上搜索。

马斯洛需求理论各层次与西游记各人物的对应图

一般来说，马斯洛这一理论将需求分为五个层次，即生理需要、安全需要、爱与归属的需要、尊重的需要、自我实现的需要。

每一个人往往潜藏着这五种不同层次的需求，但在不同时期表现出来的各种需求的迫切程度是不同的。...

【IT168 评论】这是一个用数据说话的时代，也是一个依靠数据竞争的时代。各大互联网公司都在不断完善自己的数据分析团队，数据分析师的薪酬也是水涨船高。业内人士透露，应届毕业生的平均薪资大概在6K左右，1至3年经验的大概在10K到20K之间，5至10年经验的大概在25K以上。薪资还是十分诱人的，那么，如何快速成长为一名年薪百万的数据分析师呢?快来看看，以下30道数据分析相关面试题，你会多少?

1、分析数据还要写java代码是不是效率有点低?

2、成为一名数据分析师需要具备哪些技能?

要成为一名数据分析师，需要掌握丰富的报告软件包(Business Objects)，编程语言(XML，Javascript或ETL框架)，数据库(SQL，SQLite等);能够准确分析、组织、收集或传播数据;掌握数据库设计，数据模型，数据挖掘等方面的技术知识以及分析大型数据集(SAS，Excel，SPSS等)的统计软件包知识。

3、分析项目的各个步骤是什么?

分析项目的各个步骤包括：

·问题定义

·数据挖掘

数据准备

模型化

数据认证

实施跟踪

4、分析的结果数据特别大，在线请求这些结果数据扛不住了，咋搞?

5、列出数据清理的最佳实践?

一些数据清理的最佳实践包括：

按不同的属性排序数据

对于大数据集，逐步清理并改进数据，直到获得良好的数据质量

对大型数据集，可以先将其分解为小数据集，使用更少的数据将增加迭代速度

要处理常见的清理任务，请创建一组实用程序函数/工具/脚本。它可能包括基于CSV文件或SQL数据库重映射值，或者正则表达式搜索和替换，消除所有不匹配正则表达式的值

如果在数据清理方面存在问题，请按照估计的频率进行安排并解决问题

分析每列的汇总统计数据(标准差，均值，缺失值的数量)

保持对每一个清理操作的跟踪，以便可以根据需要更改或删除操作

6、海量日志数据，提取出某日访问百度次数最多的那个IP。

7、可用于数据分析的一些最佳工具清单有什么?

Tableau

RapidMiner

OpenRefine

KNIME

Google Search Operators

Solver

NodeXL

io

Wolfram Alpha’s

Google Fusion tables

8、数据挖掘和数据分析之间的区别是什么?

数据挖掘和数据分析之间的区别在于：

数据分析：针对个别属性的实例分析。提供有关属性的各种信息，如值范围，离散值及其频率，空值的发生，数据类型，长度等。

数据挖掘：重点关注聚类分析，异常记录检测，依赖关系，序列发现，多个属性之间的关系控制等。

9、给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url?

10、用于处理分布式计算环境中应用程序大数据集的Apache框架有哪些?

Hadoop和MapReduce是由Apache开发的用于处理分布式计算环境中应用程序大数据集的编程框架。

11、腾讯面试题：给40亿个不重复的unsigned int的整数，没排过序的，然后再给一个数，如何快速判断这个数是否在40亿个数当中?

12、解释KNN插补方法是什么?

在KNN插补中，通过使用与其值缺失的属性最相似的属性值来推断缺少的属性值。通过使用距离函数，确定两个属性的相似度。

13、数据分析师使用的数据验证方法是什么?

通常，数据分析师用于数据验证的方法是数据筛选和数据验证。

14、解释应该如何处理可疑或缺失数据?

准备提供所有可疑数据信息的验证报告。它应该提供信息，如失败的验证标准以及发生的日期和时间

有经验的数据分析师应该检查可疑数据以确定其可接受性

应该找出无效数据并用验证码替换

对缺失数据进行处理，使用最佳分析策略，如删除，单一插补方法，基于模型的方法等。

15、如何避免过拟合?

过拟合表现在训练数据上的误差非常小，而在测试数据上误差反而增大。其原因一般是模型过于复杂，过分得去拟合数据的噪声和outliers。常见的解决办法是正则化：增大数据集，正则化

16、解释异常值是什么?

异常值是分析师使用的一个术语，指的是一个远远超出样本总体模式的值。有两种类型的异常值：

Univariate

Multivariate

17、解释分层聚类算法是什么?

分层聚类算法结合并划分现有的组，创建分层结构并展示组划分或合并的顺序。

18、解释K均值算法是什么?

K均值是一种著名的分区方法。对象被分类为属于K个组中的一个，k是先验选择的。

在K均值算法中：

簇是球形的：簇中的数据点以该簇为中心

簇的方差/扩展是相似的：每个数据点属于最接近的簇

19、数据分析师所需掌握的关键技能是什么?

数据科学家必须具备以下技能：

数据库知识

数据库管理

数据混合

数据查询

数据操作

预测分析

基本描述性统计

预测建模

高级分析

大数据知识

大数据分析

非结构化数据分析

机器学习

演示技巧

数据可视化

报告设计

20、解释协同过滤是什么?

协同过滤是一种基于用户行为数据创建推荐系统的简单算法。协同过滤最重要的组件是用户对项目的兴趣。

协同过滤一个很好的例子就是购物网站上出现的类似“为您推荐”的模块，该模块通常会获取用户的浏览记录信息，以弹出用户可能喜欢或需要的商品。

21、大数据中通常会使用到哪些工具?

大数据中使用的工具包括：

Hadoop

Hive

Pig

Flume

Mahout

Sqoop

22、解释什么是KPI，实验设计和80/20规则?

关键绩效指标(KPI)：它代表关键绩效指标(Key Performance Indicator)，它是关于业务流程的报告或图表

实验设计：这是用于分解数据，采样和建立数据以进行统计分析的初始过程

80/20规则：这意味着你收入的80%来自客户的20%

23、解释Map Reduce是什么?

Map-Reduce是一个处理大型数据集的框架，可以将它们分解成子集，在不同的服务器上处理每个子集，然后混合每个子集上获得的结果。

24、解释聚类是什么?聚类算法的属性?

聚类是一种应用于数据的分类方法。聚类算法将数据集划分为自然组或集群。

聚类算法的属性是：

Hierarchical or flat

Iterative

Hard and soft

Disjunctive

25、对数据分析师有用的统计方法是什么?

对数据科学家有用的统计方法是

贝叶斯方法

马尔科夫过程

空间和集群进程

统计数据，百分位数，异常值检测

计算技巧等

简单的算法

数学优化

26、时间序列分析是什么?

时间序列分析可以在频域和时域两个域中完成。在时间序列分析中，可以通过指数平滑，对数线性回归等各种方法分析数据，来预测特定过程输出。

27、解释空间自相关分析是什么?

空间自相关分析是地理空间分析的常用形式。它由一系列为不同空间关系计算的估计自相关系数组成。当原始数据表示为距离而不是单个点的值时，它可以用于构建基于距离的数据相关图。

28、散列表是什么?散列表冲突是什么?如何避免?

在计算中，哈希表(散列表)是键值对的映射，这是一个用于实现关联数组的数据结构。它使用散列函数来计算一个时隙阵列的索引，从中可以获取所需的值。

当两个不同的键散列到相同的值时，发生散列表冲突。两个数据不能存储在阵列的同一个插槽中。

为了避免散列表碰撞，有很多技巧，这里列出两个：

分离链接：它使用数据结构来存储散列到同一个插槽的多个项目。

再探测：在找到查找位置的index的index-1，index+1位置查找，index-2，index+2查找，依次类推。这种方法称为线性再探测。

29、解释 imputation是什么?列出不同类型的插补技术?哪种插补方法更有利?

在插补过程中，我们用替代值替换丢失的数据。插补技术涉及的类型有：

单一插补

热点插补：从随机选择的类似记录中推断缺失值

冷却板插补：与热点插补相同，但更先进，从其他数据集中选择供体

平均估算：在所有其他情况下，用该变量的平均值代替缺失值

回归插补：用基于其他变量的变量预测值替换缺失值

随机回归：与回归插补一样，但它将平均回归方差加入到回归估计中

多重插补：与单个插补不同，多重插补会多次估计值

虽然单一插补法被广泛使用，但并不能反映随机丢失数据所造成的不确定性。因此，在数据丢失的情况下，多重插补更有利。

30、解释N-gram是什么?

N-gram是来自给定序列文本或语音的n个项目的连续序列。这是一种以(n-1)形式预测下一个项目的概率语言模型。

1.正则表达式汇总表

先上一张大家都很熟悉的图：

我自己很少用这张表，还的自己写，多累，你说是吧！

2.常用正则表达式

一、校验数字的表达式1 数字：^[0-9]*$2 n位的数字：^d{n}$3 至少n位的数字：^d{n,}$4 m-n位的数字：^d{m,n}$5 零和非零开头的数字：^(0|[1-9][0-9]*)$6 非零开头的最多带两位小数的数字：^([1-9][0-9]*)+(.[0-9]{1,2})?$7 带1-2位小数的正数或负数：^(-)?d+(.d{1,2})?$8 正数、负数、和小数：^(-|+)?d+(.d+)?$9 有两位小数的正实数：^[0-9]+(.[0-9]{2})?$10 有1~3位小数的正实数：^[0-9]+(.[0-9]{1,3})?$11 非零的正整数：^[1-9]d*$ 或 ^([1-9][0-9]*){1,3}$ 或 ^+?[1-9][0-9]*$12 非零的负整数：^-[1-9][]0-9"*$ 或 ^-[1-9]d*$13 非负整数：^d+$ 或 ^[1-9]d*|0$14 非正整数：^-[1-9]d*|0$ 或 ^((-d+)|(0+))$15 非负浮点数：^d+(.d+)?$ 或 ^[1-9]d*.d*|0.d*[1-9]d*|0?.0+|0$16 非正浮点数：^((-d+(.d+)?)|(0+(.0+)?))$ 或 ^(-([1-9]d*.d*|0.d*[1-9]d*))|0?.0+|0$17 正浮点数：^[1-9]d*.d*|0.d*[1-9]d*$ 或 ^(([0-9]+.[0-9]*[1-9][0-9]*)|([0-9]*[1-9][0-9]*.[0-9]+)|([0-9]*[1-9][0-9]*))$18 负浮点数：^-([1-9]d*.d*|0.d*[1-9]d*)$ 或 ^(-(([0-9]+.[0-9]*[1-9][0-9]*)|([0-9]*[1-9][0-9]*.[0-9]+)|([0-9]*[1-9][0-9]*)))$19 浮点数：^(-?d+)(.d+)?$ 或 ^-?([1-9]d*.d*|0.d*[1-9]d*|0?.0+|0)$二、校验字符的表达式1 汉字：^[一-龥]{0,}$2 英文和数字：^[A-Za-z0-9]+$ 或 ^[A-Za-z0-9]{4,40}$3 长度为3-20的所有字符：^.{3,20}$4 由26个英文字母组成的字符串：^[A-Za-z]+$5 由26个大写英文字母组成的字符串：^[A-Z]+$6 由26个小写英文字母组成的字符串：^[a-z]+$7 由数字和26个英文字母组成的字符串：^[A-Za-z0-9]+$8 由数字、26个英文字母或者下划线组成的字符串：^w+$ 或 ^w{3,20}$9 中文、英文、数字包括下划线：^[一-龥A-Za-z0-9_]+$10 中文、英文、数字但不包括下划线等符号：^[一-龥A-Za-z0-9]+$ 或 ^[一-龥A-Za-z0-9]{2,20}$11 可以输入含有^%&',;=?$"等字符：[^%&',;=?$"]+12 禁止输入含有~的字符：[^~"]+三、特殊需求表达式1 Email地址：^w+([-+.]w+)*@w+([-.]w+)*.w+([-.]w+)*$2 域名：[a-zA-Z0-9][-a-zA-Z0-9]{0,62}(/.[a-zA-Z0-9][-a-zA-Z0-9]{0,62})+/.?3 InternetURL：[a-zA-z]+://[^s]* 或 ^http://([w-]+.)+[w-]+(/[w-./?%&=]*)?$4 手机号码：^(13[0-9]|14[5|7]|15[0|1|2|3|5|6|7|8|9]|18[0|1|2|3|5|6|7|8|9])d{8}$5 电话号码("XXX-XXXXXXX"、"XXXX-XXXXXXXX"、"XXX-XXXXXXX"、"XXX-XXXXXXXX"、"XXXXXXX"和"XXXXXXXX)：^((d{3,4}-)|d{3.4}-)?d{7,8}$6 国内电话号码(0511-4405222、021-87888822)：d{3}-d{8}|d{4}-d{7}7 身份证号(15位、18位数字)：^d{15}|d{18}$8 短身份证号码(数字、字母x结尾)：^([0-9]){7,18}(x|X)?$ 或 ^d{8,18}|[0-9x]{8,18}|[0-9X]{8,18}?$9 帐号是否合法(字母开头，允许5-16字节，允许字母数字下划线)：^[a-zA-Z][a-zA-Z0-9_]{4,15}$10 密码(以字母开头，长度在6~18之间，只能包含字母、数字和下划线)：^[a-zA-Z]w{5,17}$11 强密码(必须包含大小写字母和数字的组合，不能使用特殊字符，长度在8-10之间)：^(?=.*d)(?=.*[a-z])(?=.*[A-Z]).{8,10}$12 日期格式：^d{4}-d{1,2}-d{1,2}13 一年的12个月(01～09和1～12)：^(0?[1-9]|1[0-2])$14 一个月的31天(01～09和1～31)：^((0?[1-9])|((1|2)[0-9])|30|31)$15 钱的输入格式：16 1.有四种钱的表示形式我们可以接受:"10000.00" 和 "10,000.00", 和没有 "分" 的 "10000" 和 "10,000"：^[1-9][0-9]*$17 2.这表示任意一个不以0开头的数字,但是,这也意味着一个字符"0"不通过,所以我们采用下面的形式：^(0|[1-9][0-9]*)$18 3.一个0或者一个不以0开头的数字.我们还可以允许开头有一个负号：^(0|-?[1-9][0-9]*)$19 4.这表示一个0或者一个可能为负的开头不为0的数字.让用户以0开头好了.把负号的也去掉,因为钱总不能是负的吧.下面我们要加的是说明可能的小数部分：^[0-9]+(.[0-9]+)?$20 5.必须说明的是,小数点后面至少应该有1位数,所以"10."是不通过的,但是 "10" 和 "10.2" 是通过的：^[0-9]+(.[0-9]{2})?$21 6.这样我们规定小数点后面必须有两位,如果你认为太苛刻了,可以这样：^[0-9]+(.[0-9]{1,2})?$22 7.这样就允许用户只写一位小数.下面我们该考虑数字中的逗号了,我们可以这样：^[0-9]{1,3}(,[0-9]{3})*(.[0-9]{1,2})?$23 8.1到3个数字,后面跟着任意个 逗号+3个数字,逗号成为可选,而不是必须：^([0-9]+|[0-9]{1,3}(,[0-9]{3})*)(.[0-9]{1,2})?$24 备注：这就是最终结果了,别忘了"+"可以用"*"替代如果你觉得空字符串也可以接受的话(奇怪,为什么?)最后,别忘了在用函数时去掉去掉那个反斜杠,一般的错误都在这里25 xml文件：^([a-zA-Z]+-?)+[a-zA-Z0-9]+\.[x|X][m|M][l|L]$26 中文字符的正则表达式：[一-龥]27 双字节字符：[^-] (包括汉字在内，可以用来计算字符串的长度(一个双字节字符长度计2，ASCII字符计1))28 空白行的正则表达式：s* (可以用来删除空白行)29 HTML标记的正则表达式：<(S*?)[^>]*>.*?|<.*? /> (网上流传的版本太糟糕，上面这个也仅仅能部分，对于复杂的嵌套标记依旧无能为力)30 首尾空白字符的正则表达式：^s*|s*$或(^s*)|(s*$) (可以用来删除行首行尾的空白字符(包括空格、制表符、换页符等等)，非常有用的表达式)31 腾讯QQ号：[1-9][0-9]{4,} (腾讯QQ号从10000开始)32 中国邮政编码：[1-9]d{5}(?!d) (中国邮政编码为6位数字)33 IP地址：d+.d+.d+.d+ (提取IP地址时有用)34 IP地址：((?:(?:25[0-5]|2[0-4]\d|[01]?\d?\d)\.){3}(?:25[0-5]|2[0-4]\d|[01]?\d?\d))

是不是觉得哪来主义有点不好意思？

3.万能法则

3.1 贪婪与非贪婪匹配

如：str="ab123c"

p1="ab.*?c"

p2="ab(.*?)c"

贪婪匹配:正则表达式一般趋向于最大长度匹配，也就是所谓的贪婪匹配。如上面使用模式p1匹配字符串str，结果就是匹配到：ab123c。

非贪婪匹配：就是匹配到结果就好，就少的匹配字符。如上面使用模式p2匹配字符串str，结果就是匹配到：123。

注意：在实践中，正则没必要一口就吞个胖子，可以降阶匹配，少费点脑力，后面结合BeautifulSoup，就更简单啦。

3.2 多行匹配

re.S：.将会匹配换行符，默认.不会匹配换行符。（Python Cookbook的方法OUT啦）

>>> re.findall("a(d+)b.+a(d+)b", "a23ba34b") []>>> re.findall("a(d+)b.+a(d+)b", "a23ba34b", re.S) [('23', '34')]

re.M：^$标志将会匹配每一行，默认^和$只会匹配第一行：

>>> re.findall("^a(d+)b", "a23ba34b") ['23']>>> re.findall("^a(d+)b", "a23ba34b", re.M) ['23', '34']

如果没有^标志：

>>> re.findall("a(d+)b", "a23ba23b") ['23', '23']

具体的例子稍后会用爬虫实例进行解说。

4.常用内置函数

以下代码在Jupyter中调试运行。

# In[1]:import re# ## re.match & re.search# 在 `re` 模块中， `re.match` 和 `re.search` 是常用的两个方法：## re.match(pattern, string[, flags])# re.search(pattern, string[, flags])## 两者都寻找第一个匹配成功的部分，成功则返回一个 `match` 对象，不成功则返回 `None`，不同之处在于 `re.match` 只匹配字符串的开头部分，而 `re.search` 匹配的则是整个字符串中的子串。# ## re.findall & re.finditer# `re.findall(pattern, string)` 返回所有匹配的对象， `re.finditer` 则返回一个迭代器。# ## re.split# `re.split(pattern, string[, maxsplit])` 按照 `pattern` 指定的内容对字符串进行分割。# ## re.sub# `re.sub(pattern, repl, string[, count])` 将 `pattern` 匹配的内容进行替换。# ## repile# `repile(pattern)` 生成一个 `pattern` 对象，这个对象有匹配，替换，分割字符串的方法。# ## 例子# 假设我们要匹配这样的字符串：# In[2]:string = 'hello world'pattern = 'hello (w+)'match = re.match(pattern, string)print(match)# 一旦找到了符合条件的部分，我们便可以使用 `group` 方法查看匹配的部分：# In[3]:if match is not None: print(match.group(0))# In[4]:if match is not None: print(match.group(1))# 我们可以改变 string 的内容：# In[5]:string = 'hello there'pattern = 'hello (w+)'match = re.match(pattern, string)if match is not None: print(match.group(0)) print(match.group(1))# 通常，`match.group(0)` 匹配整个返回的内容，之后的 `1,2,3,...` 返回规则中每个括号（按照括号的位置排序）匹配的部分。## 如果某个 `pattern` 需要反复使用，那么我们可以将它预先编译：# In[7]:pattern1 = repile('hello (w+)')match = pattern1.match(string)if match is not None: print(match.group(1))# 由于元字符的存在，所以对于一些特殊字符，我们需要使用 `''` 进行逃逸字符的处理，使用表达式 `'\'` 来匹配 `''` 。## 但事实上，`Python` 本身对逃逸字符也是这样处理的：# In[9]:pattern = '\'print(pattern)# 因为逃逸字符的问题，我们需要使用四个 `'\\'` 来匹配一个单独的 `''`：# In[10]:pattern = '\\'path = "C:\foo\bar\baz.txt"print(re.split(pattern, path))# 这样看起来十分麻烦，好在 `Python` 提供了 `raw string` 来忽略对逃逸字符串的处理，从而可以这样进行匹配：# In[11]:pattern = '\'path = "C\fo\ba\baz.txt"print(re.split(pattern, path))

5.正则调试器（基于tkinter）

2015年学Tkinter的时候整理了一个正则调试器完整代码，有兴趣的小伙伴可以玩玩！

至于打包成exe文件，我推荐CXfreeze。

# -*-ecoding=utf-8-*-# !/usr/bin/env python"""Basic regular expression demostration facility (Perl style syntax)."""# 载入相应的库或模块2015-7-25 by yeayeefrom tkinter import *# 导入re正则import re# 定义一个对象class ReDemo: # 初始化属性，其中参数self是默认的参数 def __init__(self, master): self.master = master self.promptdisplay = Label(self.master, anchor=W, text="正则表达式:") self.promptdisplay.pack(side=TOP, fill=X) self.regexdisplay = Entry(self.master) self.regexdisplay.pack(fill=X) self.regexdisplay.focus_set() self.addoptions() self.statusdisplay = Label(self.master, text="", anchor=W) self.statusdisplay.pack(side=TOP, fill=X) self.labeldisplay = Label(self.master, anchor=W, text="字 符 串:") self.labeldisplay.pack(fill=X) self.labeldisplay.pack(fill=X) self.showframe = Frame(master) self.showframe.pack(fill=X, anchor=W) self.showvar = StringVar(master) self.showvar.set("first") self.stringdisplay = Text(self.master, width=60, height=4) self.stringdisplay.pack(fill=BOTH, expand=1) self.stringdisplay.tag_configure("hit", background="yellow") self.grouplabel = Label(self.master, text="匹配结果:", anchor=W) self.grouplabel.pack(fill=X) self.grouplist = Listbox(self.master) self.grouplist.pack(expand=1, fill=BOTH) self.regexdisplay.bind('', self.recompile) self.stringdisplay.bind('', self.reevaluate) selfpiled = None self.recompile() btags = self.regexdisplay.bindtags() self.regexdisplay.bindtags(btags[1:] + btags[:1]) btags = self.stringdisplay.bindtags() self.stringdisplay.bindtags(btags[1:] + btags[:1]) # 定义方法，也就是所谓的函数 def addoptions(self): self.frames = [] self.boxes = [] self.vars = [] name1 = ['IGNORECASE', 'LOCALE', 'MULTILINE', 'DOTALL', 'VERBOSE'] name2 = ['不区分大小写', '本地化识别', '忽略^和$', '忽略换行符', '松散正则'] for name in range(0, 5): if len(self.boxes) % 3 == 0: frame = Frame(self.master) frame.pack(fill=X) self.frames.append(frame) val = getattr(re, name1[name]) var = IntVar() box = Checkbutton(frame, variable=var, text=name2[name], offvalue=0, onvalue=val, command=self.recompile) box.pack(side=LEFT) self.boxes.append(box) self.vars.append(var) def getflags(self): flags = 0 for var in self.vars: flags = flags | var.get() flags = flags return flags def recompile(self, event=None): try: print (self.regexdisplay.get(), 000) selfpiled = repile(self.regexdisplay.get(), self.getflags()) bg = self.promptdisplay['background'] self.statusdisplay.config(text="", background=bg) except (re.error, msg): selfpiled = None self.statusdisplay.config( text="正则错误: %s" % str(msg), background="red") self.reevaluate() def reevaluate(self, event=None): try: self.stringdisplay.tag_remove("hit", "1.0", END) except TclError: pass try: self.stringdisplay.tag_remove("hit0", "1.0", END) except TclError: pass self.grouplist.delete(0, END) if not selfpiled: return self.stringdisplay.tag_configure("hit", background="yellow") self.stringdisplay.tag_configure("hit0", background="orange") text = self.stringdisplay.get("1.0", END) last = 0 nmatches = 0 while last <= len(text): m = selfpiled.findall(text, last) if m[0] == '' and m[0] == '': break if len(m) != 0: for i in range(len(m)): g = u"第%d个: %s" % (i + 1, m[i]) self.grouplist.insert(END, g) nmatches = nmatches + 1 if self.showvar.get() == "first": break if nmatches == 0: self.statusdisplay.config(text="(不匹配)", background="yellow") else: self.statusdisplay.config(text="")def main(): pass root = Tk() demo = ReDemo(root) root.title('Python正则测试器') root.protocol('WM_DELETE_WINDOW', root.quit) root.mainloop()if __name__ == '__main__': main()

胶水语言博大精深，

本主只得一二为新人带路，

来自：Python数据分析及可视化实例 作者 yeayee

一、前言

撸Python已经快三年了，

是时候做个阶段性小结。

本主也是知乎专栏作者，

觉得我乎每况日下，

以后不管发文的质量，

第一弹就发在这里了。

二、计划

第1章安装

1.1Python安装

1.2Pycharm安装及虚拟环境配置

1.3Pip安装依赖库

第2章数据采集

2.1数据采集简介

2.2 Request、BeautifulSoup

2.2Re正则

2.3Selenium、PantomJS

2.4多线程及线程池

2.5 Scrapy实战

第3章数据存储与读取

3.1 存储方式简介

3.2 常规存储txt、csv、xls

3.3 存储至数据库MongoDB

3.4 数据库备份及迁移

第4章Pandas数据分析

4.1 Anaconda简介

4.2 Jupyter

4.3 Numpy数据结构

4.4 Pandas

4.4.1 Series

4.4.2 DataFrame

4.4.3 文本统计

4.4.4 时间序列

第5章数据可视化

5.1 可视化图表应用简介

5.2 Bokeh与Pycharm、Jupyter交互生成本地常规图表

5.3 文本类词频统计生成自定义词云

5.4 地理坐标显示生成热力云图

5.5 数据在线动态可视化

4.5.1 Flask Web开发

4.5.2 Flask Web开发在线数据展示页面

4.5.3 Restful API接口开发

4.5.4 微信小程序开发在线数据展示页面

第6章大数据分析

6.1Sklearn简介

6.2 数据预处理

6.3 模型训练

6.4回归分析预测

6.5 时间序列预测

6.6 验证码识别

6.6.1 验证码图片采集

6.6.2 验证码图片二值化

6.6.3 聚类模型训练及测试

三、尾声

上面已经提供了菜单，

自学能力强的可以超前哦，

旨在通过实例进行总结。

系列文章均为原创，

转载请保留出处哈。

一提到数据分析，很多人可能脑海中可能会浮现出各式各样的数据画面。

比如下图所示，这样的中国式复杂报表在企业中经常被使用，精密的复杂表格样式中蕴含着国人庞大的数据信息量。

再比如这样的数据Dashboard可视化，通常应用于展示KPI业务指标，例如销售额、毛利率、利润率等等，数据的可视化呈现形式清晰直观。

再就是目前火热的不行的可视化大屏，比如下图所示的双11全球天猫狂欢节当日的实时交易统计大屏，除了清晰直观地展示企业核心的KPI指标之外，狂拽炫酷是它至关重要的特征。

大道至简的数据分析方法

但无论是以上的哪一种，无论数据如何变换，所有看似神秘的数据分析过程都可以归纳总结为各种“维度+度量”的组合分析。

维度用于描述事物的属性信息，例如统计各个地区的交易数量时，地区就是维度。

度量（指标）是可以量化统计的数值，例如统计各个地区的交易数量时，交易数量就是度量。但是需要注意的是并不一定所有的数值都是度量，例如学生的学号虽然是数值类型，但是其实它是维度而非度量。

如此一来，我们对数据分析有了从整体上的解释。但是实际应用中，我们并非盲目地去进行各种维度和度量的拼凑组合，而是希望得出的数据分析结果能够指引业务进行决策，终而形成业务闭环效果的。

根据我自身的一些数据分析项目经验，90%以上的基本数据分析问题都可以套用我总结的这七步完成（深入的数据分析需涉及描述性统计分析、相关性分析等专业的统计分析技能）：

数据分析必然需要借助工具，Excel、BI或者R和Python语言都可以帮助实现。

这里为了帮大家更快速地理解数据清洗建模和数据差异分析环节的内容，借助比较简单的BI工具FineBI，为大家进行一个销售数据分析实例，加深大家对数据建模和数据分析过程的理解。感兴趣的可以到官网下载，个人完全免费。

一、确定分析目标

这是分析前的第一步，我们需要明确进行数据分析的对象，也就是需要确定分析目标。

通常来说我们会选取最关心的核心KPI指标，例如电商行业的销量、销售额、利润，制造行业的次品率，互联网行业的用户留存率等等。

一般来说，分析目标不要过多，如果实在是需要同时分析多个关键核心业务KPI指标，那么我们便可以将这些核心指标分解给对应业务负责人，例如销售总监负责提升公司销售业绩，运营总监负责降低成本花费。

二、核心目标拆解

确定好分析目标之后，通常来说我们需要再对核心目标进行子目标分解，这也符合企业各团队分工协作的特性。

核心目标拆解的过程中需要遵循MECE原则，也就是“完全穷举，相互独立”。例如下图所示的电子商务数据分析指标体系，就分别从网站运营指标、经营环境指标、销售指标、营销活动指标、客户价值指标几个方面进行了详尽的拆解，然后交由各个团队进行分工达成。

三、数据清洗和业务建模

确立和分解好数据分析目标之后，下一步就可以进入到数据清洗和业务建模环节了。

数据清洗方面，很多人可能会想到国外传统的一些ETL工具，但是这类工具过于庞大和复杂，国内真正成功落地的案例很少。FineBI商业智能工具其实就提供了轻量级的ETL功能可供用户对数据进行计算和处理，鼠标点击和拖拽操作即可完成轻量的ETL数据处理过程。

业务建模方面，FineBI也是提供了根据不同业务主题分类建立业务包的功能，一般来说按照维度表和事实表建立好关联关系即可，这样一来就为前端的数据差异分析准备好了数据模型。

四、数据差异分析

终于到了数据差异分析这一步，这也是离发现问题原因和业务决策最近的一步。

所谓数据差异分析，自然是需要有差异，才能有分析。

例如今年某某企业7月份的销售额是600万，那么大家会觉得对于这个企业来说是好还是坏？如果只有这一个数据，自然是无所谓数据差异分析的。

如果这家企业的6月份的历史销售额是400万，那么7月份600万的销售额自然是非常好的了，可是如果这家企业的6月份历史销售额是800万，7月份600万的销售额明显是有问题的。

a.纵向对比

按照这个基础的数据差异分析逻辑，我们借助FineBI来初步分析一下某家企业今年各月度的销售额统计走势图：

如上图所示，通过纵向对比不难看出该企业在7月份销售额下降严重，环比6月份的企业销售额下降了22.47%，不是个好现象。老板看到这个数据自然会前来问责，说为什么7月份公司销售业绩下滑这么厉害。那么会是什么原因导致企业7月的销售业绩相对6月下滑这么多呢？我们需要更新一步地进行数据分析，以排查出导致产生问题的”真凶“。

b.横向对比

一般来说销售型企业都会在全国划分各个销售区域，那么这样一来我们除了对时间进行纵向对比之外，还可以结合销售大区维度进行横向比较，分析探索看看能不能发现一些问题。

果不其然，如上图所示，通过时间维度结合销售大区进行横向对比发现，企业的东南大区7月份的销售额相对6月份反而是增长的，看来问题主要出在北方区和中西区，特别是北方区7月份的销售业绩下滑更为严重，最终导致企业7月份总的销售额比6月份严重下滑。

数据分析的丰富度一定程度上依赖于分析工具的功能，比如Excel可能需要写VBA，R和Python需要写代码。

由于FineBI是一款商业智能工具，故而这边可以轻松通过其提供的OLAP联动分析功能，以更进一步的观察各个区域7月份的表现情况，直接点击饼图区域即可联动到月度销售额统计，非常方便。这边我们可以看出，中西区7月份销售额环比轻微下降17.86%，北方区下降严重到50.07%，而东南区则提高了6.06%，综合三个大区的总体销售状况，导致最终表现为7月份销售额环比下降了22.47%。

c.综合对比

上面分析了时间、区域维度相关的销售额结果统计，为了避免结论片面，我们尽量采用多维度的综合对比方式来观察数据，甚至可以是友商的销售情况对比进行差异分析（此处不单独举例说明）。

如上图所示，我们通过时间维度结合产品类型来进行销售额分析，观察7月份各个产品线的数据发现各个产品线在7月份销售额环比都是有所下降的，这说明企业7月份销售额下降和产品种类本身是没有关系的。

五、发现问题原因

综合北方区域和中西区域导致7月份销售额环比下降的各种影响因素，最终发现是由于6、7月份北方区域降雨严重，导致物流周转严重滞后，库存商品无法及时供应，最终导致北方区域7月份销售业绩严重下滑了50.07%。而中西区域本身仓库比较小，按照之前各区域商品物流周转的设计，中西区域的本土供应的差额商品主要是由北方区域供应，但是北方区域由于严重的降雨导致物流周转严重滞后，进而导致中西区域7月份销售业绩也同比下滑了17.86%。

六、制定业务决策

通过结合FineBI工具的OLAP多维数据综合分析方法成功定位到问题原因之后，企业及时调整仓库商品物流周转策略，北方区域物流模式调整为水运，同时将东南区域的部分商品通过物流周转到中西区域。

七、评估决策效果

企业领导决策层8月份通过及时调整北方区域和中西区域的物流策略，北方区域物流模式调整为水运，东南区域的部分商品通过物流周转到中西区域，补充了北方区域和中西区域的库存商品周转。最终8月份企业的总体销售额达到了943万，环比7月销售额提高到了37.32%。

后记

随着信息化的飞速发展，大数据产业呈指数式增长。在我们不断地积累着企业的历史数据的同时，如何利用和分析好这些数据，真正利用大数据分析驱动企业的业务增长也成为了一个很重要的难题。希望本文给大家分享的数据分析方法，结合FineBI商业智能分析工具的OLAP多维分析能力，能够让大家下次在面对企业业务数据分析时不再迷惑，做到步步为营，让数据分析真正释放出潜能，驱动业务快速增长，形成数据和业务之间的闭环

大数据真的太神奇了，真的可以让改变一个企业的运营吗?答案是肯定的。大数据目前是当下最火热的词了，你要是不知道大数据这个概念，都不好意思在众人面前开口了。然而实际上很多人都对大数据的应用模糊不清。现在就让我们从下面十三个大数据应用案例来了解下最真实的大数据故事把，并鲜明得了解大数据在生活当中实际应用的情况。

大数据应用案例之电视媒体

　　对于体育爱好者，追踪电视播放的最新运动赛事几乎是一件不可能的事情，因为有超过上百个赛事在8000多个电视频道播出。

　　而现在市面上开发了一个可追踪所有运动赛事的应用程序RUWT，它已经可以在iOS和Android设备，以及在Web浏览器上使用，它不断地分析运动数据流来让球迷知道他们应该转换成哪个台看到想看的节目，在电视的哪个频道上找到，并让他们在比赛中进行投票。对于谷歌电视和TiVo用户来说，实际上 RUWT就是让他们改变频道调到一个比赛中。

　　该程序能基于赛事的紧张激烈程度对比赛进行评分排名，用户可通过该应用程序找到值得收看的频道和赛事。

大数据应用案例之社交网络

　　数据基础设施工程部高级主管Ghosh描绘的LinkedIn数据构建图，其中就包括hadoop战略部署。

　　五年前，LinkedIn只是一家普通的科技公司。而现在，其俨然成为一个工程强国。 LinkedIn建成的一个最重要的数据库是Espresso。不像Voldemort，这是继亚马逊Dynamo数据库之后的一个最终一致性关键值存储，用于高速存储某些确定数据，Espresso作为一个事务一致性文件存储，通过对整个公司的网络操作将取代遗留的Oracle数据库。它最初的设计就是为了提供LinkedIn InMail消息服务的可用性，该公司计划今年晚些时候将推出开源Espresso。

大数据应用案例之医疗行业

　　Seton Healthcare是采用IBM最新沃森技术医疗保健内容分析预测的首个客户。该技术允许企业找到大量病人相关的临床医疗信息，通过大数据处理，更好地分析病人的信息。

　　在加拿大多伦多的一家医院，针对早产婴儿，每秒钟有超过3000次的数据读取。通过这些数据分析，医院能够提前知道哪些早产儿出现问题并且有针对性地采取措施，避免早产婴儿夭折。

　　它让更多的创业者更方便地开发产品，比如通过社交网络来收集数据的健康类App。也许未来数年后，它们搜集的数据能让医生给你的诊断变得更为精确，比方说不是通用的成人每日三次一次一片，而是检测到你的血液中药剂已经代谢完成会自动提醒你再次服药。

　　Express Scripts就是这么一家处方药管理服务公司，目前它正在通过一些复杂模型来检测虚假药品，这些模型还能及时提醒人们何时应该停止用药。 Express Scripts能够解决该问题的原因在于所有有关数据。因为它每年管理着1.4亿处方，覆盖了一亿美国人和65,000家药店，虽然该公司是能够识别潜在问题的信号模式，但它也使用数据来尝试解决某些情况下之前曾经发现的问题。

　　同时，Express Scripts还着眼于一些事情，如他们所开处方的药物种类，甚至有人在网上谈论医生。如果一个医生的行为被标记为红色的旗帜，那么他在网络上是个好人的形象，更是你所需要的医生。

大数据应用案例之保险行业

　　保险行业并非技术创新的指示灯，然而MetLife保险公司已经投资3亿美金建立一个新式系统， 其中的第一款产品是一个基于MongoDB的应用程序，它将所有客户信息放在同一个地方。

　　MongoDB汇聚了来自70多个遗留系统的数据，并将它合并成一个单一的记录。它运行在两个数据中心的6个服务器上，目前存储了24TB的数据。这包括MetLife的全部美国客户，尽管它的目标是扩大它的国际客户和多种语言，同时也可能创建一个面向客户的版本。它的更新几乎是实时的，当新客户的数据输入时，就好像Facebook墙一样。

　　大多数疾病可以通过药物来达到治疗效果，但如何让医生和病人能够专注参加一两个可以真正改善病人健康状况的干预项目却极具挑战。安泰保险目前正尝试通过大数据达到此目的。

　　安泰保险为了帮助改善代谢综合征患者的预测，从千名患者中选择102个完成实验。在一个独立的实验室工作内，通过患者的一系列代谢综合症的检测试验结果，在连续三年内，扫描600,000个化验结果和18万索赔事件。将最后的结果组成一个高度个性化的治疗方案，以评估患者的危险因素和重点治疗方案。这样，医生可以通过食用他汀类药物及减重5磅等建议而减少未来10年内50%的发病率。或者通过你目前体内高于20%的含糖量，而建议你降低体内甘油三酯总量。

大数据应用案例之职业篮球赛

　　专业篮球队会通过搜集大量数据来分析赛事情况，然而他们还在为这些数据的整理和实际意义而发愁。通过分析这些数据，可否找到两三个制胜法宝，或者至少能保证球队获得高分? Krossover公司正致力于此。

　　在每场比赛过后，教练只需要上传比赛视频。接下来，来自Krossover团队的大学生将会对其分解。等到第二天教练再看昨晚的比赛时，他只需检查任何他想要的——数据统计、比赛中的个人表现、比赛反应等等。通过分析比赛视频，毫不夸张地分析所有的可量化的数据。

　　大数据应用案例之能源行业

　　智能电网现在欧洲已经做到了终端，也就是所谓的智能电表。在德国，为了鼓励利用太阳能，会在家庭安装太阳能，除了卖电给你，当你的太阳能有多余电的时候还可以买回来。通过电网收集每隔五分钟或十分钟收集一次数据，收集来的这些数据可以用来预测客户的用电习惯等，从而推断出在未来2~3个月时间里，整个电网大概需要多少电。有了这个预测后，就可以向发电或者供电企业购买一定数量的电。因为电有点像期货一样，如果提前买就会比较便宜，买现货就比较贵。通过这个预测后，可以降低采购成本。

　　维斯塔斯风力系统，依靠的是BigInsights软件和IBM超级计算机，然后对气象数据进行分析，找出安装风力涡轮机和整个风电场最佳的地点。利用大数据，以往需要数周的分析工作，现在仅需要不足1小时便可完成。

大数据应用案例之社会生活

　　印度有一档非常受欢迎的电视节目Satyamev jayate，该节目整理并分析社会民众关于争议话题的各种意见，包括女性堕胎、种姓歧视和虐待儿童等社会热点问题，并使用这些数据来推进政治改革。

　　虽然目前只播放了13集，但是来自各方的反馈数据不容小觑。

　　-来自印度电视和世界各地的YouTube上的400万观众;

　　-超过1.2亿人在其网站、Facebook，Twitter，YouTube和移动设备上已连接Satyamev jayate;

　　-超过800万的人通过Facebook，网络注释，文本消息及电话热线等方式发送14万个回应，每周有超过10万个新观众进行回应。

大数据应用案例之公路交通

　　在洛杉矶开过车的人一定都经历过那里噩梦般的交通拥堵情况。目前政府在I-10和I-110州际公路上建立了一条了收费的快速通道。政府可通过大数据引导驾驶人员在该通道上的行驶情况，保证交通畅通。

　　施乐就是参与此次项目的公司，它的抗拥塞项目，包括用ExpressLanes、动态定价，上升的需求等等以维持某种秩序的想法。施乐公司的首席技术执行官Natesh Manikoth表示，如果司机支付给驾驶热车道(高占用收费系统)，他必须保证车速每小时45英里左右。如果交通开始拥堵，私家汽车的支付价格将上升，以减少他们进入，而将车道用于高占用率的车辆，例如公共汽车和大巴车。

　　施乐还有另一个项目在洛杉矶称为ExpressPark， 目标是让人们知道他们何时即将离开房子，在哪能找到停车场和花费金额。不仅要确保定价，同时更要确保数据实时到达用户手中。例如，应当提前40分钟告知用户停车位置。

大数据应用案例之汽车制造

　　当问起汽车的制造过程，大多数人脑子里随即浮现的是各种生产装配流水线和制造机器。然而在福特，在产品的研发设计阶段，大数据就已经对汽车的部件和功能产生了重要影响。

　　比如，福特产品开发团队曾经对SUV是否应该采取掀背式(即手动打开车后行李箱车门)或电动式进行分析。如果选择后者，门会自动打开、便捷智能，但这种方式会影响到车门开启有限的困恼。此前采用定期调查的方式并没有发现这个问题，但后来根据对社交媒体的关注和分析，发现很多人都在谈论这些问题。

大数据应用案例之零售业

　　“我们的某个客户，是一家领先的专业时装零售商，通过当地的百货商店、网络及其邮购目录业务为客户提供服务。公司希望向客户提供差异化服务，如何定位公司的差异化，他们通过从 Twitter 和 Facebook 上收集社交信息，更深入的理解化妆品的营销模式，随后他们认识到必须保留两类有价值的客户：高消费者和高影响者。希望通过接受免费化妆服务，让用户进行口碑宣传，这是交易数据与交互数据的完美结合，为业务挑战提供了解决方案。”Informatica的技术帮助这家零售商用社交平台上的数据充实了客户主数据，使他的业务服务更具有目标性。

　　零售企业也监控客户的店内走动情况以及与商品的互动。它们将这些数据与交易记录相结合来展开分析，从而在销售哪些商品、如何摆放货品以及何时调整售价上给出意见，此类方法已经帮助某领先零售企业减少了17%的存货，同时在保持市场份额的前提下，增加了高利润率自有品牌商品的比例。

大数据应用案例之总统竞选

　　许多人通过Facebook更新个人状态、分享图片以及他们"喜欢"的内容。奥巴马的总统竞选运动也通过使用社交网络的各种数据功能完成了竞选，他们不仅通过社交网络寻找支持者，而且还通过社交网络召集了一批志愿军。

　　早在2006年，Facebook联合创始人，克里斯·休斯就建议扎克伯格在网站上推出相关服务，帮助总统候选人在Facebook上建立个人主页，以便他们进行形象推广。2006年9月，Facebook全面开放，用户数量爆炸式增长，在年底达到1200万。这一过程恰好有利地推升了奥巴马的知名度。此后，在克里斯的辅佐下，奥巴马掀起了一系列的网络活动，在Facebook、MySpace等社交网站上发表公开演讲、推广施政理念，赢得大量网民支持，募集到5亿多美元的竞选经费。

　　最终，"黑人平民"战胜了实力雄厚的对手，成为美国历史上第一位黑人总统，之后，在第二次的选举中更获得连任。此次选举被认为是美国民主的巨大进步，而互联网则提供了前所未有的实施手段，其中尤以Facebook代表的社交网站最为突出，以至于有人戏称之为"Facebook之选"。

大数据应用案例之电子邮件

　　MailChimp的核心业务是提供电子邮件服务，它在一年内为大约300万用户发送了350亿封邮件。不过真正能体现MailChimp未来价值的则是该公司对这些邮件数据的处理和分析。

　　MailChimp的一个重要任务就是搞清楚如何帮助客户更好地了解他们所发送的信息。考虑到这一点，该公司建立了一个服务叫Wavelength，向客户展示了与他们相似的其他讯息。这个系统使得Wavelength能够储存公司数据库中每个邮件地址发生的互动。这意味着告诉了你,用户打开了什么样的邮件，何时打开，他们点击了什么链接，还有订阅了什么邮件。MailChimp也有一个功能叫做Ecommerce360，能让客户通过转换来跟踪点击。

大数据应用案例之音乐

　　十多年前，音乐元数据公司Gracenote收到来自苹果公司的神秘忠告，建议其购买更多的服务器。Gracenote照做了，而后苹果推出iTunes和iPod，Gracenote从而成为了元数据的帝国。

　　在车内听的歌曲很可能反映你的真实喜好， Gracenote就拥有此种技术。它采用智能手机和平板电脑内置的麦克风识别用户电视或音响中播放的歌曲，并可检测掌声或嘘声等反应，甚至还能检测用户是否调高了音量。这样，Gracenote可以研究用户真正喜欢的歌曲，听歌的时间和地点。

　　Gracenote拥有数百万首歌曲的音频和元数据，因而可以快速识别歌曲信息，并按音乐风格、歌手、地理位置等分类。

文章来自：中国大数据

测量系统是用来对被测特性定量测量或定性评价的仪器或量具、标准、操作、方法、夹具、软件、人员、环境和假设的集合； 是用来获得测量结果的整个过程。从这个定义中可以看出， 测量过程实际上是一个制造数据的过程，获得正确的测量数据则是保证产品质量的第一步。如果不能科学地评价测量系统产生的数据的可靠性， 就无法对测量系统的有效性进行控制， 质量管理和控制就失去了最基本的前提。因此，在ISO/TS16949汽车行业质量体系标准中，测量系统分析（简称MSA）被列为该标准的五大工具之一。

测量系统分析（MSA） 的目的是确定测量数据的可靠性， 它实际上是一个对测量系统的监督检查程序， 在一定程度上可以看作是一个检验产品控制计划满足程度的把关程序。即对已判定为合格的零件进行抽样检查， 经过科学的统计理论分析， 找出因测量系统因素导致不合格的因素， 并加以整改， 逐渐减少产生不合格产品因素的存在，从而达到控制产品质量的最终目的。

1 基本MSA方法

测量系统分析，顾名思义针对的是整个测量系统的稳定性和准确性，它的核心是分析

测量系统的位置变差、宽度变差。在位置变差中包括测量系统的偏倚、稳定性和线性；在宽度变差中包括测量系统的重复性、再现性。测量系统的偏倚、稳定性、线性、重复性和再现性就是人们通常所说的“五性”。因此，MSA 可简单概括为：分析整个测量系统（仪器或量具、标准、操作、方法、夹具、软件、人员、环境和假设的集合）在测量过程中存在哪些风险和误差的过程。MSA采用的数据分析方法有：独立样本法、图表法、极差法、方差分析法等。按照测量系统分析过程前后顺序，相关方法摘记如下。

1.1 识别数据类型 在进行测量系统分析前首先要识别测量数据的类型，了解了数据的类型才能使用合适的方法进行测量系统分析。一般数据类型有两种：计数型数据和计量型数据。计数型数据是指不能连续取值的，如砂眼数、裂纹处、疵点数等。计量型数据是可以连续取值的，如长度、尺寸、温度等。

1.2 选定测量系统分析方法 测量系统分析常用的方法有Gage R&R研究、专家再评估、检验一致性和专家循环研究。重点研究Gage R&R。Gage R&R方法主要用于计量型数据，评定标准是用Gage R&R值。一般Gage R&R值在小于10%以下可接受，Gage R&R值在10%-30%之间为灰色区域，也许可接受，Gage R&R值大于30%，测量系统需改进。同时还要看可区分数NDC，当NDC大于等于5时，通常认为测量系统可靠。用Gage R&R值作为评定标准时还要考虑零件的关键特性，对关健特性测量系统分析结果Gage R&R值大于15%时，我们就要考虑对这个测量系统进行改进。

1.3 测量系统的重复性和再现性分析方法（简称%GR&R%或R&R） 确定研究主要变差形态的对象/量具（如：游标卡尺、电子秤、硬度计、千分尺等）。工序量具、产品和质量特性；选择使用极差法，均值和极差法中的其中一种方法对检验、测量和试验设备进行分析；从代表整个工作范围的过程中随机抽取样品进行；测量系统分析的工作人员在进行检验、测量和试验设备测量系统的重复性和再现性分析时，必须先对被分析的检验、测量和试验设备进行零件评价人平均值和重复性极差分析，同时所分析的零件评价人平均值和重复性极差之结果必须均受控方可进行被检验、测量和试验设备测量系统的重复性和再现性分析工作；否则该检验、测量和试验设备的测量系统不能检查出零件间的变差且不能将其用于过程控制中。

1.4 平均值和重复性极差分析 1）选择2-3个操作员（至少2人）在全然不知情的状况下利用校准合格的量具对随机抽取的5-10个样品进行盲测，每个操作员对同一样品的同一特性在盲测的情况下重复测量2-3次。 2）操作员或进行%R&R测量系统分析的工作人员将所测量的结果记录于“零件评价人平均值和重复性极差控制图”上。 3）负责组织此项测量系统分析研究的工作人员，依据“零件评价人平均值和重复性极差控制图”上的数据和产品质量特性规格进行计算和分析，并将其分析的结果记录于“零件评价人平均值和重复性极差控制图”上。

1.5 均值和极差法（X-R） 1）选择2-3个操作员（至少2人）在全然不知情的状况下利用校准合格的量具对随机抽取的5-10个样品进行盲测，每个操作员对同一样品的同一特性重复测量2-3次。 2）操作员或进行%R&R测量系统分析的工作人员将所测量的结果记录于“量具重复性和再现性X-R分析数据表”上。 3）负责组织此项测量系统分析研究的工作人员，依据“量具重复性和再现性X-R分析数据表”上的数据和产品质量特性/规格进行计算，并将其记录于“量具重性和再现性X-R分析报告”上。

1.6 极差法（R） 1）选取两位评价人和5个产品进行分析，每个评价人对每个产品进行盲测一次，并将测量结果记录于“量具极差法分析表”中（每个操作员应熟悉和了解使用量具的一般操作程序，避免应操作不一致而影响测量系统的可靠性），并评估不同操作员对量具使用的熟练程度； 2）针对重要特性（尤其指有特殊特性符号的）测量所使用量具的精度应是被测量产品公差的1/10（即其最小刻度应能读到1/过程变差或规格公差较小者），以避免量具的分辩力不足，而一般特性测量所使用量具的精度应是被测量产品公差的1/5； 　　

3）负责组织此项%R&R测量系统分析研究的工作人员，依据“量具极差法分析表”的数据和产品质量特性/规格进行计算，并将其计算结果记录于“量具极差法分析表”上；必要时，可将其作成X-R控制图。

4）%R&R接受准则： a）、%R&R<10%，可接受；b）、10%≤%R&R≤30%，依据量具的重要性、成本及维修费用等因素，决定是否可接受或不可接受；c）、%R&R>30%，不能接受，必须进行改进。

1.7 线性分析法

在测量系统工作范围内选定5个产品，它们的测量值应覆盖量具工作范围；在计量室或工具间用全尺寸检验设备（精密量具）测量每个产品10次，并计算其平均值，然后将其确定为“基准值”，同时确定它们各自所取得的“基准值”是否覆盖了被检量具的工作范围；让一位经常使用该量具的操作员（评价人）对5个产品以盲测的方式按随机抽取 顺序分别测量每个产品各10次（或更多次），并将其测量值记录于“量具线性分析报告”中，然后计算各产品的测量平均值，此值即为每个产品的“观察平均值”。

2 MSA与计量的关系

MSA主要针在现场环境下，由现场控制人员按照《控制计划》要求的频次，对具体的零件使用正确的监视或者测试设备，按照《检验作业指导书》的方法进行有效的检测和监控（即人机料法环等环节），在每个时期，针对不同的目的，采用不同的MSA方法，研究分析每个环节产生的变差（即分离分离各个变差），最后消除或减小变差，使得我们生产的产品满足技术要求。MSA的数学理论基础为《概率与数理统计》。

计量主要是实现单位统一和量值准确可靠的测量，它以保证测量统一和准确为目的。测量环境有严格的控制要求。测量的变差分析的数学理论基础为《误差分析与数据处理》，也是根据《概率与数理统计》原理基础上建立起来的。本文主要指计量体系和管理，不涉及具体计量内部运作，只谈与测量系统的相互关系。

MSA关注对产品技术要求测量的综合反应有影响的结果，用来研究和分析整个测量系统以及影响测量的各个因素。计量的含义则是保证量值传递或溯源准确可靠，而将影响量值的其他分量进行控制，如环境、温度等，更关注的是测量方法。可以这样说：综合研究的是MSA，测量系统分析；只研究测量的是计量，所以也称之为“测量分析”。

3 两个例子

3.1 案例一

盛玉在他的文章《MSA实例分析》中，针对一把高度尺应用MSA分析方法的全过程。

下面通过日常监控分析常用的线性和R&R 的实例。

1、线性———验证一把高度尺，基本内容见下表。

1）在现场取一根曲轴，选其上5 个不同尺寸；

2）选用比高度尺精度高（一般高3 倍以上）的精密三坐标测量出5 个尺寸的基准值；

3）用高度尺分别测量5 个尺寸，每个尺寸重复测12 次

4）输入软件，自动得到结果；

5）接收准则：≤5%接收，≥10%拒收；5%—10%有条件接收；

6） 结果处理：该例中线性自动计算为3%至5%，按照接收准则线性可接收。

若大于5%，我们要从人、机、料、法、环、测几个方面去查找根本原因并改进，若已对产品质量造成影响，还需去追溯造成影响的产品，重新检测，直到满足要求。

2、重复性和再现性，简称R&R

在实际生产应用中，R&R 通常一起分析。如：验证曲轴OP100 综合检具上法兰轴头直径∮88.8（+0.804/+0.004）,具体计算如下表所示。

1）按照MSA 计划分别在不同时段收集OP100曲轴共10 根；

2）3 名熟练操作工分别测量10 个工件，每个件重复测3 次；

3）把3 人3 次共90 个测量数据输入计算软件（表2 中有底色部分），则会自动得到结果；

4）接收准则：

a. R&R 低于10%，测量系统可接受；

b. 介于10%到30%之间，基于应用的重要性，该量具可能会被接受；

c. 大于30%，测量系统需要改善，识别出原因并纠正它们；

d. 数据分级数NDC>=5 测量系统可接受。

5）分析结果

前文表格中测量结果明显看出该测量系统不可接受，EV=65.7%、R&R=73.1%且NDC=1。我们测量小组一起到现场查找原因，通过排除法最终找到R&R 超差根本原因如下：

a. %EV=65.7% (计算软件要求%EV<30%)，零件安装时有转动，不稳定；

b. 数据分级数（NDC）=1 （计算软件要求NDC>=5，测量软件显示分辨力不够，稳定生产条件下被测件尺寸稳定，分组少。

6）解决方案

针对a. 零件安装时有转动问题，经过现场反复装夹测量，结果差异0.002mm，由于重新加工制作条件不成熟，对这影响量0.002 mm，我们和工艺一起确认采取收紧控制限方法避免；

针对b. NDC 分级数偏低问题，现场排除一切可能影响因素，分析软件仍显示分辨力不够，最终确认是10 件样件产品尺寸太接近造成，也可以说是我们现在的产品质量很稳定。对于NDC 偏低问题，在做MSA 取样时要充分考虑到尺寸范围，如留下换刀或平时偶发时发现的不合格产品。

7）重新取样

找到2 件接近公差限样件，重新测量输入测量软件后计算结果满足要求见下表，表明我们现在的测量系统稳定可靠，不需要去追溯已经测量的产品。

一般情况下如果重复性比再现性大，原因可能是：

1）仪器需要维护；

2）计量检测设备应重新设计来提高刚度；

3）夹紧和检验点需要改进；

4）存在过大的零件变异。

如果再现性比重复性大，原因可能是：

1）评价人需要更好的培训如何使用计量检测设备和数据读取方式；

2）计量检测设备刻度盘上的刻度不清楚或校正不良；

3）需要某种夹具帮助评价人提高使用计量检测设备的一致性。

3.2 案例二

作者洪涛在他的论文《MSA在电能表误差检验中的应用研究》中介绍了MSA方发在分析电能表测量误差中的具体应用过程。

（一） MSA在电能表误差检验中具体应用

(1) 研究方案

在测量系统分析中，准确性特性一般可通过检验装置的量值传递或对比来解决，目前电能表制造企业都已采用。本文重点介绍测量系统的R&R分析。本设计方案和具体实施都是依托国内某知名电能表生产企业的计量测试中心的电能表误差检验系统展开的，

具有一定的代表性。

(二) 稳定条件的确定

进行MSA分析前提是系统处于稳定状态。本文的研究涉及的稳定性包括两个方面：一是检验装置的稳定性，二是电能表的稳定性。综合起来就是电能表误差检验系统的稳定性。方案选择了7块电能表和3个检验装置作为研究对象。对于稳定性的研究，用标准试验室的标准装置（误差等级为0.01级，中国科学研究院比对校准）测试所选7块表的0.1Ib点误差：每块表测试5次，每次读取10个数据，共取得35组350个数据，每次测试前预热十分钟。整个试验是在标准试验室进行的，试验的温度都是严格控制在20±3℃以内。

试验所取得7块表的数据便是其真值，对数据修约后进行分析，做出Xbar- R控制图，如下图所示，进行分析和判定，发现2号表的误差不稳定，有多个均值统计量和极差统计量超出控制限，淘汰2号表用剩下的6块表做剩下的试验和研究。

采用同样的方法，对三台检验装置进行稳定性测试和判定，结果3台检验装置均符合要求。

(三) 重复性和再现性试验及研究

由于现在的电能表误差检验系统已经实现了测试、读数、计算、显示的自动化，人的影响因素已经消除，针对电能表误差检验系统而言，重复性是指在用同一检验装置检测同一批次电能表时，测试结果之间的一致程度。再现性是指用不同检验装置检测同一批次电能表时，测试�...

国产〇〇柒

前几天朋友给了一组行业同行表现数据，让帮忙分析一下自己的店铺问题所在和表现如何。今天我通过这个小示例来跟大家简单分享一下一些基础的分析方法。

（开始之前先跟小伙伴们说明一下，本案例是一个简单的基于一组数据而进行的分析，并通过这个给大家一个相对比较概括的方法介绍，实际分析操作中会遇到更复杂的情况，而且实际分析中的挖掘深度要比本案例要深）

下边是朋友提供的一组数据：

图片：基础数据表01.png

为了保护隐私避免侵权，公司名称这里就以字母替代

通过上图我们可以看到这是几组非常简单的数据，这些数据我们都可以在自己的店铺采集到，但是我们也可以看到这组数据有一个问题，多数数据缺乏一个时间参数，从表格中我们只能看到最后两项有一个准确的时间界定，其他项数据均没有这个界定。不过这里我们采用对比模糊分析的方法，不用考虑数据是否精确，只需要进行对比即可，所以缺乏时间参数问题也不太大。接下来我们通过以下几个步骤进行分析。

一，做筛选

首先我们要对这些数据进行筛选，只留可对比的数据组，剔除无用的数据。方法很简单，这里我们通过公司名称进行检测，进行主营产品类目检查（这里我是以朋友公司产品类目对基础的），通过分析发现C、G、M三个公司的产品与其他不符，这里我们就直接剔除这三家的数据不做参考。

整理后的数据如图：

图片：整理后的数据02.png

（再更复杂的分析中，剔除噪音数据并非这么简单，这里是用这个简单的方式说明一下这个操作步骤，大家在操作中要根据自己实际情况进行数据甄别，甄别的过程是非常复杂和繁琐的，如果这一步出错，做出的分析结果的准确性就很难得到保障）

二，做归类

无用的数据剔除之后，接下来我们就是要对现有的数据进行归类处理。

通过图表数据的阅读，我们可以把里面的数据简单的归为三类：交易数据、回复率、行为数据。交易数据这里主要就是包含前三项，一达通和信保；回复率就是询盘回复率的表现数据；行为数据这里主要是指人的行为，访客和季度、月询盘数。归类后如图：

图片：归类后的数据03.png

这三类数据是有区别的，交易数据和回复率我们可以统一称之为“操作数据”或“加权数据”，因为这些数据的控制权基本掌握在我们手里，我们在这部分数据的积累上有较大的主动权。行为数据可以称之为“结果数据”，这部分数据的直接控制权来自于客户行为，我们无法直接去干预，我们只能通过提升“操作数据”的方法去影响这个“结果数据”。我们之前的操作都是为了这个“结果数据”有较好的表现。

数据归类之后，我们开始分析

三，做分析

由于上面拿到的三类数据有两类属于“操作数据”，这两类对“结果数据”只能产生部分影响，这里我们就不关注这两项数据了（在全局分析中，这些局部数据都可以作为一个参数加入到分析的行列）。这里我们只关注结果数据。这里的结果数据中虽然有三组数据，由于其中一项数据缺少时间参数，所以我们可以把三项数据当作两项去分析，季度和月询盘量可以当作一个有效参数，这个时候我们就把数据优化成两类：访客和询盘。当看到这两个数据的时候我们很简单的就会联想到由他们而衍生出来的一个数据：“转化率”，这个数据能够比较真实的反馈平台效果。接下来我们计算出每一组的“转化率”数据如图（按照月度参数计算）：

图片：转化率04.png

从上图可以看出“转化率”排名如下：

H > K > P > A = F > B > D = E > I = O > J > L >N

当然，转化率高并不代表代表一个店铺的表现就是第一名，这个数据只能判断该店铺引流的精准程度（当然如果需要更深入的分析精准度是需要深入到询盘质量和成交转化中去的，这里不做过多介绍）。我们可以观察一下N店铺的转化率，0.43%的数据与其他店铺相比较差距较大，该店铺的访客流量占据第一位，但是反馈数据在该表中与其他几家并列最后一名，该店铺就需要认真的分析访客来源和未转化的原因（这里就牵扯到了其他数据的数据分析，这里不多介绍）。

当然，从数据组中我们一共可以看到这些数据条件，也可以计算出一个数据进行比较。但是这并不太说明什么太多的问题。接下来我们用加入条件的方法来进一步深入分析。这里我加入的数据是店铺的产品”上架产品数量“这个参数。加入数据到图标（实际操作中我们可以加入更多的可参考数据进行数据分析），如图：

图片：加入产品数量条件05.png

从表格中可以看出产品数量过万的有A B J N ，产品数量5000以上的有D I K L O P，产品数量低于5000的有E F H。从阿里规则上来说，店铺产品数量过多，店铺过于臃肿并不太好，但是这并不代表不用去发布产品了，其实我们真正要做到的是产品数量适中，做到全覆盖即可。从以上店铺的产品数量数据表现可以看出来，该行业的产品数量需要大于5000以上，如果低于5000，应该做不到全覆盖，可能会浪费很多流量（这里是从数据表大致得出结论，如要深入分析具体多少产品数量合适，还需要从其他方面进行综合分析）。我们也可以看到低于5000的几个店铺的访客量分别为：4000，7000，9000（里面有P4P引流数据，所以该数据仅作参考，不可作为实际数据参考），这个数据量并不算高，特别是H，访客是最少，产品数量也是最少，但是我们可以发现H的转化率是最高的，我们这里假设，H拥有A的产品数量（覆盖面），保持转化率不变，其他条件随覆盖面递增，这个时候我们可以看到H的数据应该是这样的，如图：

图片：修改数据后转化询盘06.png

当然这是一个理想的假设状态，覆盖，访客，转化这些数据都是的动态的，越是大的数据体量对转化率的控制难度越大，但是不可否认的是，如果产品覆盖能够达到一定程度的话，对访客和询盘转化肯定是有益处的，示例中虽然达不到492条的完美状态，但是询盘数量增加2倍应该还是有保障的。从这些数据的表现我们也可以看到覆盖的重要性（其实覆盖是一个很复杂的事情，并不是咱们想象的那种把产品和关键词上传上去就完事儿的事情，有时间可以跟大家深入交流关于覆盖的问题）。其实这些数据中还有很多可以对比解读的地方，我们今天先这里，以覆盖落幕。