每年的世界赛，总会有来自韩国的顶级上单给我们带来他的个人秀，而我们lpl，自从s4gogoing上单之光的表现后，好像就再没看到过国产顶级上单的表演，在此楼主理性分析一下现在的国产上单。

那么我从狼行开始说起，中间穿插与其他选手的比较，为什么，因为我是XiaoAL个人粉。就2018lpl夏季赛打的现在来看，赛场上狼行的表现，可以说在国产上单中排名前三（可能有些勉强，但前五绝对没问题）。那么从数据着手，狼行现在的kda是4.6，参团率是67.2%，最高死亡次数7次。对比一下另一名电商队的上单选手zoom，zoom的kda是4.4，参团率是65.3%，最高死亡次数6次。可以看出两名选手在这几项数据上不分伯仲，但是现在jdg处于第一梯队，而sng的表现不尽如人意，所以我认为狼行的数据能小压zoom是很难得的。

但同样是这几项数据，rng的两名上单让人感到恐惧，泽少的kda达到了难以想象的6.0，参团率61.0%，最高死亡次数5次，而姿态的kda也是5.9，紧随泽少，参团率65.3%，最高死亡次数4次，不得不说厉害。横向对比一下，

可以说是队伍核心的上单选手AJ和Flandre，AJ的数据有些尴尬，kda2.4，参团率65.8%，最高死亡次数7次，Flandre的kda为3.2，参团率68.5%，最高死亡次数7次。说实话，这两名选手作为核心来说的话，数据有些惨淡。对了，还有一名选手，阿光，光酱的kda属实不错4.6，但参团率跟上面的选手相比较少，只有59.8%，最高死亡次数4次，应该是玩的比较独。但在我的映象里，光酱很少拿出什么青钢影，菲奥娜之类的东西，感觉有些奇怪。

再来看看另外几项比较重要的数据，还是从狼行说起，秒均伤害456，占队伍输出27.9%，秒均承伤673，占队伍承伤比25.7%。讲道理这个伤害占比有些吓到我了，好像没有上单选手比他更高，一些中下双c的选手的伤害占比都被甩出一截，狼行后面就是炫君，数据依次是425，27.5%，643和27.4%，但结合炫君近几场比赛的表现来看，我只能表示emmmmm。再来谈谈AJ，AJ这几项数据是很华丽的，分别为423，24.5%，733和27.8%，承伤就能看出来核心的地位无法撼动。

最后说一个比较有意思的数据，每分钟插眼数，这个数据凸显的是上单对于地图的把控和对gank的防御，zoom是0.51，AJ是0.46，而贼贼态竟然有0.55。怪不得他解说说要玩的下作，大概就是这个意思。值得一提的是，我发现jdg的各个位置在这项数据上都能超过同位置的大部分选手，这是不是红米交给他们的呢？

总结一下吧，我这些分析只是个人理解，一定存在问题，希望观众指出，我们一起探讨

王者荣耀：数据分析打野效率最高的五位英雄，第一名会让你很吃惊

上个赛季结束，这个赛季刚刚刚开始。新的赛季你觉得怎么样呢，改版后的打野刀有木有感觉到很刺激啊！说到打野，今天小编就来带大家看看上一个赛季哪些英雄打野效率比较高！今天为大家盘点的打野效率是选择排位比较高的单局打野量算的，因为只有高手的较量才更能体现出统计的价值！

第五名，百里玄策，作为打野刺客，百里玄策在高端局中使用的次数是很高的。百里玄策的也是不太好驾驭的，正是因为如此所以才在低端局中不常见。但是高手却对他情有独钟。百丽玄策手中持有钩子，他的技能伤害大都建立在钩住的前提下。在高端局和联赛中，猎杀效果不容小觑！

第四名，裴擒虎，这个英雄虽然上架时间不长，但是很快受到玩家们的青睐。裴擒虎在初期就可化作虎形，不仅可以远程消耗而且可以近身攻击，这一点是很多英雄不能比的。同时这个英雄，不仅拥有较远位移而且还有护盾保护。不管是刷野速度还是攻击效果都是杠杠的！

第三名，李元芳，李元芳是高端局中的常客，刷野速度相当快！拥有多段位移，远距离射程的他，不仅团战能力强而且打野、清理兵线、推塔能力也非常厉害。许多高手玩家使用李元芳，轻而易举攻陷敌方水晶，成为MVP。

第二名，刘备，这个英雄在低端局里并不经常出现，但在高端局经常被高手玩家使用。刘备开局选2技能，2技能向指定方向冲撞，对冲撞到的英雄会造成伤害，并产生短暂击退效果。而且撞到英雄还会减少技能冷却时间。开局选择2技能，不仅打野快，而且如果上线能够将对方英雄推向远处。

第一名，韩信，相信看到这儿，大家一定会吃惊道：竟然是他！对！没错！就是韩信！韩信这个英雄操作难度相当高，我一个朋友还说过如果会韩信，那么王者中没有什么英雄不会操作！高手操作韩信和新手差别是很大的。虽然这个英雄胜率不高，但是高手就是高手。在高端局中，钻石星耀玩家轻轻松松吊打对方。韩信这个英雄可玩性是很高的，位移长，移动速度又快，打野速度没人能撵得上。

课程介绍

1.面向对象

有短期工作经验，希望通过学习进入数据行业的；研究生或高年级本科生（背景调查）

需要什么基础？高数。逻辑思维，热爱数据以及有恒心

2.学习环境

数据分析和挖掘的语言和环境：Python（x,y）,Anaconda

3.参考书

4.学习目的

理解数据，理解量化，理解模型

掌握概率统计

掌握一门工具

学会处理数据：收集、转换、载入

学会数据分析：分析思想和分析方法

学会基本的数据挖掘

游戏君出品，必属精品！

本次S8世界赛的比赛已经全部结束，最终来自LPL的IG战队拿到了本次世界赛的冠军，这也是LPL的第一个S赛冠军！对于LPL的粉丝来说真的是太不容易了，当IG夺冠后，网上出现了各种网友看到IG夺冠的场面，不管是学校还是网吧，大家都表现的非常兴奋和激动。

随后S8的选手数据分析已经全部出炉，在KDA方面欧成是排在了第一位，击杀榜的第一名则是IG的AD选手阿水，锅老师和iBoy分别排在了第四位和第五位；没想到场均补刀第一的是来自没有出线的VIT战队，第二个是EDG的小昭，RNG并没有一人上榜；但是分均补刀中Uzi是排在了第一名，同时Uzi的经济占比也是排在了第一。

其实Uzi吃经济这个也是比较符合RNG的战术体系的，毕竟RNG是围绕下路去打的，但是从世界赛的比赛可以看出，现在这个游戏和这个版本，你去用下路做重点，对于队伍来说牺牲很大，而且最后的结果大家也知道，那就是失败。

在之前比赛的时候，致幻在解说的时候也表示过，现在这个版本都是围绕法核去打的，其实意思就是围绕中路去打的，从IG夺冠的三场比赛可以看出，中路选手Rookie的发挥非常出色，而且和英雄的选择没有直接关系，最直接的关系就是选手的状态问题。

就连LPL的官方解说长毛在本次S8的时候也表示，这个版本就不支持你射手核心的，这样说是不是很打脸RNG呢？不管怎么说，也是希望RNG能够从本次S8的世界赛中吸取经验教训，能够重整旗鼓，好好的为下一年的比赛做准备，Uzi到现在为止，都不敢去看网上的评论，因为抨击他的人太过了，他还没从阴影中走出来，所以大家要给他一些世界，毕竟现在还不是他退役的时候。

就像他们在季中赛夺冠的时候所说的，希望RNG这个团队可以一直走下去，不管是输还是赢，毕竟冠军还在等着他们去举起来

刚开始学习数据科学的人都会面对同一个问题：

不知道该先学习哪种编程语言。

事实是，你的时间有限。学习一门新的编程语言相当于一项巨大的投资，因此在选择语言时需要有战略性。

我给你的建议就是：先学习R语言

我建议你将R语言作为你的第一个“数据科学编程语言”。虽然也有例外，比如特定的项目需要。

因为R语言正在成为数据科学的“通用语言”

这并不是说R语言是唯一的语言，也不是说它是每个工作的最佳工具。然而，它是使用最广泛的，而且越来越受欢迎。

O' reilly media在过去几年中进行了一系列数据科学调查，分析了数据科学趋势。在2016年的调查报告中，R语言是最常用的编程语言(如果排除SQL的话，在本文中它不能称为编程语言)。57%的调查人群使用R语言(使用Python的比例为54%)。

另一个常见的语言排名系统是Redmonk编程语言排名，它由GitHub(代码行)和Stack Overflow(标签数)的流行指数派生而来。截至2016年11月，R语言在所有编程语言中排名第13。此外，R语言多年来一直呈持续上升趋势:

此外还有TIOBE指数（按搜索引擎搜索次数对编程语言进行排名）。在TIOBE指数上，R语言十年来呈现出稳定上升趋势。

使用R语言的公司

在招聘数据科学家的几家顶级公司中，R语言使用程度非常高。在我认为现代经济中最优秀的两家公司——Google和Facebook 都有使用R语言数据科学家。

除了像Google，Facebook和微软这样的科技巨头，R语言在美国银行，福特，TechCrunch，Uber和Trulia等众多公司都有广泛的应用。

R语言在学术界很受欢迎

R语言不仅仅是一个行业工具。它在学术科学家和研究人员中也非常受欢迎，最近著名《自然》杂志上发表的R语言概况也证实了这一点。

R语言在学术界的备受欢迎，因为它创造了供应行业的人才库。

换句话说，如果最优秀、最聪明的人群在大学学习了R语言，这将加大R语言在行业中的重要性。当学者、博士和研究人员离开学术界从事商业活动时，他们又将产生对R语言人才的需求。

此外，随着数据科学的成熟，商业届的数据科学家将需要与学术届的科学家进行更多的沟通。我们需要借鉴技术和交流观点。随着世界转变为数据流时，学术科学与面向商业的数据科学之间的界线会变得模糊。

通过R语言学习“数据科学的技能”是最简单的

然而，R语言的普及性并不是学习R语言的唯一原因。

在选择语言时，你需要一种在这些领域都具有重要功能的语言。同时你需要执行这些任务的工具，以及在你所选语言中来学习这些技能的资源。

如上所述，你更多地需要关注流程和技术，而不是语法。

你需要学习如何解决问题。

你需要学习如何在数据中找到真知灼见。

为此，你需要掌握数据科学的3个核心技能领域：数据处理，数据可视化和机器学习。在R语言中掌握这些技能将比任何其他语言都容易。

数据处理

一般来说，数据科学中80%的工作都是数据处理。通常情况下，你需要花费大量时间来整理你的数据。R语言中有一些很棒的数据管理工具。

R语言中的dplyr包使数据处理变得容易，这可以大大简化数据处理的工作流程。

数据可视化

ggplot2是最佳的数据可视化工具之一。ggplot2的好处是，在学习语法的同时，还学习如何思考数据可视化。

所有的统计可视化都有很深层的结构。存在构建数据可视化的高度结构化框架，ggplot2基于该框架。

此外，当将ggplot2和dplyr组合在一起时，从数据中得出相关见解几乎毫不费力。

机器学习

最后，还有机器学习。虽然我认为大多数数据科学初学者不应该急于学习机器学习（首先掌握数据探索更为重要），机器学习是一项重要的技能。当数据探索不再带来洞察力时，你则需要更强大的工具。

如果你是初学者，R语言是很好的选择。同时需要专注于学习数据科学的技能。

在学习过程中，你可能会看到很多新技术和新工具，或者一些令人眼花缭乱的数据可视化。

看到其他人的成果（并发现他们正在使用不同的工具）可能会导致你想尝试其他的东西。相信我：你需要集中注意力。你需要花上几个月（或更长时间）才能真正投入到一个工具中。

如上所述，如果你确实希望在数据科学工作流程中提高技能。至少在数据可视化和数据处理方面，你得具备扎实的技能。

今天为大家分享一个数据分析的方法，大家可以打开店铺后台，看着步骤来操作。

很多电商人都知道数据分析的重要性，但是真正做起来却发现无从下手，而且即使是看到数据之后，也不知道怎么分析，往往是看着一个连接“莫名奇妙”的爆了，又“莫名其妙”的死了。

其实每个链接的起爆和衰落都是有原因的，只要掌握今天的数据分析方法，在以后的操作过程中才能真正看清数据，掌握数据

首先，打开生意参谋，商品-商品效果-选择日期，在选择日期时，建议大家往前倒推15天的时间，比如今天是30号，那么，就从这个月的15号开始，选择好日期之后，点击下载。

下载好15号的数据之后，再选择16号，继续下载，把最近15的的数据下载下来以后是这样的。

这是我们店铺所有链接在过去15天的所有数据，而且非常详细，可以说，过去15天的店铺的起落兴衰内在原因都在这里了，接下来我们开始将这些数据重新组合整理，以便于更直观的看到所有链接的详细数据，从而进行数据对比，分析，得出结论，打开第一个表格是这样的。

这是所有的链接在10.10日的数据，第一个链接是主打款，是主要分析目标，所以把这一排全部复制下来，放在一个新的表格里。

然后把10.11之后的所有数据全部复制下来，放在一个表格里，把无关紧要的数据删掉，以免影响我们的专注力。

ps：在删无关紧要的数据时要注意看数据浮动大不大，比如平均停留时长这一项，如果这一项波动特别大就不要删掉，波动不大的话就删掉，因为它只是次要数据，不是核心数据，最后留下来的核心数据，见下图：

这个是我已经做好的表格，最后的收藏率和加购率是手动加上去的，因为官方没有提供这两个数据，但是官方提供了收藏人数和访客数，所以我们就可以手动算出来。

在收藏率下输入公式：‘=收藏人数/访客数’然后回车，就会得到这个链接的收藏率，把这一列拖下来即可得到所有日期的收藏率，加购率也是一样操作即可

为了方便观察数据，我们把所属终端这一行改成日期，见下图：

这样是不是一目了然了？哈哈哈，是不是感觉所有原因都自动跳出来了！

重点看流量暴涨的10.19号--22号这4天数据：

访客数暴涨的同时，搜索引导的访客数也在暴涨，而且直通车并没有加大投入，所以接下来我们着重看搜索数据，我们知道，现在所有的数据，都是结果，是上一个周期的数据浮动才导致的结果。

所以接下来我们看上一个周期发生了什么。

发现什么秘密没有？

每次流量大涨之前的一天，搜索支付转化率都是超过5%的！记住这个数字。

10.17号和10.18号，连续两天都超过了5%，然后导致10.19号访客数直接翻翻！

所以也就是说，在这个类目，这个客单价下，我们的搜索支付转化率不能低于5%，这是一个系统云计算得出的数据，只要能够稳住这个数值，理论上来说，这个链接是必爆无疑的！

当然，除了数据之外，还有很多其他方面的权重值也很重要，比如客服回复时长，动销率，发货速度，好评率，dsr，等等，我们今天只分析数据，其他方面有空再详解。

还有一点值得注意的是：

有些类目权重计算核心并不是支付转化率！

有些类目权重计算核心并不是支付转化率！

有些类目权重计算核心并不是支付转化率！

但是大部分类目都逃不过这个表格里的所有数据，有了这个表格基本都能够计算出来类目权重算法，目前最核心的数据有：支付转化率，uv价值，收藏率，加购率。

只要能够找出自己类目的核心权重，然后维护好这个数据，在产品没问题的情况下，想不爆，太难了！

客单价69左右的女裤类目的核心权重是转化率，客单价129左右的天猫女鞋核心权重是uv价值，这一点很难复制，只能用自己的店铺数据去推断，找出这个潜在规律即可。

免责声明：本文使用图文及视频等作品部分源于网络，我们尊重著作权所有人的合法权益，如涉及版权争议，请著作权人告知我方删除

通常在我们刚拿到一个电商网站的时候会有些束手束脚，运营该从哪里下手呢？是优化站内页面，还是大量做站外广告来引流呢？其实网站的数据分析才是第一位的！

通常在我们刚拿到一个电商网站的时候会有些束手束脚，运营该从哪里下手呢？是优化站内页面，还是大量做站外广告来引流呢？其实网站的数据分析才是第一位的！通过网站分析工具抓取用户数据，进而掌握网站的优缺点及用户的喜好。找到了这些数据就等于找到了用户需求，就可以对网站进行针对性的优化与改进。

电商网站如何做到精细化数据分析?本期内容为大家简单介绍一下网站分析重点应关注的模块和指标。

一、流量分析

流量分析主要是为对网站整个站点的进行流量监测。细分维度有：

时段、地域、来源、客户端信息

等，具体体现在：

来源维度

可以分引荐、搜索引擎、关键词等渠道实现不同渠道的流量信息，甚至可以实现区分同一渠道付费流量和非付费流量的分流。

地域维度

可以分省份、分城市以地图形式和报表形式呈现出受众来源的具体地理位置。从而，便于分析客户分布情况 。

时段维度

通过时段维度可以按照（24小时OR日序列）2种模式监测整站流量的24小时变化趋势，以及不同日起的变化趋势。

客户端信息

从浏览器、操作系统以及屏幕分辨率方面了解受众群体的客户端属性。

二、站内运营

站内运营主要是对重点网页项目做监测，分析每个网页项目的流量、人数、二跳等指标。还可以通过其他维度来分析特定定制页面的情况。比如：地域、来源、时段统计等。具体可以从以下几方面进行阐述分析：如：

网页项目分析、站内搜索分析、站内广告分析、页面流向分析、着陆离开分析、场景转换分析、页面流量分析

。

网页项目分析

比如网站首页、导航页，或者产品页，若是产品页，通过定制可以对不同id的产品进行细化分析。可用于调整页面内容的排列位置，摆放顺序等。

站内搜索分析

对站内搜索页面上的关键字使用情况进行分析，主要展示数据为：关键字、关键字带来的浏览量、使用关键字的用户数、用户百分比、点击量、点击率。主要作用是便于网站了解用户的主动喜好。

站内广告分析

展示点击站内广告后形成的转化情况及该站内广告的点击情况。

页面流向分析

以您定制的起始页面为起点，记录用户10 步内的页面浏览情况，默认展示使用最频繁的浏览路径。

着陆离开分析

记录用户从哪些页面进入网站，从哪些页面最终离开网站，了解网站的主要入口、出口情况。

场景转换分析

用户可以根据网站自身的结构，定制场景，查看用户是否是按照定制的场景在网站之中去行走的，如果不是按照这样的行走路径。可以根据场景中的流程来实时改进。

页面流量分析

呈现网站流量较大的URL的流量数据，了解不同页面的流量情况，根据这样的数据来查看网站是否有数据异常，或者需要重点关注的页面。

三、转化分析

转化分析主要是对网站的转化效果进行分析。转化目标可以通过多个角度去监测数据：外部来源、关键词、着陆页面、地域分布、时段统计、广告转化。该功能的主要目的清晰呈现网站的转化结构，便于网站优化推广渠道、方式，进而最大化提高网站的转化率。

1、外部来源：不同渠道对转化带来的影响。

2、 关键词：不同搜索引擎关键词对转化带来的影响。

3、 着陆页面：不同着陆页面对转化的影响。

4、地域分布：转化的人群都来自哪些省份。

5、 时段分布：统计转化来自于哪些时段或者时点。

6、广告转化：不同广告媒体、广告位带来的转化数量。

四、广告管理

广告管理主要是实现站外广告投放的营销监测，投放形式有：品牌广告、竞价SEM、直邮EDM、渠道广告。还可以通过定制报表来实现自定义选择活动到邮件的功能。通过该功能，不仅可以掌握精准的投放数据，更有利于发现不同渠道的效果好坏（比如流量质量、转化效果等），对投放渠道进行优化，提升推广的ROI。

五、会员分析

会员分析主要是了解会员在重点页面、重点频道的流量贡献，了解会员在网站的行走路径，了解会员地域、年龄等属性分布，并详细分析不同会员在网站的关键行为，比如产品浏览、入蓝、订购等指标，为网站的精准营销提供有力的数据支持。

六、业务分析

通过对每种产品的销量情况查找产品存在的缺陷，进而找出解决方案。对每个产品进行浏览/入蓝/订单分析，发现热门但点击率、入蓝率不高的产品，从而进行策略调整，也可以细分不同品牌、品类、分店等维度来分析。

总之，通过对网站进行系统的数据分析，可以帮助你了解网站的优势和不足之处，进一步优化网站，因为数据不会撒谎，可以帮助我们捕捉到用户最真实的需求。

这是一个技术性的问题，通过系统测试排查出问题，对于遗漏或不全的代码重新添加，避免数据的不准确性

可以说通过数据分析，对广告投放的各个环节进行监测与优化，短期内可有效提升转化率，提升营业额，最重要的是为企业节省了千万广告费用，让每一分钱都花在刀刃上。

目前，英雄联盟春季赛包括LPL和LCK在内的各大赛区常规赛已经基本结束或者进入尾声，几家欢喜几家愁，有昔日的王者出师未捷，也有曾经默默无闻的战队一鸣惊人。而在这个“得上单者得天下”的版本里，LPL和LCK各有一顶级上单统治赛区：Theshy和Khan。

今天狗王就从大数据来分析这两个人中究竟谁才是第一上单。

Thyshy

Thyshy其实也是一名韩国人，但是他的注册地是在中国，可以说他的职业生涯一直在LPL，早年曾在WE打替补却从未上场，后来被王校长挖到了IG后开始大放异彩。

截止到目前为止，Thyshy今年春季赛的KDA等各项数据如下表所示，27胜2负的傲人战绩目前处于世界联赛第一位。而Theshy今年春季赛的出场英雄共计10个，其中海洋之灾出场最多，为6次，亡灵战神和符文法师出场次数最少，为1次。

而且比较令人感到可怕的一个数据是，这10个英雄，其中有8个胜率高达100%，出场次数最多的船长为83.3%。而另一个角度看这个数据会发现，Theshy使用的十个英雄中，法系英雄为2个，坦克系英雄也为2个。由此可见，Theshy的风格打法目前是偏AD输出型上单。

在另一个比赛数据体系中，无论是从KDA、场均击杀、场均助攻、场均死亡、分均输出、分均承伤、分均经济、输出占比和承伤占比均领先LPL平均水平，像常见击杀等多项数据更是位列LP[L第一，而尽在参团率上稍逊于平均水平，也可以看出Thyshy更加擅长线上对线能力。

KZ Khan

接下来我们分析一下Khan，很多看过去年S7比赛的玩家应该对这名选手非常熟悉，上单对线无敌，吊打SKT的HUNI和DUKE，统治力一时无两，即使是到了S8赛季，依然一个人占据着LCK赛区上单霸主的位置。

今年春季赛，Khan总共使用了8个英雄，少于Thyshy的10个，8个英雄当中，有5个达到了100%的胜率，出场达8次的海洋之灾胜率为87.5%，略高于Theshy。而且我们看Khan的英雄池会发现，Khan和Theshy的英雄池极其的相似！擅长英雄为同类型的AD输出型上单，而且比较有意思的是，Khan虽然英雄展现的少，但是曾经使用过一场上单瑞文，看过那场比赛的玩家应该有印象，瑞文一个人可以说砍翻了三路。

下面我来看一下今年春季赛Khan的数据表现：

KDA上Khan毫无疑问领跑LCK，5.9的KDA无人能及，场均击杀2.8人，单场比赛最高击杀7人，场均助攻5.1次，这些数据均位列LCK赛区上单排名第一，唯独有缺陷的地方就是参团率有些低，这一点上和Theshy又惊人的一致！

而在FARM和团队贡献数据中，Khan同样各项数据领先，CSPM（每分钟补刀数）10.07，是LCK唯一破两位数的上单选手。每分钟578的输出数据高出第二名ADD511整整67，但是稍逊于Theshy的597；输出占比27.6%依然领先。

通过对比上面这些数据我们不难发现，Theshy和Khan数据实在是太接近了，而且英雄池也非常相似。但是如果仔细追究的话，Theshy的数据整体上是要略高于Khan 的，当然，看到这个消息LPL的粉丝们也不要太过于乐观，虽然数据可以反映出一个人的综合实力，但是数据的产生本身就存在差异化。

LPL和LCK的队伍们整体实力差距不止一个档次，Khan可以在LCK赛区杀出和Theshy不分上下的数据本身就能说出问题，试问如果Theshy是在LCK赛区，能否做到Khan那样？毕竟LPL强力上单太少，已经没有选手可以和Theshy对抗，对于Theshy的实力上限判断很难精确。

这场世界第一上单的争夺战不日就会打响，你更加看好谁呢？在评论区留下你的高见吧~

又到一年年终汇报时，相信大家都在回顾2017，展望2018。这其中少不了一些年度汇报。针对年度汇报，我们都希望呈现出自己工作业绩完美的一面，形成一个个内容充实，视觉可观的报告，像这样：

视觉效果很不错，会给你的成绩汇报加分。

而形成这样的报告，其前提是要对你的业务数据进行分析，而分析的第一步，你是什么做的呢？

比如看看下面的一个简单例子：每个省/市有代码，现在系统通过代码来获取省/市的名称

公式：=VLOOKUP(D2,A:B,2,0)

从公式上看，没有问题，但是就是得不到所期望的结果，为什么呢？

俗语说：你看到的，未比就是你想象中那样，正确的。

现在看到的表格中，要查代码是11的省市，而11即可以作为文本，又可以作为数字，所以要采用Vlookup核查的时候，需要明确其类型是一致，故：数据处理的第一步的时候，你要明确你的数据类型，是文本，还是数值，或者还是其他？

那针对上述问题，我们校验一下：

公式1：ISTEXT(A2) 结果为False

公式2：ISTEXT(D2) 结果为True

很明显，数据类型不一致，结果很显然，对不了

那如何处理呢？

常规方法：采用数据分列的模式，让数值变为文本

再往下看：依旧是这个例子

首先公式没有问题，其次代码层面也检查了，都是文本类型了，但是为什么还是错呢？

还是那句俗语：你看到的，未比就是你想象中那样，正确的。

那要如何处理呢，请往下看

公式1：LEN(A2) 结果为3

公式2：LEN(D2) 结果为2

很明显，虽然都是文本，但是长度不一样，那基本可以判定，里面肯定含有空格，针对这种空格，显然不是我什么所需的，那此时可以通过

通过公式：=SUBSTITUTE(A2," ","") 进行处理

将空格替换为了空（""）

这样就可以完美的解决了。

除了SUBSTITUTE函数，Trim函数也可以就可以处理。如下：

那整理下：SUBSTITUTE与Trim的区别

两者本质上都是将空格去掉，前者是采用替换的方式，凡是遇到空格，全部替换为空；但是后者在执行的时候，不是全部替换，而是有选择性的替换（主要在英文方面使用，比如My name is Pangsiji，很明显，英文词之间的空格就是不需要替换的）

所以在处理数据时，需要清除你的数据时中文还是英文，然后在考虑用SUBSTITUTE或Trim

再往下看，我们经常会从ERP系统里面到出数据，然后进行加工处理，此时有一些数字看着是一样，也都是文本，长度也一致，但是就是不对，如下：

为什么呢？

因为数据从外部获取，这些数据中，由于计算机的处理，会存在一些非打印字符（是什么可以暂时不考虑），由于你看不到，同时也满足了相应的文本条件和字符串长度条件，导致结果出错，所以你需要处理这些非打印字符。

处理方式，用CLEAN函数，将非打印字符去掉即可

说道这里，你以为完了？No，No，No……

还有一种，比较变态，胖斯基也经常遇到，就是全角和半角符号输入的内容（这里主要说的是空格）

在上文中采用SUBSTITUTE(A2," ","")进行了空格的替换，一般情况下，基本都能解决。但是有时候，你分列变为文本，Clean处理了非打印字符，TRIM和SUBSTITUTE处理了空格，依旧不对，此时你需要考虑下这个空格是不是全角空格（尤其是从系统里面输出的数据），这里，你可以在你的SUBSTITUTE(A2," ","")公式中，空格的地方，输入全角符号的空格，怎么输入？切换你的输入法

So，说了这么多，胖斯基是想告诉你，当你在进行数据分析处理的时候，第1步要做：

1. 明确原始数据的类型，是文本还是数值；

2. 明确文本类型的数值情况下，采用采用Clean将非打印字符去掉，也可以采用Trim和Substitue函数将空格去掉（注意用法区别）

3. 如果还不行，你就要考虑考虑是不是有全角符号在里面输入（这个最为常见也最为变态）

这样，数据处理时才能提高你的效率！

加油吧，少年！

作者ID：分析世界讲方案

都说大数据的目的在于分析，但数据捕获却是第一步。这一步，就像人生第一次呼吸，决定着后面的生存是否继续；这一步，就像迈开第一个脚步，决定着后面的道路是否平坦；这一步，就像作者第一篇文章，决定着后面的叙述是否进行；闲话不讲、废话不说、言归正传。

数据捕获是大数据分析的源泉，但它的能力构成并非如此简单。

从常规来看，学习使用大数据往往更聚焦于大数据能力域，所谓能力域其实可以从身边的情景观察找到答案。比如，企业招聘更被用人部门关注的职位是架构师、分析师、数据科学家；外部大数据培训机构更被学员关注的是大数据生态圈的学习和主流技术掌握；企业大数据方案交付更被客户关注的是整体方案的可行性及商务报价……而数据捕获这么重要的一项工作，往往是工程实施的第一步。

大数据领域的数据捕获，如图所示，主要涵盖了五大方面的能力：多结构化数据源支持、多种数据接入方式、企业级数据交换系统、数据加载时效性保障、异构平台间数据集成。

这五大方面的内容展开，可不是这一张图能概览的，是巨大的内容产出，所以今天就粗略介绍，权当是抛砖引玉。

多结构化数据源支持

这个毋庸置疑，大数据时代本身就是要处理海量的、多结构化的数据源。原来传统的、关系型数据库结构化数据往往存储在企业的生产系统，而且都是“高价值”数据（客户资料、产品信息、财务数据等），这些数据原来早在“BI时代”就已经纳入处理。移动互联网的发展产生了很多非结构化数据，这些数据的数据量巨大且类型繁多，因此又称之为“低价值”数据（互联网日志、点击流、图片等）。所以这些数据需要纳入平台进行处理和分析。所以，除结构化数据之外，大数据将面临更多类型的数据源，包括文本、音频、视频等非结构化数据或者XML、Json等半结构化数据。对于大数据平台而言，混杂的数据源支持是考验平台能力的第一道关卡。而且这些数据并非纳入捕获就可以发挥价值，所以就一定需要相应的计算引擎和分析引擎等技术组件有一定要求。

多种数据接入方式

再有，平台应该通过什么方式获取数据？其实这主要取决于原系统类型和数据类型。原系统为关系型数据库的，可以通过ODBC/JDBC或API调用捕获数据；是文件系统的可以通过FTP装载或第三方工具抽取数据；是MQ消息的可以通过中间件订阅获取。总之要想尽一切办法把原系统的数据load到大数据平台，运用各种手段、各种工具满足数据获取的要求。

企业级数据交换系统

为此，数据捕获的行业进程已经不单单是“原封不动”的平移，伴随着大数据系统的规模庞大和功能完善。所以，大数据核心能力更应该把精力用在大数据作业的处理和分析，避免很多“脏活儿、累活儿”也占用宝贵的计算资源，那么这些活“谁”来干？是的，可以前置倒一些“集群”来完成。这些“集群”早年间通常叫做ETL/ELT工具，就是简单做做字段去重、内容清洗和字符转换的事情，但后来大数据系统日趋庞大，紧靠工具级的ETL不能满足这些需求，这就要求引入企业级数据交换平台（概念传统ETL的所有功能）。企业级ETL不仅承担大数据预处理环节，更能作为数据交换的核心枢纽，支持跨异构平台的任务调度和管理；

数据加载时效性保障

数据加载的时效性方面，不仅包括传统CDC（变化数据捕获）、批处理/微批次的概念，还包括实时/流的概念。尤其是高时效性的业务场景，比如实时分析、实时营销、精准推荐、实时监控等等。这些业务应用的最终效果不是“秒级”触发也是“分钟级” 刷新，所以这就对前置数据捕获提出了要求和挑战。因此作为数据获取域，必须要构建高可靠、分布式的数据传输平台，支持离线、实时、微批量等不同加载时效性的数据采集；

异构平台间数据集成

还有一些平台级别的大系统，需要整个系统的全库表导入到大数据平台。因此作为数据获取域，还应该支持不同系统类型的数据导入和集成，保障数据传递和导入导出。例如从Hadoop系统（Hive）导出到数据仓库，或者从MySQL/Oracle导出到Hadoop等等。这就需要工具级别的支持。

因此大数据平台应涵盖传统结构化、非结构化等混杂数据源，支持不同类型的数据获取和集成。采用多种数据接入方式以构建企业级ETL能力，满足各类时效性采集要求，从而实现海量数据的高效整合；

作者ID：分析世界讲方案