数据是人类的发明。人类定义了他们想要测量的现象，设计系统收集数据，在分析之前进行清理和预处理，最后选择如何解释结果。即使使用相同的数据集，两个人也可以得出截然不同的结论。这是因为数据本身并不是“地面真实”——能够反应客观现实的、可观察的、可证明的数据。

你如何概念化一个现象，确定要测量什么，并决定如何测量，将影响你收集的数据。你利用AI解决问题的能力很大程度上取决于你如何表述你的问题，以及你是否能建立无歧义的”地面真实“。如果你的标准本身是错误的，那么结果不仅是错误的，而且可能对你的业务有害。

除非你直接参与定义和监视原始的数据收集目标、工具和策略，否则你可能无法掌握那些能帮你发现错误处理、解释和使用这些数据的关键知识。大多数被我们成为“数据”的东西可能是些仅仅是用来支持某种议程的测量、与事实无关的信息集合、或者来自看起来合理、但是带有偏见的收集工作。

下面是一个关于九个常见统计错误的速成班，每个管理者都应该熟悉：

不明确的目标：未能确定收集数据的原因，意味着你将错过阐明假设和确定收集内容的机会。结果是你可能会收集错误的数据或不完整的数据。大数据的一个共同趋势是企业收集大量信息而不了解他们为什么需要它，以及他们如何使用它。收集庞大而混乱的数据量只会阻碍你未来的分析，因为你将不得不通过更多的垃圾来寻找你真正想要的东西。定义错误：假设你想知道你的客户上个季度花了多少钱在你的服务上。即使是这样一个简单的目标也需要在你得到你想要的信息之前定义一些假设。 首先，你如何定义“顾客”？取决于你的目标，你可能不想把每个人都放到一个桶里。您可能希望通过购买行为细分客户，以便相应地调整营销动作或产品特性。如果是这样的话，那么你需要确保你包含了关于客户的有用信息，例如人口信息或支出历史。还有一些战术上的考虑，比如你如何定义宿舍。你会使用财政季度或日历季度吗？许多组织的财政年度与日历年不符。财政年度也在国际上有所不同，澳大利亚的财政年度从7月1日开始，印度的财政年度从4月1日开始。你还需要制定一个策略来解释回报或交换。如果顾客在第一季度买了你的产品，但又把它退回去了呢？如果他们对你提出了质量投诉并得到退款怎么办？你把这个事件归到哪个季度？所以定义不是那么简单。你将需要讨论你的期望，并设置适当的参数，以收集你真正想要的信息。捕获错误：一旦确定了希望收集的数据类型，就需要设计一种机制来捕获它。这里的错误可能导致捕获不正确的或偶然的、有偏见的数据。例如，如果你想测试产品A是否比B产品更吸引人，但你总是在你的网站上显示产品A，那么用户可能不会频繁地看到或购买B产品，从而导致你得出错误的结论。 测量误差：当你捕获数据的软件或硬件出错时，或无法捕获可用数据或产生虚假数据时，就会出现测量错误。例如，使用日志与服务器不同步，则可能丢失移动应用程序上的用户行为信息。同样，如果你使用像麦克风这样的硬件传感器，你的录音可能会捕捉到背景噪音或其他电信号的干扰。加工误差：许多企业拥有几十年前的数据，原来能够解释数据决策的团队早已不在了。他们的许多假设和问题很可能没有文档化，这将取决于你推断，这可能是一项艰巨的任务。你的团队可能会做出与原始数据收集过程中不同的假设，并得出截然不同的结果。常见的错误包括缺少一个特定的过滤器，使用不同的会计标准，并简单地犯方法错误。 覆盖误差：覆盖误差指，目标受访者都没有足够的机会参与数据调查的情况。例如，如果你正在收集老年人的数据，但只提供网站调查，那么你可能会错过许多答卷人。你的营销团队可能有兴趣预测所有移动智能手机用户的行为与未来的产品的关系。然而，如果您只提供iOS应用程序而不是Android应用程序，iOS用户数据将使你对Android用户的行为有有限的了解。 抽样误差：当你分析一个较小的样本时，就会发生抽样误差。当数据只存在于某个群体中时，这是不可避免的。结论：你得出的代表性样本可能不适用于整体。 推理错误：当统计和机器学习模型从已有数据中做出不准确的判断后，它们之后的推理结果也可能是错误的。如果你有一个非常干净的“地面真实”数据库，那么就可以用它去检测数据模型得出的推理是否正确，但实际上，大多数数据库是充满噪音的，所以你通常很难确定AI推论的错误点在哪里。未知错误:现实是难以捉摸的，你不能总是轻易地建立事实。在许多情况下，比如使用数字产品，你可以捕获大量用户在平台上的行为数据，而不是他们对这些行为的动机。你可能知道一个用户点击了一个广告，但你不知道他们对它有多恼火。除了已知的许多类型的错误之外，还有一些未知，它们在以数据代表的现实和现实本身之间留下了一个缺口。没有数据科学或机器学习背景的管理人员通常会犯这九大错误，但许多更微妙的问题也会阻碍AI系统的性能。

原文来自：9 common mistakes executives make with data

在打开一个店铺后台的时候首先要看的就是以上这些数据，对店铺近况有一个大概的了解，然后再去发现问题。比如这个店铺，淘宝上做化妆品的皇冠店， 通过这 6 张截图，我们可以大概知道：

店铺动态评分

在线宝贝数量

前一天的经营数据

同层级同行的访客

客户构成等等。

然而这些数据只是对这个店铺有了一个基本的了解。诊断并没有开始，因为我们还没有发现哪里有问题。接下来，我们来具体看看如何利用这些数据，看清背后的问题，以及如何优化解决，突破瓶颈。

问题一：30 天退款率 2.5%

唠叨一句： 30 天的平均退款率是2.5%，是一个什么概念呢？也就是说每成交 100 单就会有 2.5 个人因为各种问题退款。全店日销 100 单左右，转化率不到 2%，每天都有退款，店铺做起来会很累。确切的讲，这个问题现在还不能开始解决，因为我们还不知道他店铺的具体情况，找出真正的原因，对症下药，才能完美解决问题。

问题透视：造成这种问题的原因一定和产品质量有关，和服务有关。

解决方案：一般退款情况，如果是因为产品本身质量有问题，任何技术都没办法解决。技术也许可以掩盖一时，但是治标不治本。因为我们服务的就是顾客，欺骗顾客的行为不可取。最好的解决办法就是升级产品，所以产品利润低、质量又不是很好的产品，宁愿舍弃不做。如果顾客因为对服务不满或是对物流不满而退款退货的，就很好解决，用心做服务，让客户满意应该是做生意的根本。客户提交的问题不要逃避，应该及时有耐心的客观解决。多一个客户还是少一个客户，就看自己怎么做了。

问题二：付费流量过高

唠叨一句：这是一个失败的店铺，这店铺过去是交给其他代运营公司经营，把付费流量硬是做到了 70% 以上的占比。如果是高利润产品，直通车投入产出高的店铺倒不失为是一个赚钱的办法，但是，现实是残酷的。

问题透视：之所以付费流量占比会高，一方面是在大力烧直通车，另一方面也表现了自然搜索权重的无能，他的标题组合一定有很严重的问题。稍候我们会验证。

解决方案： 一、调整直通车方案，控制出价。二、优化标题，保证标题的每个关键词都是有精准流量的有效关键词。

问题三：店铺的跳出率和跳失率过高

唠叨一句：很多人分不清跳出率与跳失率的区别。跳出率是指仅仅访问了单个页面的顾客占全部访问顾客的百分比，或者说从首页离开网站的顾客占多有访问顾客的百分比。而跳失率是指访客不管通过什么渠道进来，没有继续访问其他页面就离开，就称之为一次跳失，跳失率是 100%，又浏览了其他一个页面再离开，跳失率就是 50%。而这位店铺的跳出率是 80% 以上，PC 端的跳失率达到75% 以上，拉低了全店的跳失率。可想而知这个店铺装修有多可怕。

问题透视：跳出率和跳失率问题和宝贝的详情页、首页装修有直接的关系，也可能是引入的流量不精准导致。详情页没有做好宝贝关联营销也会导致跳失率增高。买家进店后发现店铺装修很不靠谱，没有购买欲望，甚至是没有浏览兴趣。或者发现不是自己想要的宝贝，于是掉头就走。

解决方案：对症下药，一、检查店铺是否在做或是刚结束活动。正常情况下，直通车、钻展、活动、还有手淘首页展位等引来的流量，转化都很低，因为流量不精准而导致跳失 ( 出 ) 率增高。二、看店铺的装修是不是有问题，是不是迎合顾客喜好，如果是装修效果不好，建议重新提炼卖点，重做装修。

问题四：同行优秀相比，30 天转化率最高时低于同行最低值

唠叨一句：看到这里，有心的同学会发现，以上问题都还没有一个准确的判断答案。只是说出了有可能出现的问题，针对相应问题给出不同的解决方案。这个店铺究竟是什么原因导致以上问题？不要着急，因为我们只是发现了问题，店铺还没有诊断完成，还得继续看。

问题透视：导致转化率偏低的因素有很多，店铺的中差评、价格、销量和零销量占比、店铺装修、客户定位等都是影响因素。需要一一排查，做全店的诊断，才能得出准确判断。

解决方案：根据以上可能做相应处理。如果是因为中差评过多，要及时做回评解释，甚至找出中差评过多的原因。价格方面建议不要去做低价竞争，因为利润是服务的保障，不赚钱是可耻的，但“君子爱财，取之有道”。赚了钱又不觉亏心，就说明你还是一个良心卖家。销量是一个必经之路，都是从低到高的积累。滞销宝贝数过多的话，建议下架一部分，做好流量引导，尽量都有销量。客户定位，流量不精准，是一个基础问题，检查关键词相关性和流量入口。店铺装修就不用多说了，非常重要。

问题五：无线端详情页基本没有单独设计，但是流量来源基本是无线端

唠叨一句：这就好比去打仗，给了你一把枪，你非扛着大刀上。16 年开始到18年淘宝进入无线端时代，人们已经习惯了手机平台消费，未来无线端的走向是直播时代，你还能不重视无线端吗？

问题透视：从左侧红框可以看到，很多宝贝没有做手机端详情，竟然还有店里的爆款，但店铺明显没有重视无线端权重。

解决方案： 建议无线端详情页单独设计发布，越快越好。

问题六：标题没重组，全网一样的标题几十页

唠叨一句：为什么直通车的流量占比那么高，自然搜索流量占比那么低。但是还不能完全确定，还要等分析完直通车数据之后才能最终确定是什么原因。

问题透视：复制一款宝贝的全标题，粘贴到淘宝搜索框搜索，竟然有几十页的宝贝出现。无法突出自家产品的明显优势。

解决方案：利用好生意参谋的搜词工具，筛选黄金词重新组合标题。监控关键词的数据持续优化。

现在数据已经成为了一些企业的“天”。近年来，近年来越来越多的公司已经意识到数据分析可以带来的价值，并且已经跳上了大数据旅行车。实际上，现在所有的一切都在被监控和测量，创造了大量的数据流，通常比公司可以处理的速度更快。问题是，根据定义，大数据很大，因此数据收集中的小差异或错误可能导致重大问题，错误信息和不准确的推论。

对于大数据而言，以业务为中心的方式分析它的挑战是实现这一目标的唯一方法，即确保公司制定数据管理策略。

但是，有一些技术可以优化您的大数据分析，并最大限度地减少可能渗入这些大型数据集的“噪音”。以下是几个技术技巧做参考：

优化数据收集

数据收集是事件链中的第一步，最终导致业务决策。确保收集的数据与业务感兴趣的指标的相关性非常重要。

定义对公司有影响的数据类型以及分析如何为底线增加价值。从本质上讲，考虑客户行为以及这对您的业务有何针对性，然后使用这些数据进行分析。

存储和管理数据是数据分析中的重要一步。必须保持数据质量和分析效率。

把垃圾带出去

肮脏的数据是大数据分析的祸害。这包括不准确，冗余或不完整的客户信息，可能会对算法造成严重破坏并导致分析结果不佳。基于脏数据做出决策是一个有问题的场景。

清理数据至关重要，涉及丢弃无关数据并仅保留高质量，最新，完整和相关的数据。人工干预不是理想的范例，是不可持续和主观的，因此数据库本身需要清理。这种类型的数据以各种方式渗透到系统，包括时间相关的转移，例如更改客户信息或数据孤岛中的存储，这可能会破坏数据集。脏数据可能会影响营销和潜在客户生成等明显的行业，但财务和客户关系也会因基于错误信息的业务决策而受到不利影响。后果很普遍，包括盗用资源，重点和时间。

这个脏数据难题的答案是确保进入系统的数据干净的控制措施。具体而言，重复免费，完整和准确的信息。有些应用程序和公司专门研究反调试技术和清理数据，这些途径应该针对任何对大数据分析感兴趣的公司进行调查。数据卫生是营销人员的首要任务，因为不良数据质量的连锁效应可能会大大降低企业的成本。

为了在数据方面获得最大收益，必须花时间确保质量足以为决策和营销策略提供准确的业务视图。

标准化数据集

在大多数业务情况下，数据来自各种来源和各种格式。这些不一致可能转化为错误的分析结果，这可能会大大扭曲统计推断。为了避免这种可能性，必须确定数据的标准化框架或格式并严格遵守它。

数据集成

如今，大多数企业都包含不同的自治部门，因此许多企业都拥有孤立的数据存储库或“孤岛”。这很具挑战性，因为来自一个部门的客户信息的变化不会转移到另一个部门，因此他们将根据不准确的源数据做出决策。

为了解决这个问题，中央数据管理平台是必要的，集成了所有部门，从而确保了数据分析的准确性，因为任何变更都可以立即被所有部门访问。

数据隔离

即使数据干净，有组织和集成在那里，也可能是分析问题。在这种情况下，将数据分组成小组很有帮助，同时牢记分析正在努力实现的目标。这样，可以分析子组内的趋势，这可能更有意义并且具有更大的价值。在查看可能与整个数据集无关的高度特定的趋势和行为时尤其如此。

数据质量对于大数据分析至关重要。许多公司试图用分析软件直奔潜水，而不考虑进入系统的内容。导致不准确的推断和解释，这可能是昂贵的并且对公司造成损害。一个定义明确，管理良好的数据库管理平台是企业利用大数据分析不可或缺的工具

欢迎关注天善智能，我们是专注于商业智能BI，大数据，数据分析领域的垂直社区，学习，问答、求职一站式搞定！

本文作者：天善智能学院学员张龙祥。

原文地址：https://ask.hellobi/blog/zlx19930503/8745

本人于2018年6月份硕士毕业，2017年，为了找实习找工作四处奔波，前前后后投了100多次简历，面了30多家公司。在这期间，经历的丢手机从人间蒸发的惨状，也经历了两个半月减掉15g体重的神奇现象。总而来说，过程很艰辛，结果还是很美好。下面是我的面试经过。

第一个单位：北京互联网金融公司。一共有三面，第一面是技术面，是一个男同胞面试的我，首先是来了一个自我介绍，这个自我介绍也是很有讲究，干一行说一行，不相关的废话一字不要提。自我介绍完就开始技术面了，因为这是个金融公司，因此对于分类算法很是注重(大家在面试的时候要针对行业常用算法来进行准备，做到烂熟于心)。问题一：决策树算法中的信息熵具体阐述一下？问题二：决策树算法中ID3、C45、CART算法，根据自己的理解进行简要叙述，并且对剪枝问题进行叙述？问题三：阐述一下自己对过拟合的理解以及一些解决措施？问题四：叙述一下K-means算法的流程？问题五：阐述一下自己对逻辑回归的理解？问题六：模型评估的一些指标？问题七：数据结构中的排序算法说几个，以及时空复杂度？问题八：数据库的连接问题，叙述几个。

我的回答：前五个问题回答的都可以，我第六个问题说了ROC曲线，我的妈，他让我说横纵坐标，我不记得了，我很直接，就说这个我忘记了，看一下书就可以了，原理我晓得。对于第七个问题，我当时真的很无语，我直接说的“面试官，数据结构我学过，但是四年时间我不记得了，就连最简单的冒泡排序都不记得了，我工程方面用R和Python，如果您招的是要精通C的，那这个岗位不适合我”。最终一面通过。

第二天下午，是二面，是大数据部门的女总监面试的，先是自我介绍，后来是问了这么一个问题：你的职场规划是什么？讲真，这些问题我和专门的大神聊过，回答的也还不错，当然也是自己的内心想法，只是逻辑更加完善而已。然后就是技术面，一面的有的问题我就不再重复，说了一下组合算法，我实话实说：“当时对于三大组合算法看的还不是很细，马上会进入这方面的学习”，下一个问题是叙述PCA降维技术，我就从特征值、特征向量巴拉巴拉的说。之后女总监说“回去把组合算法搞一下，Python好好看看”我这边通过。

之后就是HR面，谈了薪资就没啥了。

总结：

①夯实一些名词的含义，比如：评价模型的指标。

②近期把组合算法搞定。

③过拟合发生的原因以及解决措施梳理一遍。

第二个单位：杭州互联网金融公司。第一面试的时候，我在无锡接的电话，是个男面试官，人很温和，我就不害怕了。首先自我介绍，之后又是分类算法搞了一圈，还有模型评价的指标，这里有一个KS指标被提到，这个在上面已经说了，就不在赘述。(当你面试较多的时候，你就有一种倒背如流的赶脚，但是你必须沉得住气，慢慢说，这样一二三四的你会更有逻辑性)，一面就这样很愉快的结束了。

那个面试官让我从无锡去杭州面基，我正好第二天去杭州，我说可以的。但是中午到杭州的我和一个网易的朋友吃饭聊天的就超时了，又急急忙忙赶回上海，就错过了去公司的机会。我说明原因之后二面改为电话面试。

觉得二面的面试官真的很有质量，面试官的语速很快，搞得有点压抑，我适当笑一下，缓解一下气氛。他说了这么一句话我很佩服：我们先不谈别的，从数据处理到建模有一个很重要的特征选取，说一下对特征工程的理解，好高端，我当时有点冒冷汗呀。这个问题得谈了20分钟吧，“L1正则化可以进行特征筛选的原因：从几何和后验概率两个角度”“L1和L2正则化的区别”等等，后面，对于决策树的问题又来了一拨：“决策树算法中的剪枝，预剪枝和后剪枝，自己根据自己的理解来简单叙述”“决策树在连续型变量的处理方面的一些方法”，这方面我们聊得还是很开心，本来以为要结束了，面试官又问了我的研究方向，又被问的有点懵，最后又问了我分布式什么的，我直接说的不会。不过好在面试还是过了。

总结：把面试中提到的不懂的问题理清楚。

最后我总结以下几点：

①面试单位要看缘分，假如你准备的问题面试官都没问，面试官问的问题你都不会，孩子，这个单位不适合你。

②面试的时候，要把面试官引入自己擅长的领域，不要哪里不会点哪里。

③向面试官展示最真实的自己。

④保证足够的营养，我已经好多年没吃过药了，哇哈哈！

⑤重要的是查漏补缺，时间不等人，只争朝夕啊！

⑥给大家推荐天善智能，来进行学习，我也会陆续在里面发文章。

天善学院svip正火爆报名中！包含Excel BI、Python3爬虫案例、Python机器学习、Python数据科学家、大数据体系、数据分析报告、数据分析师体系、深度学习、R语言案例共10套课程，其他课程只需五折即可，欢迎大家关注报名！

中国教育科学研究院曾经对中国4万名家长和孩子做过一项调查，在调查4个省中后发布了结果，在《中国教育报》上连载，大概有十个主要结论：

1、中国父母亲最关心孩子什么?

中国大部分父母最关心孩子的成才而不是成人，他们关注的眼前比较多。但是真正决定孩子未来的几个关键性问题关注不够，比如兴趣爱好。其实人的兴趣爱好，也是孩子认知社会一个最好的方法，仅仅关注学习成绩，不利于孩子的创造能力和兴趣的养成。孩子的情绪、处理人际关系的能力，自我管理的能力，性格、人格特征，事实上比家长最关注的这些问题要重要得多。

2、学前班对孩子来说是不是很重要?

这次调查结果发现，学习成绩比较差的孩子里面，上过学前班比没有上过学前班的多10.89%，这个结果颠覆了很多人过去的观念。我们很多父母都不想让孩子输在起跑线上，要赢在起跑线上，所以要比别人早一点学，比别人多学一点。事实上，孩子是需要童年的，是需要游戏和快乐的，你逼着他学习的东西他不会感兴趣。过早使孩子对学习产生对立的情绪，让他还没有进学校就恐惧学习了。

3、择校的意义和效果如何?

很多父母都谈论着择校，都要想方设法把孩子调到好学校。大数据分析发现最优秀的学生里面择校生和非择校生没有什么区别，比例分别是29.95%和28.48%。当然并不是说选择好学校对学生的发展就没有帮助，坦率地说因为学校是有文化的，学校之间孩子是相互影响的。孩子之间彼此的影响，远大于孩子被哪所学校影响。关键是为什么有的择校效果不好，对于那些基础相对薄弱的孩子，在别的学校他可能有安全感和自信心，到了最好的学校面对众多的学霸反而打起了退堂鼓，学习成绩自然而然就会下降了。

4、学生上课外班和不上课外班能不能有效提高成绩?

中国孩子大概90%都是上课外班的，上了课后补习班孩子的业余空间都被填满了，自主学习的可能性就不够了。这样学习能力就会萎缩，发展就会受到很大的限制。另外课外班相对来说依然是学校生活的延续，依然是课本的延续，课堂的延续，学生没有一个开拓视野的机会。一个孩子没有大量课外阅读的时间，不可能得到很好的发展。

5、物质刺激是不是能够激发孩子的学习热情?

很多家长用金钱、奖赏、等各式各样的诱惑来激励孩子学习。这个调查中并不是我们意象中效果那么大，作用更大的是什么?是父母教育的一致性、协调性，更能够激发孩子的学习。比如，在父母亲观点不一致时，他们不会当着孩子面吵架，而是私下里交流、分享、协商。物质刺激远远不如父母对孩子正面的影响。

6、调查父母闲暇时间在干什么?

发现最多的是父母在读书看报，父母自己在学习的、读书看报的，他们的孩子成绩优秀的比例是最高的，占了31.31%，其次是父母也会看电视、玩电脑以及看手机，他们的孩子成绩优秀的比例就少得多，为27.43%，还有特别喜欢朋友聚会的家长的孩子成绩优秀的只有24.90%。我相信这些数据在现实生活中差距还大一点，个人感觉差距不像想象那么大。

7、孩子自我管理能力，对学习影响有多大?

很多父母为了让孩子聚精会神的去学习，所有的忙都帮他做了，所有的活都不让他干了。结果，认为只要学习好做不做家务都可以的孩子学习成绩优秀的只有3.17%。而认为应该做家务的，应该自己管理自己事情的优秀的孩子占了 86.92%。让孩子管理还自己的事情的能力是非常关键的。学习是一个自我管理的过程，这个结论对很多父母是有很重要的启示的。

8、父亲对孩子成长有什么作用?

在中国很多家庭，父亲是看不见的，所谓“影子父亲”。父亲在家庭教育当中真正的作用远远没有发挥出来，这次的调查发现，在中国90%的家庭，孩子的学习父亲没有尽责。大部分家庭孩子的学习都是妈妈来承担，而我们知道缺失父亲的教育，对孩子尤其对孩子的性格养成是有一个明显的局限。性别认同会弱化，容易被母亲过分地呵护，过度地保护，缺少独立锻炼的机会，缺少男子汉的气概。所以在家庭的教育里缺少了父亲的角色会出现各式各样的不良行为。

9、中国的父母了解孩子吗?

通过对父母了解发现，父母他们首先知道孩子有几个朋友，其次孩子喜欢哪位老师，喜欢上什么课。父母亲没有走进孩子内心去，不了解孩子到底有什么愿望，不了解孩子不愿意和父母说的事，孩子到底崇拜谁?这说明我们父母没有去了解孩子内心的需求，没有了解孩子内心的真实状况。

10、孩子的学习成绩和父母的养育方式是不是有关?

凡是采取积极态度的教育方式，孩子的学习成绩都是比较高的。反之父母的教育方法消极，孩子学习成绩相对来说是比较差的。说明孩子的学习成绩跟父母的养育方式还是有非常密切的关系的。

----------拓展阅读----------

【精选】再苦再难，都要把孩子带在身边

【音频】单亲妈妈能教育好自己的孩子吗

【视频】再忙要抽出时间陪孩子

-------------声明-------------

“好家长”成长空间挑选优质文章、音频、视频，与大家共同学习。重在分享，尊重原创。

1.作者版权及观点归原作者所有，向原作者致敬。

2.略有删减，如想看原文，请按照标明的出处查询。

3.所有转载均标明原始出处与原作者，如尽力核查未能发现原始出处和原作者，则默认“来自网络”。若有疏漏欢迎原作者及时联络署名或者删除。

4.若涉及版权问题，烦请原作者联系我们

大学生们就业难，连一些将被社会淘汰行业人员想要转行也不是件容易的事情？其实，很大一部分原因还是因为这些人既不愿意做辛苦的工作，又不愿意工资低，或者是因为没有选择一个前景好的行业。在这样的情况下，不如多多提升自身的技能，选择一个高薪的机会，而大数据就是这样的一个行业。下面西线学院为想要学习大数据的朋友们解答一些疑问。

一、为什么要学大数据？

大数据应用产业发展快速，大数据技术人才需求量大，麦肯锡预测，到2018年，在“具有深入分析能力的人才”方面，美国可能面临着14万~19万人的缺口，而“可以利用大数据分析来作出有效决策的经理和分析师”缺口则会达到150万。国内大数据人才有多大的缺口？目前尚无权威研究报告指出，不过今年2月万达集团的一份“求贤帖”颇能说明问题：万达开出50万~70万元年薪吸纳大数据架构师、大数据研发工程师和算法工程师，应者寥寥。

二、大数据难不难学？

回答是肯定的，大数据的学习是有一定的难度，但是只要你用心去学习，结果不会差。现在很多大数据培训机构都有零基础的课程，就是针对从来没有接触过大数据的朋友们的。其次，在大数据的职位中，如果你实在怕自己学不会，可能数据分析相对来说会简单一些。

这里也想对那些嫌弃自己薪资低又不愿意付出努力提升自己的朋友说：不要在空想了，不努力就踏实做自己现在的工作吧。

三、大数据要学习哪些课程？时间要多久？

课程可能每个培训机构学习的都是不同的，大数据需要java的基础，一般课程会分为R语言，python和大数据部分。时间要看你学习什么课程，零基础课程在4个月左右。西线学院课程每个阶段都有案例和项目结合，从简单到专业一步一步带领学生走进大数据世界，帮助学生顺利走上数据分析师的道路！

四、大数据该选择什么学习方式呢？

学习的方式有自学、视频学习、在线学习和线下学习。那么什么样的学习方式最适合你呢。建议是如果是零基础学习、自控力比较差、自学能力不是很强选择线下培训，有人监督加上交了钱，学习效果肯定要比自学好很多。另一种选择线下培训的情况是想要快速学习，不想办周期拖太长。其他如果是自学能力强，自控力也好的，可以选择自学。

五、大数据的薪资有多少？

大数据行业现在正是用人的时候，对于不少刚毕业的学生，薪资是非常可观的。而且经过沉淀，薪资过万很容易。

六、有没有哪家培训机构是可以保障就业薪资的？

有，但是你的想想，薪资是不是得按照个人的技术掌握情况来定，如果你自己都知道技术掌握不够好，培训机构跟你说保障你1万，你自己会信吗？心里有底吗？所以，薪资的多少，还是要根据个人的学习情况。

以上就是一些关于大数据的疑问解答，说得不对的地方，希望大家根据自身情况吸收。

数据分析师在工作中会遇到什么难题？

数据分析师，一个名字听起来高大上的职业，其实苦逼程度不亚于代码人员。那么，数据分析师在工作中经常会遇到什么样子的难题呢？

1）数据质量差

作为舆情数据分析师，有时需要向技术提取需求，对符合某个关键词的全网舆情进行爬取。满怀希望地把需求提了出去，但有时数据质量并不如你想的那么完美。譬如。你想分析的是全网渠道分布，但是因为某些原因，最终得到的数据并不符合传统的认知。也就是说，这个维度而言，数据是废的。

这个时候怎么办呢？编么？并不是，这时候你可能就需要重新思考为什么会造成这样的问题，如果说问题没有办法找出的话，那只能找其他维度进行分析，或者找其他数据进行印证分析。

当然，数据质量差并不这么简单，有时数据缺失很严重，有时数据某个维度有歧义等。而这个时候，就需要你一遍又一遍的进行数据清洗。

2）数据需求多变

数据分析师有时接到的需求并不是一成不变的，可能在你分析的过程中，数据需求就会发生变化。好的情况，你可能仅需要修改一点点就可以满足需求。但是更多的是，推到重来，这就相当于浪费了你之前的工作量了。

3）数据得不到有价值的信息

更让人绝望的其实是你分析了多种维度，交叉了各种情况。但，最后发现，得到的结论并不能支撑某些结论，更甚者，还会阻碍你的结论。例如有一次，我想分析SEO的价值比SEM的价值高，但是试过多种维度之后，我惊异的发现SEM的价值反而更高，我当时的内心就是一万只***崩腾而过。

最容易碰到的问题就是自己分析的数据不准确，导致辛苦了半天，分析出来的结果不具备参考价值，甚至都是错误的。

作者：吴彬彬

我们在生活中，会经常听说两种推理模式，一种是归纳 一种是演绎，这两种思维模式能够帮助数据分析师完成原始的业务逻辑积累，在此基础上快速定位业务问题，提升分析效率，但是对于刚入门的数据分析师，在项目经验不足的前提下，如何快速完成项目的分析报告？ 这里引进一种外展推理的思维模式，方便入门分析师的完成日常的工作。

那什么是外展推理模式呢？

在麦肯锡思维模式中它将人的推理过程涉及的实体分为三个部分：规则，情况以及结果。

规则: 通常是对这个世界的看法；情况：就是这个世界存在的已知事实；结果：将规则用于情况，预期要发生的事儿。

这三个任何一个实体都可以作为推理的起点，然而起点不同意味着，推理的方法也有所差异。

以规则为起点的推理方法可以称之为演绎推理。

举个例子，如果平时不努力，考试成绩将不及格(规则)；现实中a平时不努力(情况)；所以a考试不及格(结果)。

以情况为起点的推理方法就是归纳推理。

a平时不努力(情况)；a考试不及格(结果)；所以a考试不及格的原因可能是平时不努力。

以结果为起点的推理方法就是外展型思维方法。

a考试不及格(结果)，考试不及格通常是由于平时不努力(规则)，检查是否平时不努力(情况)。

从日常工作中，我们可以发现，外展推理的思维模式十分切合日常数据分析师的多维分析定位原因的工作模式，是数据分析师尤其是入门数据分析师最应该具备的一种思维逻辑，那如何进行外展推理呢？外展推理用大白话来说就是强迫自己思考产生问题的各种可能原因，之后的重点就是收集资料，以证明是这些原因或不是这些原因。在工作过程中MECE结构化分解是主要手段，按日常的工作可以简化如下三个流程：

将所思考的问题的相关因素全部罗列出来。对所有相关的因素进行层级和相关性比较，分离不同层级的因素，合并同一层级中相同的因素，确保各因素的独立性。按照正确的逻辑关系，把各因素进行排列组合。

如下图：我们可以将问题进行分解，分解的原则为

各部分之间相互独立 （Mutually Exclusive）所有部分完全穷尽 （Collectively Exhaustive）

在此基础上按层级进行数据分析定位，找到最细的原因。

在工作中，我们主要会用到的分解方法有这两种，

按业务职能结构划分，比如渠道，运营，功能等相关模块，将相关指标映射到主要模块，通过简单快速的沟通，能快速的定位问题原因，但是缺点是分析结果不够直接，依赖外部资源信息搜集。按因果结构划分（指标分解）营收=日活*付费率*arpu等指标因果关系进行划分，通过定位指标波动，定位最细指标，辅助维度下转，能够清楚的问题原因，该方式是较为稳妥的方式，是日常工作中的主要方式，但是缺点是需要构建相对完整的指标逻辑体系。

如上两种分解方法针对不同的项目要求进行组合应用，但是外部资源搜集及完整的指标逻辑体系训练是入门数据分析师到资深分析师最难跨越的两道门槛，在经过阶段训练后，逐步利用归纳和演绎的思维，提升业务熟悉程度，完成业务的初始积累后，后续的分析过程中就可以逐步减少拓展推理的层级及组合，逐步提升问题原因定位的效率。

网易有数：企业级大数据可视化分析平台。面向业务人员的自助式敏捷分析平台，采用PPT模式的报告制作，更加易学易用，具备强大的探索分析功能，真正帮助用户洞察数据发现价值。可免费试用。

原作者：Martin P Doyle

译者： FOFO

为了能够系统化地、高效地解决出现的任何问题，我们必须学会将这些问题分而治之。毕竟，知己知彼方是解决问题的首重至要。由此，我们才会发现解决之道就在其中。 而对于提高数据质量同样适用：每一个解决问题的方法都有不同的阶段与角度。

当一个数据质量改进程序在启动时，仅知道数据库中有多少错误计算或重复录入是远远不够的。不止于此，我们还需要知道不同类型的错误在收集的资源中是如何分配的。

据 Jim barker 一篇很有意思的博客所述，数据的质量被分解成两种不同类型。而在本文中，我会带领大家仔细区分这些“类型”有何不同，并且如何利用这些“类型”在开发预算中确保我们的优势资源放在何处。

数据类型

被誉为“数据博士”的Jim barker，借用了一个简单的医学概念来定义数据质量问题。 在他的博客中介绍了如何将这两种“类型”组合在一起，并且成功激发了那些一直纠结于找到在数据库中拉低数据质量的幺蛾子的数据分析师们的兴趣。

I 型数据质量问题我们可以使用自动化工具检测到。II型数据质量问题就非常隐秘了。大家都知道它是存在的，但它看不见摸不着，更处理不了，因为它需要放在特殊情境才能被检测到。

它们之间的区别简而言之可归纳为如下几点：

I型数据质量问题首先需要 “知其然” 才能来检测数据的完整性、一致性、唯一性和有效性。这些属性靠数据质量软件甚至手动很好地找到。你不需要有很多的背景知识，或者数据分析经验。只要按照4个属性验证它的存在，就可以判定它错误的。例如，如果我们在性别领域插入一个3，我们就可以判定它到底是不是一个有效值。

II型 数据质量问题需要 “知其所以然” 来检测时效性、一致性和准确性属性。需要研究能力、洞察力和经验，而不是简简单单就可以找得出来的。这些数据集经常从表面上看起来没有问题。但幺蛾子往往存在于细节中，需要时间去发现。Jim举的例子就是一份退休人员的雇佣记录。如果我们不知道他们早已退休的话，是看不出来这个数据是错的。

所以，解决这些数据质量问题的关键就是需要一个复杂的、战略化的方法，而非孤立的、片面的来看问题。一旦数据质量不好，我们就需要寻求自动化与人工的方式才能解决这个问题了，真可谓是“屋漏偏逢连夜雨”啊。

成本调整

所以，我们如何解决I型和II型数据质量问题呢？处理它们所花费的费用是可比的，还是完全不同的？

要记住重要的一点是，I型数据的验证问题可以在逻辑上定义，这意味着我们可以靠编写软件来查找并显示它。软件自动修复的速度快、成本低，甚至配合手动审查就可以完成。考虑到I型数据质量问题实际上是作为表格内字段型的验证，一旦解决了表格字段的问题，I型数据质量问题实际上也就解决了。

根据我们以往的经验： I型数据基本涵盖了80%的数据质量问题，但消耗了我们20%的经费成本。

第二类数据问题往往需要多方的输入，以便发现、标记和根除。虽然我们客户关系管理系统中的每个人都有购买日期，但购买日期可能不正确，或者与发票或发货清单不符。只有专家才能通过仔细核查其内容来解决问题并手动改进客户关系管理系统。

通常情况下，企业很难做到资源的合理分配，原因有二，特别是企业处于快速增长阶段；或者处于人才流失的时候。 你别看这些II类问题较少，可能仅占数据问题剩余的20%，但它们很有可能需要消耗超过80%的成本预算。 所以，如果当企业处于人才大量流失，却又对此无能为力的时候。你会发现第二类数据问题更难处理，因为人工解决的途径已不复存在了。

提高精确程度

为了提高数据的准确性，我们必须将I型和II型数据问题作为单独的，但同时存在的问题进行研究。I类型数据质量的挑战可以呈现快速获胜，但第II类问题提出了一个挑战，必须依靠人类的专业知识才可以解决。

随着时间的推移，数据库会超过使用期限。为保其时效性，这需要持续不断的努力。数据可以在数据库中进行清洗，或在使用阶段进行清理，但由于如导入/导出、损坏、手动编辑、人为导致错误等多种原因，仍然要注意I型错误的发生。第II类数据问题在这阶段自然而然地发生，因为就算数据经过验证和审查之后看起来正确，但对于现在来说仍有可能是不正确的，因为此时已非彼时，数据的使用环境改变了。

确保数据的完整

数据的完整会有助于我们观察整个事物的全貌并推动其对事物的决策。正如我们前面所说，发 现 I型数据质量问题是比较简单、廉价和快速的。但如果企业的工作业务还没有采用某种数据质量软件来解决I型数据质量问题的话，那现在也应该着手考虑了，因为这样才可能避免将来出现的资源浪费、损害品牌效应和来自大众的误解。

而对于第II类数据问题，关键是要理解它为什么会发生，并采取措施以防止它的发生。从日常工作中，处事的变通以及员工疏忽常导致数据的质量不佳。随着时间的推移，资源分配失当也会增加II型数据问题的增加。而改善它的费用也会成倍增加，因为你需要具备专家的眼光方能在茫茫的数据中找到它的存在。

其实，发现并解决这两类问题在当下已不是不可能的事了。会变得越来越容易。 很多数据质量供应商们也在不断寻找新的方法，相信在不远的将来，得到高质量的数据会变得越来轻松，越来越简单。

End.

原文链接：http://bigdata-madesimple/defining-data-quality-problems/

数据特工介绍

后台回复“特工”加入我们

道家强调四个字，叫“道、法、术、器”。

层次区别：

“器”是指物品或工具，在数据分析领域指的就是数据分析的产品或工具，“工欲善其事，必先利其器”；

“术”是指操作技术，是技能的高低、效率的高下，如对分析工具使用的技术（比如用Excel进行数据分析的水平）；

“法”是指选择的方法，有句话说“选择比努力重要”；

“道”是指方向，是指导思想，是战略。

在数据分析和产品、运营优化方面，数据分析方法是其核心，属于“法”和“术”的层次。

那么如何做好数据分析呢，今天我们来讲讲互联网运营中的十大数据分析方法。

01 细分分析

细分分析是分析的基础，单一维度下的指标数据的信息价值很低。

细分方法可以分为两类， 一类逐步分析， 比如：来北京市的访客可分为朝阳，海淀等区； 另一类是维度交叉， 如：来自付费SEM的新访客。

细分用于解决所有问题。

比如漏斗转化，实际上就是把转化过程按照步骤进行细分，流量渠道的分析和评估也需要大量用到细分的方法。

02 对比分析

对比分析主要是指将两个相互联系的指标数据进行比较，从数量上展示和说明研究对象的规模大小，水平高低，速度快慢等相对数值， 通过相同维度下的指标对比，可以发现，找出业务在不同阶段的问题。

常见的对比方法包括： 时间对比，空间对比，标准对比。

时间对比有三种： 同比，环比，定基比。

例如： 本周和上周进行对比就是环比；本月第一周和上月第一周对比就是同比；所有数据同今年的第一周对比则为定基比。通过三种方式，可以分析业务增长水平，速度等信息。

03 漏斗分析

转化漏斗分析是业务分析的基本模型， 最常见的是把最终的转化设置为某种目的的实现，最典型的就是完成交易。但也可以是其他任何目的的实现，比如一次使用app的时间超过10分钟。

漏斗帮助我们解决两方面的问题：

在一个过程中是否发生泄漏，如果有泄漏，我们能在漏斗中看到，并且能够通过进一步的分析堵住这个泄漏点。

在一个过程中是否出现了其他不应该出现的过程，造成转化主进程收到损害。

04 同期群分析

同期群（cohort）分析在数据运营领域十分重要，互联网运营特别需要仔细洞察留存情况。 通过对性质完全一样的可对比群体的留存情况的比较，来分析哪些因素影响用户的留存。

同期群分析深受欢迎的重要原因是十分简单，但却十分直观。 同期群只用简单的一个图表，直接描述了用户在一段时间周期（甚至是整个LTV）的留存或流失变化情况。

以前留存分析只要用户有回访即定义为留存，这会导致留存指标虚高。

05 聚类分析

聚类分析具有简单，直观的特征， 网站分析中的聚类主要分为：用户，页面或内容，来源。

用户聚类主要体现为用户分群，用户标签法；页面聚类则主要是相似，相关页面分组法；来源聚类主要包括渠道，关键词等。

例如： 在页面分析中，经常存在带？参数的页面。 比如： 资讯详情页面，商品页面等，都属于同一类页面。简单的分析容易造成跳出率，退出率等指标不准确的问题，通过聚类分析可以获取同类页面的准确数据用于分析场景。

06 AB测试

增长黑客的一个主要思想之一，是不要做一个大而全的东西，而是不断做出能够快速验证的小而精的东西。 快速验证，那如何验证呢？主要方法就是AB测试。

比如： 你发现漏斗转化中中间有漏洞，假设一定是商品价格问题导致了流失，你看到了问题-漏斗，也想出了主意-改变定价。但主意是否正确，要看真实的用户反应，于是采用AB测试，一部分用户还是看到老价格，一部分用户看到新价格，若你的主意真的管用，新价格就应该有更好的转化，若真如此，新价格就应该确定下来，如此反复优化。

07 埋点分析

只有采集了足够的基础数据，才能通过各种分析方法得到需要的分析结果。

通过分析用户行为，并细分为：浏览行为，轻度交互，重度交互，交易行为，对于浏览行为和轻度交互行为的点击按钮等事件，因其使用频繁，数据简单，采用无埋点技术实现自助埋点，即可以提高数据分析的实效性，需要的数据可立即提取，又大量减少技术人员的工作量，需要采集更丰富信息的行为。

如： 重度交互（注册，邀请好友等）和交易事件（加购物车，下订单等）则通过SDK批量埋点的方式来实施。

08 来源分析

流量红利消失，我们对获客来源的重视度极高，如何有效的标注用户来源，至关重要。

传统分析工具，渠道分析仅有单一维度，要深入分析不同渠道不同阶段效果，SEM付费搜索等来源渠道和用户所在地区进行交叉分析，得出不同区域的获客详细信息，维度越细，分析结果也越有价值。

09 用户分析

用户分析是互联网运营的核心， 常用的分析方法包括：活跃分析，留存分析，用户分群，用户画像，用户细查等。

可将用户活跃细分为浏览活跃，互动活跃，交易活跃等，通过活跃行为的细分，掌握关键行为指标；通过用户行为事件序列，用户属性进行分群，观察分群用户的访问，浏览，注册，互动，交易等行为，从而真正把握不同用户类型的特点，提供有针对性的产品和服务。

用户画像基于自动标签系统将用户完整的画像描绘清晰，更有力的支撑运营决策。

10 表单分析

填写表单是每个平台与用户交互的必备环节，优秀的表单设计，对转化率的提升起到重要作用。

用户从进入表单页面之时起，就产生了微漏斗，从进入总人数到最终完成并成功提交表单人数，这个过程之中，有多少人开始填写表单，填写表单时，遇到了什么困难导致无法完成表单，都影响最终的转化效果。

以上是常见的数据分析方法，更多应用方法需要根据业务场景灵活应用。