我觉得无论什么工作兴趣最重要，要做数据分析师最基本的就是不讨厌数字，如果你跟他讲那个指标是通过怎么样的乘除加减得到的，他会觉得不耐烦，那么显然他不适合做数据分析;如果对数据较敏感，能够一眼发现异常值，数据分布情况，当然是最好的。

再则就是逻辑性，可以让他试试爱因斯坦的那道经典的逻辑题，看看能否解出来，需要多久;逻辑思维对数据分析尤其重要，不然会被各种指标的定义规则、与业务的联系纠结死，逻辑思维好的人写SQL等数据处理脚本也会更加高效。

接着是业务理解能力，最简单的就是让他定义下网站的目标是什么，哪些指标可以作为KPI，用户从进入网站到达成网站目标的整个过程是怎么实现转化的，能否画出业务流程图。(宏观层面，不要深入细节)

如果偏技术则需要懂一些数据库结构和SQL，如果偏展现需要考验下对图表的掌控能力，什么时候用什么图表合适，甚至如何配色。

最后就是细心、耐心和交流能力，做数据分析有时会很纠结，细心和耐心是必需的，好的交流能力可以让数据分析师更好地阐述清楚各类问题。

这些都是比较基础的东西，也是短期难以培养起来的技能。至于另外业务相关的一些知识，可以通过培训获取，问一个未接触过你的网站业务的人一些业务知识其实有些不公平，其实如果具备上面几点，一旦熟悉网站和业务之后，一定会成为优秀的数据分析师。

——谷芬芬

专业内的要求基本就是对数据的意识和一些技能的掌握。下面具体说说从一些非专业内要求的方面出发，有哪些方面能表现这个人更适合数据分析。

首先是看到数据有兴奋感的人。有兴奋感说明你有兴趣，那说明很会有意愿把数据分析好。

其次是愿意学习的人。你分析的内容永远不会一尘不变，即使你分析的主题是相对固定，但业务是变化的，你需要不断的学习业务，同不同人沟通，吸收别人的观点。所以分析师一定要报着学习的态度。

然后是逻辑思维较强的人。数据分析师想要把你的分析好，一定要有结论思维。

还有就是较强的表达与沟通能力。因为数据分析最终价值的实现，一般来说不会是分析师亲自去制定或者实施。所以你一定很有条理、逻辑清晰向别人表达，让业务方认识到你分析结果的价值，从而影响业务方去愿意使用你从数据中得到的观点。

——欧阳帅

觉得还是应该先看清楚自己的未来的方向吧~

我有不少朋友 非数学/计算机/统计学 专业毕业的朋友走的是这个方向，数据相关，非技术路线，更偏向于市场方向，对技术的要求只是Excel、PPT，最多要求SPSS，很少要求会写SQL。这条路线看起来比较高大上，可以走外企路线。

数据分析师方向，很多读数学、统计学、计算机的童鞋会选这个方向，终极目标都是成为数据中心的负责人。中间有2个分叉，一条是从数据分析师到数据产品经理，这个路线最近很流行，主要是结合了数据分析和产品经理的能力。一条是高大上一点的数据挖掘方向，这条路线要求比较高，但薪资也高。当然能走数据挖掘路线是很多数据分析师的梦想，但算法和代码实现能力不是谁都能掌握的。.

根据你自己想走的路，加上自己的技能点。

——张锦华

想了解更多相关内容，记得持续关注我们哦。

如果你觉得有点意思，请有秩序的评论、转发、收藏。

说到数据分析，其实很简单，就是找到问题、来解决问题。在做SEM数据分析之前，首先要了解数据，为什么要分析数据？通过数据分析可以获得什么？

因此，正常的数据分析过程应该是：确定分析的目的→收集所需的数据→组织数据→分析数据→获得优化意见。

数据是我们调整账户的基础。对于刚入门的竞价员来说，数据分析很难理解。由于关键字报告、创意报告、搜索词报告、对话词报告、转化词报告中的出价数据太多，新手常常不知道怎么开始，此时你需要冷静下来，整理每个报告，过滤并查找有效数据以进行比较。

管理过这么多账户，凭借我们团队的经验，今天以快速掌握SEM数据分析进行讲解。

首先，您需要了解SEM数据名词的含义。点击率是多少？转化率是多少？跳出率是多少？等一系列技术术语，例如帐户点击率下降，您需要清楚地知道哪些因素会导致点击率下降，接下来应该做什么;调整帐户后，您必须清楚地知道哪些数据会发生变化，否则一切都是浪费时间。以下是两个月教育行业的数据案例。

整理后，复杂的数据将变得清晰。经验丰富的SEMer将知道对上图所示账户进行了哪些调整：这组数据是典型的流量不精准分析图，根据公司政策调整减少消费，平移展现下降、点击下降、对话下降、这些都是正常的数据范围，但是我们消费的下降，应该降低我们的转化成本，这组数据中我们的转化成本并没有降低，反而高出了1块钱，这就说明我们在降低消费时，没有控制我们的精准流量进来，还是以泛流量的方式进行优化账户，（当然这组数据的转化成本是指精准客户转化不是所有的转化成本）这就造成我们降低消费的同时没有一个合理的优化方案去优化账户。

在数据分析中定义成功已经有一段时间了。大约两年前，我试图在院长讲座的中探讨这个问题，但最终我认为我错过了这个标记。在那次演讲中，我试图找出标准（我称之为“美学”），通过这些标准，我们可以普遍地评估数据分析的质量，并尝试与音乐理论进行类比。这是一次有趣的谈话，部分原因是因为我必须扮演查尔斯艾夫斯的第二交响曲。

根据我的经验，统计学家不会非常讨论这个话题。这要么是因为它是如此愚蠢，以至于每个人都对它有一个（未说出口的）理解，或者每个人对它有一点点不同的理解，或者没有人理解它。无论哪种方式，在我作为统计学家近二十年的时间里，我认为我没有与任何人就数据分析的成功进行多次深入的对话。我讨论过话题这个最多的的的英文关于与希拉里帕克的非标准偏差，这是一个经常谈话的话题。最近，希拉里发表了一篇关于这个主题的演讲，所以我受到启发，写了一些东西。

我想我已经解决了以下数据分析成功的定义，即：

如果呈现它的受众接受结果，则数据分析是成功的。

这里有很多要解开的东西，所以我会介绍它们。我认为重要的两个关键概念的英文接受状语从句：观众的概念。

验收

第一个想法是接受的概念。将这与信仰混淆是很诱人的，但它们是两个不同的概念需要保持分离（尽管有时可能很难）。接受分析涉及分析本身 - 应用于其的数据和方法，以及解释结果的叙述。对结果的信任取决于分析本身以及分析之外的许多其他事情，包括先前的分析，现有文献和科学状态负责任的受众可以接受分析而不必相信其主要主张，但这两个概念可能是相关的。

例如，假设贵公司的一个团队设计了一个实验来收集数据，以确定降低窗口小部件的价格是否会对您的小部件制造公司的利润产生影响。在数据收集过程中，出现了一个问题，导致某些数据以潜在的信息方式丢失。然后将数据交给您。您可以通过多种插补或其他调整方法尽力解决缺失和由此产生的不确定性。在一天结束时，您向我展示分析并得出结论，降低小部件的价格将使利润增加3倍。我可能会接受您正确地进行了分析，并相信您已尽最大努力解决使用最先进方法在收集过程中遇到的问题。但我可能不同意这个结论，部分是因为缺少数据引入的问题（不是你的错），也部分是因为我们之前降低了我们销售的另一种产品的价格，并且没有相应的利润增长。考虑到进行实验的巨大成本，我可能最终决定放弃尝试修改小部件的价格并将其保留在原来的 位置（至少目前为止）。分析取得了成功。

这个简单的例子说明了两件事。首先，分析接受主要取决于分析的细节以及我是否愿意相信分析师所做的事情。丢失的数据是否占了？是否适当提出了不确定性？我可以推断数据并理解数据如何影响结果吗？其次，对我的查询查询结果信念部分取决于分析之外的事情，这些事情主要在分析师的控制范围之外。在这种情况下，这些是收集过程中缺少数据的存在以及降低不同产品价格的完全独立的体验。在您的分析中，我如何权衡这些外部事物是个人偏好。

验收与有效性

在科学背景下，考虑有效性的英文很有诱惑力的。在这里，如果声明是真的，则数据分析是成功的。如果我分析有关吸烟习惯和死亡率的数据，并得出吸烟导致肺癌的结论，那么如果这种说法属实，那么我的分析是成功的。该定义的优点在于它消除了接受的主观因素，这取决于呈现分析的受众。但是对于任何给定的分析来说，有效性是一个非常高的标准。在这个吸烟的例子中，吸烟和死亡率数据的初步分析直到完成几十年才被认为是成功的。大多数科学结论要求独立调查人员和分析人员在社区认为或得出结论认为是真实的情况下，多年来会发生多次重复。让数据分析师陷入困境这么长时间似乎不切实际，坦率地说，不公平。最后，只要我们认为他们做得很好，我认为我们不想惩罚数据分析师做出的结论是错误的。这些说法是否真实可能取决于他们无法控制的事情。

相关的分析标准本质上是内在有效性的概念。我们不是等到我们能够验证分析声明（可能是几十年后），我们可以通过正确或最好的方式评估分析方法已经完成，并采用了正确的方法。但这种方法至少存在两个问题。在许多情况下，不可能知道什么是最好的方法，或者什么是应用方法的最佳组合，这表明在许多分析中，我们不确定成功。这似乎相当不令人满意，最终不切实际。想象一下，聘请数据分析师并对他们说：“在你做的绝大多数分析中，我们都不会知道你是否成功。”其次，即使在理想情况下，我们知道什么是正确的或最好的，内在的有效性是必要的，但远远不够。这是因为上下文其中进行的分析对于理解什么是合适的是至关重要的。如果分析师不了解这种情况，他们可能会从分析和解释的角度出现重大错误。但是，同样的错误在不同的背景下可能是无害的。这一切都取决于，但分析师需要知道差异。

我想到的一个故事来自乔治·W·布什在2000年美国总统大选中对戈尔的选举胜利。这次选举取决于佛罗里达州的选票，布什和戈尔非常接近。最终，提起诉讼并进行了一次审判，以确定计票的确切方式。统计学家被要求为布什和戈尔作证。为戈尔团队作证的统计学家是前耶鲁大学的尼古拉斯·亨纳特纳（当我在那里时，他是我的本科顾问）。Hengartner对戈尔团队给他的数据进行了彻底的分析，并得出结论，佛罗里达州的选票数量存在差异，而且一些选票数量不足。但是，在盘问时，布什的律师能够在“陷阱”时刻抓住Hengartner，这最终与收集数据的方式有关，关于Hengartner一直没有意识到的数据。分析是否成功？没有直接参与就很难说。没有人质疑Hengartner在分析中使用的方法，这在很大程度上都是一个非常简单的分析。因此，人们可以说它具有内在的有效性。然而，人们也可以争辩说他应该知道如何收集数据（也许是更广泛的背景）的问题，并将其纳入他的分析和向法院提交。Hengartner的分析只是提出的一系列证据中的一个，因此很难说它在最终结果中扮演了什么角色。

听众

所有数据分析都有受众，即使您是这样的受众。最终，观众可能会接受分析结果，或者他们可能无法接受，在这种情况下，可能需要进行更多分析。分析师的成功可能取决于与分析师不同的人可能会让一些人觉得不舒服。但是，我认为这是所有数据分析的现实。不幸的是，成功取决于人类，这是分析师必须准备好应对的事情。认识到人性在决定数据分析的成功中起着关键作用，这解释了我们可能认为是好的或坏的分析的一些关键方面。

叙事的作用

数据分析应该是关于数据的，对吧？只是事实？在大多数情况下，直到您需要将您的发现传达给观众。问题在于，在任何对他人有意义的数据分析中，只有太多的结果要呈现，因此必须做出选择。根据受众的身份或受众群体的构成，您需要调整演示文稿，以便让受众接受分析。这是怎么做到的？这有两个极端。

在最糟糕的情况下，它是通过欺骗完成的。带有混乱轴的图形或模糊关键数据的表格; 我们都知道恐怖故事。复杂的观众可能会发现这种诡计并拒绝分析，但也许不会。那就是说，让我们假设我们是纯洁的。如何组织演示才能成功？我们都知道另一个恐怖故事，即数据转储。在这里，分析师展示了他们所做的一切，并基本上将解释的负担转移给了观众。很少这是理想的。在某些情况下，观众只希望数据进行自己的分析，但分析师不需要浪费时间进行任何分析。

最终，必须分析师选择要呈现的内容，这可能会导致问题。必须做出选择以适应分析师关于“数据发生了什么”的叙述。他们会选择包括一些情节而不是其他情况和一些表格而不是其他表格。这些选择由叙述和数据解释指导。当观众对数据分析感到不安并且他们是诚实的时候，他们通常会对选择的叙述感到不满，而不是事实本身。他们会对分析师选择包含的数据分析师状语从句：选择排除的数据的组合感到不满。你为什么不把这些数据包括在内？为什么这个叙事如此集中于这个或那个方面？

创造力的作用

在一个极端情况下，可以认为数据分析师应该很容易被机器取代。对于各种类型的数据和各种类型的问题，应该有一种确定性的分析方法，改变不会据同性质的，这可以被编码到计算机程序中，并且每次都可以将数据馈送到程序中，最后呈现结果。每个数据分析是如此不同以至于需要人来制定解决方案？“创造力”和“数据分析”这两个词怎么能出现在同一个句子里呢？

嗯，每个分析都是不同的，这是不正确的。例如，许多功率计算是相同的。但是，究竟如何使用这些功率计算可能会因项目而异。即使是相同研究设计的相同计算也可以在不同项目中进行不同的解释。其他类型的分析也是如此，例如回归建模或其他更奇特的建模。在数据分析中需要创造力的原因必须从根本上解决我们传统上认为在数据“外部“的事情。

观众是“外部数据”和影响力的一个关键因素是如何，我们分析数据并呈现结果。一种有用的方法是考虑需要生产什么样的最终产品，然后从那里向后工作以产生结果。例如，如果“观众”是另一种算法或程序，那么输出的确切性质可能并不重要，因为它可以适当地馈送到管道的下一部分。特别是，可解释性可能不会那么重，因为没有人会关注这部分的输出。但是，如果一个人会在查看结果时，您可能希望专注于一种建模方法，该方法可让该人推理数据并了解数据如何通知结果。例如，您可能想要绘制更多的数据图，或者如果数据集不是那么大，则显示详细的表。

在一个极端情况下，如果受众是另一个数据分析师，您可能希望进行相对“轻松”的分析，然后以这样的方式准备数据，以便可以轻松地将其分发给其他人进行自己的分析。这可以是R包或CSV文件或其他形式。其他分析师可能不关心你的幻想可视化或模型; 他们宁愿拥有自己的数据并制作自己的结果。

部分原因是需要创造力，因为数据分析师必须对受众的需求，背景和接收数据分析结果的偏好进行合理评估。如果分析师可以访问受众，分析师应该询问有关如何最好地呈现结果的问题。否则，必须做出合理的假设，或者为演示文稿本身准备意外事件（例如备份幻灯片，附录）。

“不一致”的结果

很多时候，我有过为两个不同的观众提供相同演示文稿的经验。一个观众喜欢它而另一个喜欢它。如果两种情况下的分析和表述完全相同，怎么可能呢？事实是，不同的受众可以接受或拒绝分析，具体取决于他们是谁以及他们的期望是什么。一个常见的场景是向“内部人士”做一个演讲，他们非常熟悉该领域的背景和标准实践。将该演示文稿逐字地呈现给不熟悉的“外部”观众通常会导致失败，因为他们无法理解正在发生的事情。如果外部受众希望将某些程序应用于数据，那么他们可能会要求您执行相同的操作，并拒绝接受分析，直到您这样做为止。

我清楚地记得我曾经介绍过一些我曾经做过的空气污染和健康数据分析的经历。在实践中，与我自己的小组进行的谈话一切顺利，我认为事情已经相当完整。当向外部小组发表同样的谈话时，他们拒绝接受我所做的（甚至解释结果），直到我还使用不同类型的样条模型进行单独的分析。这不是一个不合理的想法，所以我做了单独的分析，并且在同一组的未来事件中，我并排地提出了两个分析。他们对结论并不满意，但辩论不再集中在分析本身，而是集中在其他科学方面。回想起来，即使他们不一定相信结论，我还是接受了分析。

概要

我认为我提出的成功数据分析的定义具有挑战性（并且可能令人不安），因为它表明数据分析师负责数据之外的事情。特别是，他们需要了解收集数据的背景以及将呈现结果的受众。我也认为这就是为什么我花了这么长时间来解决它。但我认为这个定义更清楚地解释了为什么成为一名优秀的数据分析师的英文如此困难。当我们考虑使用统计学家开发的传统标准进行数据分析时，我们很难解释为什么有些人比其他人更好的数据分析师以及为什么有些分析比其他人好。但是，当我们考虑数据分析师必须兼顾数据的内部和外部各种因素以取得成功时，我们会更清楚地看到为什么这是一项如此艰巨的工作以及为什么好人很难得到。

数据分析成功定义的另一个含义是，它表明人性起着重要作用，而且许多成功的数据分析本质上是人类关系的成功谈判。与使用线性模型或二次模型相比，与受众的良好沟通往往在成功中发挥更大的作用。当分析师必须选择要呈现的内容和省略的内容时，分析师和受众之间的信任至关重要。承认人性在数据分析中发挥作用是困难的，因为人类是高度主观的，不一致的，并且难以量化。但是，我认为这样做可以让我们更好地了解如何判断数据分析的质量以及如何在将来改进它们。

PS：网舟科技长期专注于金融保险、通信、航空、互联网、旅游酒店...

指标与维度是数据分析中最常用到的术语，它们非常基础，但很重要，只有掌握理解了，才能更好的开展数据分析工作。

1、指标

指标，用于衡量事物发展程度的单位或方法，它还有个常用的名字，度量。例如：人口数、GDP、收入、用户数、利润率、留存率、覆盖率等。很多公司都有自己的KPI指标体系，就是通过关键指标来衡量公司业务运营情况。

指标需要经过算法实现，并且是需要在一定的前提条件进行汇总计算，如时间、地点、范围，即常说的统计口径与范围。

指标可以分为绝对数指标和相对数指标，绝对数指标反映的是规模大小的指标，如人口数、GDP、收入、用户数，而相对数指标主要用来反映质量好坏的指标，如利润率、留存率、覆盖率等。我们分析一个事物发展程度就可以从数量跟质量两个角度入手分析，以全面衡量事物发展程度。

2、维度

维度：是事物或现象的某种特征，用来衡量程度的好与坏。如性别、地区、时间等都是维度。

其中时间是一种常用、特殊的维度，通过时间前后的对比，就可以知道事物的发展是好了还是坏了，如用户数环比上月增长10%、同比去年同期增长20%，这就是时间上的对比，也称为纵比;

另一个比较就是横比，如不同国家人口数、GDP的比较，不同省份收入、用户数的比较、不同公司、不同部门之间的比较，这些都是同级单位之间的比较，简称横比;

维度可以分为定性维度跟定量维度，也就是根据数据类型来划分，数据类型为字符型数据，就是定性维度，如地区、性别都是定性维度;数据类型 为数值型数据的，就为定量维度，如收入、年龄、消费等，一般我们对定量维度需要做数值分组处理，也就是数值型数据离散化，这样做的目的是为了使规律更加明 显，因为分组越细，规律就越不明显，最后细到成最原始的流水数据，那就无规律可循。

只有通过事物发展的数量、质量两大方面，从横比、纵比角度进行全方位的比较，我们才能够全面的了解事物发展的好坏。

其实在实际数据分析的过程中也参照以上思想。通过大量的数据分析软件工具应用可以发现，主要包括以下内容：

整体情况分析和汇总：全局数据的概况、变化趋势、占比等多维度分析：如果是日志数据，已经存在多个数据项，以某一个数据项作为主关键词汇总分析，同比、环比变化，占总数的变化。如果没有日志数据，则需要想清楚解决这个问题原因是什么?需要采集哪些数据项?重要场景问题分析:根据分析的重要问题、用户关心的问题进行分析软硬件性能管理：告警管理、报表管理、基础参数配置和用户管理等

前沿技术普及系列·写在前面

不知道大家有没有和象牙妹儿一样的感觉，就是最近1年很多AI产品铺天盖地的来到了我们的生活，比如某些家的智能陪伴音响、翻译棒、智能机器人、AR拍照手机等等。

这里面背后的前沿技术大数据、云计算、区块链、物联网、 5G、数字化…前几年甚至现在听着还很遥远，却已有不少在冲击着商业的世界，渗透进我们的生活！

如何拨开层层浓雾，抵达未来的彼岸？如何把握技术的钥匙，启开未来商业世界的大门!

大象互联网圈发起主办的第二届中国【郑州】开发者大会不但关注技术·商业的融合，也关注着前沿技术的分享。

因此，从今天起，大象互联网圈公众号将目光聚焦在大数据、云计算、物联网IOT、人工智能AI、区块链、VR/AR等板块，一一从概念层、目前行业发展状况、企业实际应用层、技术层、岗位前景等为大家带来干货的普及，快来和象牙儿妹一块围观吧！

本文由“壹伴编辑器”提供技术支持

正文

如果你说大数据就是数据大，或者侃侃而谈4个V，也许很有深度的谈到BI或预测的价值，又或者拿Google和Amazon举例，技术流可能会聊起hadoop和Cloud Computing，不管对错，只是无法勾勒对大数据的整体认识，不说是片面，但至少有些管窥蠡测，也许“解构”是最好的方法。

首先，大数据就是互联网发展到现今阶段的一种表象或特征而已，没有必要神话它或对它保持敬畏之心，在以云计算为代表的技术创新大幕的衬托下，这些原本很难收集和使用的数据开始容易被利用起来了，通过各行各业的不断创新，大数据会逐步为人类创造更多的价值。

其次，想要系统的认知大数据，必须要全面而细致的分解它，本系列文章我们着手从概念、技术、实践三个层面来展开，本篇文章我们先介绍概念层。

本文由“壹伴编辑器”提供技术支持

大数据的定义

大数据（Big Data）概念是1998年由SGI首席科学家John Masey在USENIX大会上提出的。他当时发表了一篇名为Big Data and the Next Wave of Infrastress的论文，使用了大数据来描述数据爆炸的现象。但大数据真正得到业界关注，则是其后多年的事情了。

大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

本文由“壹伴编辑器”提供技术支持

大数据的分类

互联网上的大数据很难清晰的界定分类界限，我们先看看BAT的大数据：

百度拥有两种类型的大数据：用户搜索表征的需求数据；爬虫和阿拉丁获取的公共web数据搜索巨头百度围绕数据而生。阿里巴巴拥有交易数据和信用数据。这两种数据更容易变现，挖掘出商业价值。除此之外阿里巴巴还通过投资等方式掌握了部分社交数据、移动数据，如微博和高德。

腾讯拥有用户关系数据和基于此产生的社交数据。这些数据可以分析人们的生活和行为,从里面挖掘出政治、社会、文化、商业、健康等领域的信息，甚至预测未来。

在信息技术更为发达的美国，除了行业知名的类似Google，Facebook外，已经涌现了很多大数据类型的公司，它们专门经营数据产品，比如：

Metamarkets：这家公司对Twitter、支付、签到和一些与互联网相关的问题进行了分析，为客户提供了很好的数据分析支持。

Tableau：他们的精力主要集中于将海量数据以可视化的方式展现出来。Tableau为数字媒体提供了一个新的展示数据的方式。他们提供了一个免费工具，任何人在没有编程知识背景的情况下都能制造出数据专用图表。

ParAccel：他们向美国执法机构提供了数据分析，比如对15000个有犯罪前科的人进行跟踪，从而向执法机构提供了参考性较高的犯罪预测。他们是犯罪的预言者。

QlikTech：QlikTech旗下的Qlikview是一个商业智能领域的自主服务工具，能够应用于科学研究和艺术等领域。为了帮助开发者对这些数据进行分析，QlikTech提供了对原始数据进行可视化处理等功能的工具。

本文由“壹伴编辑器”提供技术支持

大数据的4V特征

即Variety(多样化)、Volume(大量化)、Velocity（快速化）、Value(价值密度低)。如下图所示。

其中，Variety表示来源多和格式多，数据可以来源于搜索引擎、社交网络、通话记录、传感器等等，这些数据要么以结构化形式存储，要么以非结构化数据存储；Volume表示数据量比较大，从TB级别，跃升到PB级别。

尤其是在移动互联时代，视频、语言等非结构化数据快速增长；Velocity表示数据存在时效性，需要快速处理，并得到结果出来，这一点也是和传统的数据挖掘技术有着本质的区别；Value表示大量不相关信息，不经过处理则价值较低，属于价值密度低的数据。

本文由“壹伴编辑器”提供技术支持

大数据处理流程

都有以下几个过程：数据采集、数据清洗、数据建模、数据加工、数据展现。如下图所示。

举个例子，做饭通常都要包括“买菜~洗菜~配菜~炒菜”这几个必须环节，无论你是开饭店还是家里一日三餐，做饭的规模大小会有不同，但流程却是一样的。而这几个环节其实正好对应了数据人的日常工作内容：买菜（数据采集）~洗菜（数据清洗）~配菜（数据建模）~炒菜（数据加工）-上菜（数据展示）。

在大数据时代，由于数据种类多，数据大，从结构化的数据到非结构化的数据，数据采集的形式也变得更加复杂而多样。

当存储技术的发展变得步履蹒跚，赶不上数据发展的速度时，分布式存储成为了必然选择，非结构型数据也对存储格式提出了新的要求。

层出不穷的数据源也使得数据量产生了井喷似的迅猛增长。此时分布式存储与NoSQL的诞生回应了这样的需求，解决了大数据存储的根本难题。

本文由“壹伴编辑器”提供技术支持

大数据思维

关于大数据思维即我们该如何去理解大数据，十余年潜心研究数据科学的技术权威维克托·迈尔-舍恩伯格认为要注意三点：

需要全部数据样本而不是抽样关注效率而不是精确度关注相关性而不是因果关系。

阿里巴巴的王坚对于大数据也有一些独特的见解，比如：

今天的数据不是大，真正有意思的是数据变得在线了，这个恰恰是互联网的特点非互联网时期的产品，功能一定是它的价值，今天互联网的产品，数据一定是它的价值你千万不要想着拿数据去改进一个业务，这不是大数据，你一定是去做了一件以前做不了的事情

特别是最后一点，我是非常认同的，大数据的真正价值在于创造，在于填补无数个还未实现过的空白。

有人把数据比喻为蕴藏能量的煤矿。煤炭按照性质有焦煤、无烟煤、肥煤、贫煤等分类，而露天煤矿、深山煤矿的挖掘成本又不一样。与此类似，大数据并不在“大”，而在于“有用”，价值含量、挖掘成本比数量更为重要。

本文由“壹伴编辑器”提供技术支持

大数据的价值

如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。

Target 超市以20多种怀孕期间孕妇可能会购买的商品为基础，将所有用户的购买记录作为数据来源，通过构建模型分析购买者的行为相关性，能准确的推断出孕妇的具体临盆时间，这样Target就可以有针对的在每个怀孕顾客的不同阶段寄送相应的产品优惠卷。

Wal-Mart作为零售行业的巨头，他们的分析人员会对每个阶段的销售记录进行了全面的分析，有一次他们无意中发现虽不相关但很有价值的数据，在美国的飓风来临季节，超市的蛋挞和抵御飓风物品竟然销量都有大幅增加。

于是他们做了一个明智决策，就是将蛋挞的销售位置移到了飓风物品销售区域旁边，看起来是为了方便用户挑选，但是没有想到蛋挞的销量因此又提高了很多。

这些例子真实的反映在各行各业，探求数据价值取决于把握数据的人，关键是人的数据思维；与其说是大数据创造了价值，不如说是大数据思维触发了新的价值增长。

未来在大数据领域最具有价值的是两种事物：1-拥有大数据思维的人，这种人可以将大数据的潜在价值转化为实际利益；2-还未有被大数据触及过的业务领域。这些是还未被挖掘的油井，金矿，是所谓的蓝海。

本文由“壹伴编辑器”提供技术支持

大数据的风险

提到大数据人们生活造成的干扰，你或许对隐私泄露早有耳闻。当你在不同的网站上注册了个人信息后，可能这些信息已经被扩散出去了。

当你莫名其妙的接到各种邮件，电话，短信的滋扰时，你不会想到自己的电话号码，邮箱，生日，购买记录，收入水平，家庭住址，亲朋好友等私人信息早就被各种商业机构非法存储或贱卖给其它任何有需要的企业或个人了。

更可怕的是，这些信息你永远无法删除，它们永远存在于互联网的某些你不知道的角落。除非你更换掉自己的所有信息，但是这代价太大了。

目前，中国并没有专门的法律法规来界定用户隐私，处理相关问题时多采用其他相关法规条例来解释。但随着民众隐私意识的日益增强，合法合规地获取数据、分析数据和应用数据，是进行大数据分析时必须遵循的原则。

因此在大数据的背景下，很多人都在积极的抵制无底线的数字化，这种大数据和个体之间的博弈还会一直继续下去……

专家给予了我们一些如何有效保护大数据背景下隐私权的建议：

减少信息的数字化隐私权立法数字隐私权基础设施（类似DRM数字版权管理）人类改变认知（接受忽略过去）创造良性的信息生态语境化。

本篇关于大数据的理论层面分析就介绍到这，下一篇我们将对大数据价值体现的手段和前进的基石——大数据技术深入进行展开分析。

END

第二届中国【郑州】开发者大会

线上报名通道全面开放

本次大会将开设从数字化到大数据落地专场，现已开放报名通道，门票分为免费票和VIP票两种，其中VIP票权益非常丰富，票价为199元且仅限200张，下面是两种票的权益对比：

引言

在过去几年中在公司经营中使用数据分析方法已经取得了重要的进展，有多家公司在数据分析的帮助下，提高了业务绩效。

Analytics（分析）不仅可以帮助公司从过去的复盘中吸取教训，也可以对未来有一个前瞻性的判断，并据此对将来可能发生的状况做好准备。

使用分析，公司可以找到三个主要问题的答案：“发生了什么”，“发生了什么”和“会发生什么”。分析不仅限于从过去得出见解，还可以预测未来的成果，并优化业务资源。因此，更先进的分析形式——预测和规范性在支持组织的决策需求方面已经变得更为重要。

在本文中，我解释了三种主要的分析模型。

正文

那么，不同类型的分析模型的本质区别是什么呢？

1、描述性分析

我们从最基本的分析类型开始，即描述性分析。描述性模型的目的是分析历史趋势，找出相关模式，以获得人口行为的见解。描述性分析涉及到找到“发生了什么事”的答案，它是组织日常运作中最常用的分析形式，通常也是最简单的。

描述性模型使用基本的统计学和数学技术来推导突出历史趋势的关键绩效指标。该模型的主要目的不是估计价值，而是获取对潜在行为的洞察。用于描述性分析的常用工具包括MSExcel，SPSS和STATA。

一个典型例子就是银行业的客户细分——通过发掘历史数据来分析客户的支出模式和钱包份额，从而实现有针对性的营销和销售方法。这些模型是描述人口的强大工具，但是对于个体用户的行为预测能力有限。

2、预测分析

预测分析使用统计建模来确定未来结果或情况发生的可能性，目的在找到“可能发生什么事情”的答案。

预测模型建立在描述性模型上，因为它不仅使用历史数据作为决策的主要依据，也使用来自各种来源的结构化和非结构化数据。它使决策者能够做出明智的决定，提供事件未来发生可能性的压缩性记录。包含各种先进的统计模型和复杂的数学概念，如随机森林、GBM、SVM、GLM、博弈论等。

预测模型建立在描述性模型的基础上，以预测未来行为。然而，与仅描述人口的描述性模型不同，预测模型侧重于预测单个客户行为。

用于运行预测模型的工具根据模型复杂性的不同而不同，常用的工具有RapidMiner、Python、SAS、Matlab、DataikuDSS等。有关使用这些工具的在线资源可以在Coursera上找到。

一个典型的例子是银行业高级的竞争分析。它可以帮助客户预测响应给定的营销报价来改善产品的交叉销售和销售的可能性。另一个例子是预测信用卡欺诈的可能性。

3、规范性分析

规范分析是最复杂的分析类型，它使用随机优化和模拟来探索一组可能的选项，并为特定情况推荐最佳的操作。它涉及到找到“应该做什么”的答案。

规范性模型超出了只能解决正在发生的事情的描述性模型，也超出只能说明会发生什么的预测模型，因为规范性模型通过预测明确在未来应该做什么。他们量化未来行动对关键业务指标的影响，并提出最佳行动方案。

规范性模型对大数据和业务规则综合使用复杂算法，以比较多种行为的可能结果，并选择最佳的行动来推动业务目标。先进的规范模型遵循模拟过程，模型会不断自动从当前数据中学习，以提高其智能化。

这些模型通常是很复杂的，因此被一些难以管理的大型公司所使用。如果正确实施，可能会对公司的决策有效性产生重大影响，从而对公司的决策效果产生重大影响。

也就是说，超级计算机，云计算，HadoopHDFS，Spark，数据库处理，MPP架构等技术进步使得使用结构化和非结构化数据的复杂规范模型的部署变得更加容易。然而，用于运行规范性模型的工具大多与预测模型相同，需要高级数据基础架构功能。

一个常见例子是银行各分行销售人员的最佳配置。结合地理位置信息与每个分支机构的业绩和潜力，该模式可以规定所有分支机构的销售人员的最优配置。

航空机票定价系统采用的是更为复杂的规范建模方法，根据旅行要素，需求水平，采购时间等优化机票价格，最大限度地提高利润率，同时不影响销售。

根据一项研究，目前约有10％的组织采用某种形式的规范性分析，同时这一数字将从2014年的3％上升到2020年的35％。

结语

在本文中，讨论了当前使用的三种不同版本的分析方法。这些是全球分析行业的基石。可以公平地说，使用数据制作的所有模型，发展和发现都可以分为这三类。

你说是个笑话也可以，但是确实说明了一个道理！

一个哥们，有次聚会时说自己买了很多条iphone数据线，家里每个房间插一条，走到哪儿都能随时充电·····

在场的姑娘们都当成是段子笑笑就过去了，只有一个细心的姑娘悄悄问他买了多少条，他说：42条！

现在她和他在北京三环内总共42个房间的数套豪宅里愉快地生活，已定好日子：下个月结婚！

这，就是数据分析！

如果你是她，你会反问他吗？如果你是他，你会理解她对数据的分析吗？

1.什么是数据分析？

数据分析的目的是把隐藏在一些看似杂乱无章的数据背后的信息提炼出来，总结出所研究对象的内在规律。在实际工作中，数据分析能够帮助管理者进行判断和决策，以便采取适当策略与行动。比如：企业的高管希望通过市场分析和研究，把握当前产品的市场动向，从而制定合理的产品研发和销售计划，这就必须依赖数据分析才能够完成。

简单的说，就是对数据进行分析，比较专业的说法是，数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，未提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。以求最大化地开发数据的功能，发挥数据的作用。

数据分析包含“数据”和“分析”两个方面一方面包括加工和整理数据，另一方面也包括分析数据，从中提取有价值的信息并形成对业务有帮助的结论。

数据分析的成果通常以分析报告的形式呈现。对于数据分析报告，分析就是论点，数据就是论据，两者缺一不可。

2.数据分析类别

其中，探索性数据分析侧重于在数据中发现新的特征，而验证性数据分析则侧重于验证已有假设的真伪证明。

数据分析的划分：描述性数据分析、探索性数据分析、验证性数据分析。

1）描述性数据分析：属于初级数据分析，常见的分析方法有对比分析法、平均分析法、交叉分析法。

2）探索性数据分析：侧重于再数据之中发现新的特征

3）验证性数据分析：侧重于验证已有假设的真伪证明

其中探索性数据分析和验证性数据分析属于高级数据分析，常见的分析方法有相关分析、因子分析、回归分析等等。

3.数据分析的作用

数据分析在日常企业运营中主要有三大作用：

1.现状分析

简单的说就是告诉你过去发生了什么。

具体表现在：

第一，告诉你企业现阶段的整体运营情况，通过各个经营指标的完成情况来衡量企业的运营状态，以说明企业整体运营是更好了还是坏了，好的程度是如何，坏的程度又到哪里。

第二，告诉你企业各项业务的构成，让你了解企业各项业务的发展及变动情况，对企业经营状况有更深入的了解。

现状分析一般通过日常通报来完成，如日报、周报、月报等形式。

2.原因分析

简单的说就是告诉你某一现状为什么发生。经过第一阶段的现状分析，我们对企业的运营情况有了一个基本的了解，但是不知道运营情况具体好在哪里，差在哪里，是什么原因引起的。这时候我们就需要开展原因分析，以进一步确定业务变动的具体原因。

原因分析一般通过专题分析来完成，根据企业运营情况选择针对某一现状进行原因分析。

3.预测分析

简单来说就是告诉你将来会发生什么。

在了解企业运营现状后，有时候还需要对企业未来发展趋势做出预测，为企业制定经营目标以及提供有效的策略参考与决策依据，以确保企业的可持续健康发展。

预测分析一般通过专题分析来完成，通常在制定企业季度、年度等计划时进行，其开展的频率没有现状分析及原因分析高。

什么时候开展什么样的数据分析，需要根据自身的需求及目的来确定。

分享 IT 技术和行业经验，请关注-技术学派。

大数据行业发展如火如荼，国家政策利好，互联网大佬纷纷在大数据行业布局，我们想让自己的职业生涯在一个朝阳行业发展，肯定又要学习相关技术，让自己与时俱进，但是难就难在大数据是一个新兴事物，目前我国大学的专业里面还鲜少有这个专业，国家刚批的大数据专业，全国目前35个高校，但是从17年开始招生，2021年才有第一批毕业生进入职场，在四年期间，是大数据行业发展的飞速时期，没有行业发展是等着人才进入的，而是需要要虚位以待、蓄势待发，所以在没有高等教育准备好的大数据教育，如何高效的学习大数据，如何快速的与行业发展想契合，那么需要我们成为第一个吃螃蟹的人，作为一个随着大数据行业成长的职业人，首先要知道大数据是个啥？

大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

那来帮大家分析下：如何高效的学习大数据。

经常有初学者会问，自己想往大数据方向发展，该学哪些技术，学习路线是什么样的，觉得大数据很火，就业很好，薪资很高……首先，如果你确定了想往这个方面发展，先考虑自己的过去从业经历、专业、兴趣是什么。计算机专业——操作系统、硬件、网络、服务器？软件专业——软件开发、编程、写代码？还是数学、统计学专业——对数据和数字特别感兴趣？

那么你能找师傅带吗？

但凡有这种想法的人，或多或少都会存有侥幸之心，或者叫做“天真，单纯”。希望不花一分钱，就能更快速的学到更优质，更实用的技能。

关于这一点，我只想反问一句你：“如果你是大师，你凭什么愿意带我？”

其实这就是想告诉你大数据的三个发展方向，平台搭建/优化/运维/监控、大数据开发/设计/架构、数据分析/挖掘。

先说一下大数据的4V特征：

数据量大，TB->PB

数据类型繁多，结构化、非结构化文本、日志、视频、图片、地理位置等；

商业价值高，但是这种价值需要在海量数据之上，通过数据分析与机器学习更快速的挖掘出来；

处理时效性高，海量数据的处理需求不再局限在离线计算当中。

现如今，正式为了应对大数据的这几个特点，开源的大数据框架越来越多，越来越强，先列举一些常见的：

文件存储：Hadoop HDFS、Tachyon、KFS

离线计算：Hadoop MapReduce、Spark

流式、实时计算：Storm、Spark Streaming、S4、Heron

K-V、NOSQL数据库：HBase、Redis、MongoDB

资源管理：YARN、Mesos

日志收集：Flume、Scribe、Logstash、Kibana

消息系统：Kafka、StormMQ、ZeroMQ、RabbitMQ

查询分析：Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill、Flink、Kylin、Druid

分布式协调服务：Zookeeper

集群管理与监控：Ambari、Ganglia、Nagios、Cloudera Manager

数据挖掘、机器学习：Mahout、Spark MLLib

数据同步：Sqoop

任务调度：Oozie

······

第一步：初识Hadoop

1.1 学会百度与Google

不论遇到什么问题，先试试搜索并自己解决。

Google首选，翻不过去的，就用百度吧。

1.2 参考资料首选官方文档

特别是对于入门来说，官方文档永远是首选文档。

相信搞这块的大多是文化人，英文凑合就行，实在看不下去的，请参考第一步。

1.3 先让Hadoop跑起来

Hadoop可以算是大数据存储和计算的开山鼻祖，现在大多开源的大数据框架都依赖Hadoop或者与它能很好的兼容。

关于Hadoop,你至少需要搞清楚以下是什么：

· Hadoop 1.0、Hadoop 2.0

· MapReduce、HDFS

· NameNode、DataNode

· JobTracker、TaskTracker

· Yarn、ResourceManager、NodeManager

自己搭建Hadoop，请使用第一步和第二步，能让它跑起来就行。

建议先使用安装包命令行安装，不要使用管理工具安装。

另外：Hadoop1.0知道它就行了，现在都用Hadoop 2.0.

1.4 尝试使用Hadoop

· HDFS目录操作命令；

· 上传、下载文件命令；

· 提交运行MapReduce示例程序；

· 打开Hadoop WEB界面，查看Job运行状态，查看Job运行日志。

· 知道Hadoop的系统日志在哪里。

1.5了解它们的原理

MapReduce：如何分而治之；

HDFS：数据到底在哪里，什么是副本；

Yarn到底是什么，它能干什么；

NameNode到底在干些什么；

ResourceManager到底在干些什么；

1.6 自己写一个MapReduce程序

仿照WordCount例子，自己写一个（照抄也行）WordCount程序，

打包并提交到Hadoop运行。

不会Java的话，Shell、Python都可以，有个东西叫Hadoop Streaming。

如果能认真完成了以上几步，恭喜你，你的一只脚已经进来了。

第二步：更高效的WordCount

2.1 学点SQL吧

如果不懂数据库的童鞋先学习使用SQL句。

2.2 SQL版WordCount

在1.6中，你写（或者抄）的WordCount一共有几行代码？

如果用SQL的话：

SELECT word,COUNT(1) FROM wordcount GROUP BY word;

这便是SQL的魅力，编程需要几十行，甚至上百行代码，SQL一句就搞定；使用SQL处理分析Hadoop上的数据，方便、高效、易上手、更是趋势。不论是离线计算还是实时计算，越来越多的大数据处理框架都在积极提供SQL接口。

2.3 安装配置Hive

Hive算是数据仓库工具，安装不难，网上有很多教程，配置完成后，可以正常进入Hive命令行。

2.4 试试使用Hive

尝试在Hive中创建wordcount表，并运行2.2中的SQL语句。在Hadoop WEB界面中找到刚才运行的SQL任务。看SQL查询结果是否和1.4中MapReduce中的结果一致。

明明写的是SQL，为什么Hadoop WEB界面中看到的是MapReduce任务？

2.5 学会Hive的基本命令

创建、删除表；加载数据到表；下载Hive表的数据；并学习更多关于Hive的语法和命令。

0和Hadoop2.0的区别

MapReduce的原理（还是那个经典的题目，一个10G大小的文件，给定1G大小的内存，如何使用Java程序统计出现次数最多的10个单词及次数）；

HDFS读写数据的流程；向HDFS中PUT数据；从HDFS中下载数据；

自己会写简单的MapReduce程序，运行出现问题，知道在哪里查看日志；

会写简单的SELECT、WHERE、GROUP BY等SQL语句；

Hive SQL转换成MapReduce的大致流程；

Hive中常见的语句：创建表、删除表、往表中加载数据、分区、将表中数据下载到本地；

从上面的学习，你已经了解到，HDFS是Hadoop提供的分布式存储框架，它可以用来存储海量数据，MapReduce是Hadoop提供的分布式计算框架，它可以用来统计和分析HDFS上的海量数据，而Hive则是SQL On Hadoop，Hive提供了SQL接口，开发人员只需要编写简单易上手的SQL语句，Hive负责把SQL翻译成MapReduce，提交运行。

第三步：把别处的数据搞到Hadoop上

此处也可以叫做数据采集，把各个数据源的数据采集到Hadoop上。

3.1 HDFS PUT命令

put命令在实际环境中也比较常用，通常配合shell、python等脚本语言来使用。建议需熟练掌握。

3.2 HDFS API

HDFS提供了写数据的API，自己用编程语言将数据写入HDFS，put命令本身也是使用API。

实际环境中一般自己较少编写程序使用API来写数据到HDFS，通常都是使用其他框架封装好的方法。比如：Hive中的INSERT语句，Spark中的saveAsTextfile等。

可以尝试了解原理，试着写几个Demo。

3.3 Sqoop

Sqoop是一个主要用于Hadoop/Hive与传统关系型数据库Oracle/MySQL/SQLServer等之间进行数据交换的开源框架。

就像Hive把SQL翻译成MapReduce一样，Sqoop把你指定的参数翻译成MapReduce，提交到Hadoop运行，完成Hadoop与其他数据库之间的数据交换。

自己下载和配置Sqoop（建议先使用Sqoop1，Sqoop2比较复杂）。

了解Sqoop常用的配置参数和方法。

使用Sqoop完成从MySQL同步数据到HDFS；

使用Sqoop完成从MySQL同步数据到Hive表；

PS：如果后续选型确定使用Sqoop作为数据交换工具，那么建议熟练掌握，否则，了解和会用Demo即可。

3.4 Flume

Flume是一个分布式的海量日志采集和传输框架，因为“采集和传输框架”，所以它并不适合关系型数据库的数据采集和传输。Flume可以实时的从网络协议、消息系统、文件系统采集日志，并传输到HDFS上。因此，如果你的业务有这些数据源的数据，并且需要实时的采集，那么就应该考虑使用Flume。

下载和配置Flume。使用Flume监控一个不断追加数据的文件，并将数据传输到HDFS；

PS：Flume的配置和使用较为复杂，如果你没有足够的兴趣和耐心，可以先跳过Flume。

3.5 阿里开源的DataX

之所以介绍这个，是因为以前某公司客户目前使用的Hadoop与关系型数据库数据交换的工具，就是之前基于DataX开发的，个人感觉非常好用。现在DataX已经是3.0版本，支持很多数据源。你也可以在其之上做二次开发。

PS：有兴趣的可以研究和使用一下，对比一下它与Sqoop。

至此，你的“大数据平台”应该是这样的：

第四步：把Hadoop上的数据搞到别处去

前面介绍了如何把数据源的数据采集到Hadoop上，数据到Hadoop上之后，便可以使用Hive和MapReduce进行分析了。那么接下来的问题是，分析完的结果如何从Hadoop上同步到其他系统和应用中去呢？

其实此处的方法和第三步基本一致的。

4.1 HDFS GET命令

把HDFS上的文件GET到本地。需要熟练掌握。

4.2 HDFS API

原理同3.2。

4.3 Sqoop

原理同3.3。

使用Sqoop完成将HDFS上的文件同步到MySQL；

使用Sqoop完成将Hive表中的数据同步到MySQL；

4.4 DataX

原理同3.4

此时，“你的大数据平台”应该是这样的：

走完第三步和第四步的流程，那么你应该已经具备以下技能和知识点：

· 知道如何把已有的数据采集到HDFS上，包括离线采集和实时采集；

· 知道sqoop（或者还有DataX）是HDFS和其他数据源之间的数据交换工具；

· 知道flume可以用作实时的日志采集；

至此，对于大数据平台，应该已经掌握如何搭建Hadoop集群，把数据采集到Hadoop上，使用Hive和MapReduce来分析数据，把分析结果同步到其他数据源。

接下来的问题就是，Hive使用的越来越多，你会发现很多不愉快的地方，特别是速度慢，

大多情况下，明明我的数据量很小，它都要申请资源，启动MapReduce来执行。

第五步：快一点吧，我的SQL

其实大家都已经发现Hive后台使用MapReduce作为执行引擎，实在是有点慢。因此SQL On Hadoop的框架越来越多，按我的了解，最常用的按照流行度依次为SparkSQL、Impala和Presto.这三种框架基于半内存或者全内存，提供了SQL接口来快速查询分析Hadoop上的数据。

目前我们的方案使用的是SparkSQL，至于为什么用SparkSQL，原因大概如下：

· 使用Spark还做了其他事情，不想引入过多的框架；

· Impala对内存的需求太大，没有过多资源部署；

5.1 关于Spark和SparkSQL

什么是Spark，什么是SparkSQL。

Spark有的核心概念及名词解释。

SparkSQL和Spark是什么关系，SparkSQL和Hive是什么关系。

5.2 如何部署和运行SparkSQL

Spark有哪些部署模式？

如何在Yarn上运行SparkSQL？

使用SparkSQL查询Hive中的表。

PS:Spark不是一门短时间内就能掌握的技术，因此建议在了解了Spark之后，可以先从SparkSQL入手，循序渐进。

第六步：一夫多妻制

其实我想说的是数据的一次采集、多次消费。

在实际业务场景下，特别是对于一些监控日志，想即时的从日志中了解一些指标（关于实时计算，后面步节会有介绍），这时候，从HDFS上分析就太慢了，尽管是通过Flume采集的，但Flume也不能间隔很短就往HDFS上滚动文件，这样会导致小文件特别多。

为了满足数据的一次采集、多次消费的需求，这里要说的便是Kafka。

6.1 关于Kafka

Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。

6.2 如何部署和使用Kafka

使用单机部署Kafka，并成功运行自带的生产者和消费者例子。

使用Java程序自己编写并运行生产者和消费者程序。

Flume和Kafka的集成，使用Flume监控日志，并将日志数据实时发送至Kafka。

至此，“大数据平台”应该扩充成这样：

这时，使用Flume采集的数据，不是直接到HDFS上，而是先到Kafka，Kafka中的数据可以由多个消费者同时消费，其中一个消费者，就是将数据同步到HDFS。

总结：

为什么Spark比MapReduce快。

使用SparkSQL代替Hive，更快的运行SQL。

使用Kafka完成数据的一次收集，多次消费架构。

自己可以写程序完成Kafka的生产者和消费者。

前面的学习已经掌握了大数据平台中的数据采集、数据存储和计算、数据交换等大部分技能，而这其中的每一步，都需要一个任务（程序）来完成，各个任务�...

一般情况下，我们所说的分析是指，使用大量数据、统计和定量分析、解释和预测以及基于事实的管理来推动决策过程与实现价值增生。

根据分析的方法和目的，分析可以被划分为描述性分析（descri-ptive analytics）、预测性分析（predictive analytics）和规范性分析（prescriptive analytics）。描述性分析包括数据收集、整理、制表、制图以及描述正要研究的食物的特征，这类分析以往被称为“报告”。描述性分析可能非常有用，但它不能解释某种结果出现的原因或者未来可能会发生的事情。

预测性分析不仅可以对数据特征和变量（可以假定取消范围的因素）之间的关系进行描述，还可以基于过去的数据预测未来。预测性分析首先会确定变量值之间的关联，然后基于这种已知的关联预测另一种现象出现的可能性，比如在看到某个广告后，一位消费者可能会去买产品的可能性。虽然预测性分析中的预测是基于变量之间的关系做出来的，但这不代表预测性分析中都需要明确因果关系。事实上，准确的预测并不一定与需要基于因果关系。

规范性分析是更高层次的分析，如实验设计和优化等。就像医生会在出处方建议患者采取什么行动一样，实验设计试图通过做实验给出某些事情发生的原因。为了能够在因果关系研究中信心饱满地做出推断，研究人员必须妥善处理一个或多个独立的变量，并有效控制其他的变量。如果处于试验环境下的测试组的表现大大优于照相，决策制定者就应该立即推广这种实验环境。

优化是规范性分析采用的一种方法，指试图识别出一个特定变量和另一个变量之间理想的关系水平。例如，我们可以能会对识别最有可能让产品实现高收益的价格感兴趣。同样地，优化这种方法能够识别出使了零售企业最大限制避免缺货情况的库存水平。

根据分析采用的方法以及收集和分析的数据类型，我们可以将分析分为定性分析（qualitative analysis）和定量分析（quantitative analysis）。定性分析的目的是深入了解某种现象的根本原因和诱因。非结构化数据通常是从少数非代表性案例中收集而来，并进行了非统计性分析。定量分析是分析的最初阶段，他通常是探索性分析的有效工具，定量分析是指通过统计、数学或者计算的方式对现象进行系统的实证研究。通常情况下，结构化数据是从大量典型案例中收集而来，并进行统计分析。

为了服务于研究者的不同研究目的，存在以下几种类型的分析：

*统计学：收集、整理、分析、说明和呈现数据的学科；

*预测：根据已有数据，预测一下一些感兴趣的变量在未来某个特定的时间点的情况；

*数据挖掘：通常使用算法和统计技术，自动或半自动地提取大量数据中未知的有趣模式；

*文字挖掘：用类似数据挖掘的方式从文本中得模式和趋势的过程；

*优化：在同时满足约束条件的情况下，按照某些标准利用数学方法来寻找最优的解决方案；

*实验设计：给各组随机分配被试。然后使用测试组和对照组来推导出特定结果中存在的因果关系。

虽然此处给出了一些列常用的分析方法，但在使用过程中会不可避免地出现相当大的重叠。例如，回归分析（regression analysis）是预测分析中最常用的方法，与此同时，他也是统计学、预测和数据挖掘中常用的方法。此外，时间序列分析（time seties analysis）是用于分析数据随时间变化的一种具体统计方法、在统计学和预测中经常被用到。