大数据时代的到来，越来越多的人选择学习大数据，那关于大数据分析的六大基本方面是哪些，一起来了解一下

可视化分析

不管是对数据分析专家还是普通用户

数据可视化是数据分析工具最基本的要求

可视化可以直观的展示数据

让数据自己说话，让观众听到结果

数据挖掘算法

可视化是给人看的，数据挖掘就是给机器看的

集群、分割、孤立点分析还有其他的算法

让我们深入数据内部，挖掘价值

这些算法不仅要处理大数据的量

也要处理大数据的速度

预测性分析能力

数据挖掘可以让分析员更好的理解数据

而预测性分析可以让分析员根据可视化分析和数据挖掘的结果

做出一些预测性的判断

语义引擎

我们知道由于非结构化数据的多样性带来了数据分析的新的挑战，我们需要一系列的工具去解析，提取，分析数据。语义引擎需要被设计成能够从"文档"中智能提取信息

数据质量和数据管理

数据质量和数据管理是一些管理方面的最佳实践

通过标准化的流程和工具对数据进行处理

可以保证一个预先定义好的高质量的分析结果

数据存储，数据仓库

数据仓库是为了便于多维分析和多角度展示数据按特定模式进行存储所建立起来的关系型数据库。在商业智能系统的设计中，数据仓库的构建是关键，是商业智能系统的基础，承担对业务系统数据整合的任务，为商业智能系统提供数据抽取、转换和加载(ETL)，并按主题对数据进行查询和访问，为联机数据分析和数据挖掘提供数据平台

成都加米谷大数据科技有限公司

个人培训 丨 企业内训

成都市高新区天府二街蜀都中心1栋705

大数据无处不在。在时下这个年代，不管你喜欢与否，在运营一个成功的商业的过程中都有可能会遇到它。

什么是大数据？

大数据就像它看起来那样——有大量的数据。单独而言，你能从单一的数据获取的洞见穷其有限。但是结合复杂数学模型以及强大计算能力的TB级数据，却能创造出人类无法制造的洞见。大数据分析提供给商业的价值是无形的，并且每天都在超越人类的能力。

大数据分析的第一步就是要收集数据本身，也就是众所周知的“数据挖掘”。大部分的企业处理着GB级的数据，这些数据有用户数据、产品数据和地理位置数据。今天，我将会带着大家一起探索如何用Python进行大数据挖掘和分析？

为什么选择Python?

Python最大的优点就是简单易用。这个语言有着直观的语法并且还是个强大的多用途语言。这一点在大数据分析环境中很重要，并且许多企业内部已经在使用Python了，比如Google，YouTube，迪士尼等。还有，Python是开源的，并且有很多用于数据科学的类库。

现在，如果你真的要用Python进行大数据分析的话，毫无疑问你需要了解Python的语法，理解正则表达式，知道什么是元组、字符串、字典、字典推导式、列表和列表推导式——这只是开始。

数据分析流程

一般可以按“数据获取-数据存储与提取-数据预处理-数据建模与分析-数据可视化”这样的步骤来实施一个数据分析项目。按照这个流程，每个部分需要掌握的细分知识点如下：

数据获取：公开数据、Python爬虫

外部数据的获取方式主要有以下两种。

第一种是获取外部的公开数据集，一些科研机构、企业、政府会开放一些数据，你需要到特定的网站去下载这些数据。这些数据集通常比较完善、质量相对较高。

另一种获取外部数据的方式就是爬虫。

比如你可以通过爬虫获取招聘网站某一职位的招聘信息，爬取租房网站上某城市的租房信息，爬取豆瓣评分评分最高的电影列表，获取知乎点赞排行、网易云音乐评论排行列表。基于互联网爬取的数据，你可以对某个行业、某种人群进行分析。

在爬虫之前你需要先了解一些 Python 的基础知识：元素（列表、字典、元组等）、变量、循环、函数………

以及，如何用 Python 库（urllib、BeautifulSoup、requests、scrapy）实现网页爬虫。

掌握基础的爬虫之后，你还需要一些高级技巧，比如正则表达式、使用cookie信息、模拟用户登录、抓包分析、搭建代理池等等，来应对不同网站的反爬虫限制。

数据存取：SQL语言

在应对万以内的数据的时候，Excel对于一般的分析没有问题，一旦数据量大，就会力不从心，数据库就能够很好地解决这个问题。而且大多数的企业，都会以SQL的形式来存储数据。

SQL作为最经典的数据库工具，为海量数据的存储与管理提供可能，并且使数据的提取的效率大大提升。你需要掌握以下技能：

提取特定情况下的数据

数据库的增、删、查、改

数据的分组聚合、如何建立多个表之间的联系

数据预处理：Python（pandas）

很多时候我们拿到的数据是不干净的，数据的重复、缺失、异常值等等，这时候就需要进行数据的清洗，把这些影响分析的数据处理好，才能获得更加精确地分析结果。

对于数据预处理，学会 pandas （Python包）的用法，应对一般的数据清洗就完全没问题了。需要掌握的知识点如下：

选择：数据访问

缺失值处理：对缺失数据行进行删除或填充

重复值处理：重复值的判断与删除

异常值处理：清除不必要的空格和极端、异常数据

相关操作：描述性统计、Apply、直方图等

合并：符合各种逻辑关系的合并操作

分组：数据划分、分别执行函数、数据重组

Reshaping：快速生成数据透视表

概率论及统计学知识

需要掌握的知识点如下：

基本统计量：均值、中位数、众数、百分位数、极值等

其他描述性统计量：偏度、方差、标准差、显著性等

其他统计知识：总体和样本、参数和统计量、ErrorBar

概率分布与假设检验：各种分布、假设检验流程

其他概率论知识：条件概率、贝叶斯等

有了统计学的基本知识，你就可以用这些统计量做基本的分析了。你可以使用 Seaborn、matplotlib 等（python包）做一些可视化的分析，通过各种可视化统计图，并得出具有指导意义的结果。

Python 数据分析

掌握回归分析的方法，通过线性回归和逻辑回归，其实你就可以对大多数的数据进行回归分析，并得出相对精确地结论。这部分需要掌握的知识点如下：

回归分析：线性回归、逻辑回归

基本的分类算法：决策树、随机森林……

基本的聚类算法：k-means……

特征工程基础：如何用特征选择优化模型

调参方法：如何调节参数优化模型

Python 数据分析包：scipy、numpy、scikit-learn等

在数据分析的这个阶段，重点了解回归分析的方法，大多数的问题可以得以解决，利用描述性的统计分析和回归分析，你完全可以得到一个不错的分析结论。

当然，随着你实践量的增多，可能会遇到一些复杂的问题，你就可能需要去了解一些更高级的算法：分类、聚类。

然后你会知道面对不同类型的问题的时候更适合用哪种算法模型，对于模型的优化，你需要去了解如何通过特征提取、参数调节来提升预测的精度。

你可以通过 Python 中的 scikit-learn 库来实现数据分析、数据挖掘建模和分析的全过程。

总结：

其实做数据挖掘不是梦，5步就能让你成为一个Python爬虫高手!

关注51Testing软件测试网，提升it技能，从不会到熟练只差一步。

在网络，移动设备，传感器，社交媒体，交易应用程序，日志文件，大数据等实时数据泛滥的情况下，发现了大量垂直市场应用程序，从诈骗检测到科学研究。无论涉及重大隐私问题或企业困难的挑战如何，仅在2017年，大数据投资就获得超过570亿美元的增长势头。预计未来三年的投资将以约10％的年增长率进行增长。

大数据分析所需的基本资源

大数据咨询已成为软件开发服务提供商的可行选择。无论是营销还是品牌实施的新产品，公司都不会轻易作出决定。当提到任何重大举措时，企业都会寻找他们客户提供的数据，以确保公司正朝着观众遵循的方向发展。

从点击流数据到购物车上的信息，都有大量的材料需要筛选，这就是为什么企业支付高价值的大数据咨询服务才能理解这一切。对于新职业市场的人来说，大数据分析是一个不错的选择。 当然，必须熟悉开始处理数字所需的技能和工具。

大数据分析所需的五个资源如下：

1.完成MATLAB Mastery Bundle

MATLAB或Matrix是一个多范型数字计算空间和编程语言。用外行人的话来说，它是一种工具，它使得编写代码，运行脚本以及执行数据分析和可视化等任务变得轻松易懂，从而解决复杂问题，而这些代码还不那么复杂。

2. Python Power Code BONUS Bundle

市场上有许多重要的编程语言可供选择，数据分析师使用其日常任务和职责中的很多。但是，如果有人要先学习，那就是Python。 Python语言被誉为用户友好型以及直观性。此外，它拥有众多的功能，这使它能够处理数据争夺。 70小时的培训通过展示如何下载，提取，清理，汇总，分析和可视化数据，开始了编程教育。

3.大数据和分析主工具包

数据分析师和高级分析咨询人员使用大量的语言和工具来获取角色，这并不足为奇。这四个模块集合为数据库添加了四个重要的分析工具，即Minitab，SPSS，SAS和R Studio。

4.使用Tableau Desktop 9 Bundle进行数据可视化

通过交互式仪表板分析和呈现数据以完全挖掘信息的主要工具之一是Tableau 9.这个收集将使您了解Tableau。因此，可以开始创建自己的可视化数据。

5.完整介绍R编程包

R的核心是一种统计编程语言，它非常适合挖掘和分析数据。但是，它也具有高级图形和机器学习功能，在数据可视化和集成复杂算法方面提供了一些独特的优势。在五门课程和三本电子书中，收集指导通过要点使用R来充分发挥潜力。

大数据优势

大数据应用程序可让数据科学家，统计人员和其他分析专业人员分析越来越多的结构化数据以及其他形式的数据，而这些数据往往不被传统的商业情报和分析程序所利用。这涵盖了非结构化和半结构化数据的组合，例如互联网点击流数据，网络服务器日志以及来自客户电子邮件的文本，机器数据，社交媒体内容和通过连接的传感器到事物互联网的呼叫细节记录。

在更大的范围内，数据分析技术迎合数据集分析的手段，并最终帮助企业做出充分知情的决策。商业智能查询回答关于业务绩效和操作的基本查询。大数据是一种高级分析，涉及复杂的应用程序元素，如预测模型，统计算法等。

用数据咨询创造新的增长机会

数据分析可以创造大量新的增长机会。此外，它甚至可能会产生一个新的业务类别，例如分析和汇总行业数据的类别。大多数企业将处于大量关于服务和产品，供应商和买家，消费者偏好和意图以及更多信息流的信息中。

各行各业的企业都应该开始大力创造数据功能。除了广泛的数据外，数据的高频率和实时性也是至关重要的。通过数据分析，实践被更广泛地使用。

今天的大数据和分析应用市场真是巨大。世界各地的软件开发服务提供商提供了大量的数据咨询工作。现在，大数据体验意味着更有可能从软件开发组织获得有利可图的工作。市场很大，有一系列的项目，交易，服务和合作关系。咨询服务可能会有所不同，具体取决于组织的特定要求，以及需要利用数据分析和解决方案的功能，这些功能可以简化业务流程。

大数据分析是检查大量和多样化数据集（即大数据）的过程，以发现隐藏模式，未知相关性，市场趋势，客户偏好和其他有用信息，可帮助组织做出更明智的业务决策。

大数据分析的好处

由专业分析系统和软件驱动，大数据分析可以指出各种业务收益，包括新的收入机会，更有效的营销，更好的客户服务，提高运营效率以及竞争对手的竞争优势。

大数据分析应用程序使 数据科学家，预测建模者，统计学家和其他分析专家能够分析结构化交易数据的不断增长的数量，以及传统商业智能（BI） 和分析程序通常未被挖掘的其他形式的数据 。这包括半结构化 和 非结构化数据的混合，例如，互联网 点击流 数据，网络服务器日志，社交媒体内容，客户电子邮件和调查响应中的文本，移动电话呼叫详细记录和连接的传感器捕获的机器数据到 互联网上的东西。

在广泛的范围内，数据分析技术和技术提供了一种方法来分析数据集并得出结论，以帮助组织做出明智的业务决策。BI查询回答有关业务运营和业绩的基本问题。大数据分析是一种高级分析的形式，涉及复杂的应用程序，其中包括预测模型，统计算法和假设分析等高性能分析系统。

大数据分析的出现和发展

术语大数据首先被用来指在90年代中期增加的数据量。2001年，咨询公司Meta Group Inc.的分析师Doug Laney扩大了大数据的概念，还包括组织生成的数据种类的增加以及数据创建和更新的速度。这三个因素 - 体积，速度和品种 - 被称为大数据的3Vs， Gartner在2005年收购Meta Group并招聘Laney后普及。

另外，Hadoop分布式处理框架是2006年作为Apache开放源代码项目推出的，它为基于商品硬件构建的集群平台种植种子，并且运行大数据应用程序。到2011年，大数据分析开始在组织和公众眼中牢牢掌握，Hadoop和各种相关的大数据技术纷纷涌现。

最初，随着Hadoop生态系统的形成和开始成熟，大数据应用主要是大型互联网和电子商务公司，如雅虎，谷歌和Facebook，以及分析和营销服务提供商。在接下来的几年中，大数据分析越来越多地被零售商，金融服务公司，保险公司，医疗机构，制造商，能源公司和其他主流企业所接受。

大数据分析技术和工具

非结构化和半结构化数据类型通常不适合 基于 面向结构化数据集的关系数据库的传统 数据仓库。此外，数据仓库可能无法处理需要频繁更新的大数据集合所提出的处理需求，甚至连续不断地进行，如在股票交易的实时数据的情况下，网站访问者的在线活动或移动应用的性能。如果你正在学习大数据，欢迎加群640193172讨论，大家都是大数据党，不定期分享干货，包括我自己整理的一份2017最新的大数据资料和零基础入门教程，欢迎初学和进阶中的小伙伴。

因此，许多收集，处理和分析大数据的组织将转向NoSQL 数据库以及 Hadoop及其配套工具，其中包括：

YARN： 集群管理技术和第二代Hadoop的关键特性之一。

MapReduce： 一个软件框架，允许开发人员编写在分布式处理器或独立计算机集群中并行处理大量非结构化数据的程序。

Spark： 一种开源并行处理框架，使用户能够跨集群系统运行大规模数据分析应用程序。

HBase： 构建为在Hadoop分布式文件系统（HDFS）之上运行的面向列的键/值数据存储。

Hive： 用于查询和分析存储在Hadoop文件中的大型数据集的开源数据仓库系统。

Kafka： 一种分布式发布订阅消息系统，旨在替代传统的 消息代理。

Pig： 一种开放源码技术，可为 Hadoop集群 上执行的 MapReduce 作业 的并行编程提供高级机制 。

在某些情况下， Hadoop集群 和NoSQL系统主要用作数据的着陆点和分段区域，然后才能加载到数据仓库或分析数据库中进行分析，通常采用更有利于关系结构的汇总形式。

然而，更频繁的是，大数据分析用户正在采用Hadoop 数据湖的概念，Hadoop 数据湖 作为原始数据流的主要存储库 。在这样的架构中，数据可以直接在Hadoop集群中进行分析，或通过像Spark这样的处理引擎运行。在数据仓库中，声音数据管理是大数据分析过程中的关键的第一步。存储在Hadoop分布式文件系统中的数据必须进行组织，配置和分区，以在提取，转换和加载（ETL）集成作业和分析查询方面获得良好的性能。

数据准备就绪后，可以用高级分析流程中常用的软件进行分析。这包括数据挖掘工具 ，筛选数据集以寻找模式和关系; 预测分析，构建用于预测客户行为和其他未来发展的模型; 机器学习，这些抽头算法分析大数据集; 和深度学习，机器学习更先进的分支。

文本挖掘 和 统计分析软件也可以在大数据分析过程中发挥作用，如主流BI软件和 数据可视化 工具。对于ETL和分析应用程序，查询可以以批处理模式MapReduce编写; 编程语言，如R，Python和Scala ; 和SQL，通过SQL-on-Hadoop 技术支持的关系数据库的标准语言 。

大数据分析使用和挑战

大数据分析应用程序通常包括来自内部系统和外部来源的数据，例如由第三方信息服务提供商编译的消费者的天气数据或人口统计数据。此外，流分析应用程序在大型数据环境中变得越来越普遍，因为用户希望通过Spark的Spark Streaming模块或其他开源流处理引擎（如Flink和Storm）对进入Hadoop系统的数据进行实时分析。

早期的大型数据系统主要部署在内部，特别是在收集，组织和分析大量数据的大型组织中。但是，像Amazon Web Services（AWS）和Microsoft 这样的云平台供应商已经更容易设置和管理云中的Hadoop集群，而像Cloudera和Hortonworks这样的Hadoop供应商也支持他们分发大数据框架在AWS和Microsoft Azure云端。用户现在可以在云中启动集群，根据需要运行它们，然后将其脱机，使用不需要持续软件许可证的基于使用的定价。

潜在的陷阱可能使组织陷入大数据分析举措，包括缺乏内部分析技能，以及招聘有经验的数据科学家和数据工程师填补空白的高昂成本。

通常涉及的数据量及其多样性可能会导致数据管理问题，包括 数据质量，一致性和治理; 而且，数据仓库可能是由于在大型数据架构中使用不同的平台和数据存储。此外，将Hadoop，Spark和其他大型数据工具整合到一个能够满足组织大数据分析需求的连贯一致的架构中，这对于许多IT和分析团队来说是一个具有挑战性的挑战，这些团队必须确定合适的技术组合，然后将这些组合放在一起。

业务分析是巨大的！业务分析有助于决定如何使用数据，以及可以使用哪些模型来做出更好的业务决策。业务分析可以被称为“企业的数据科学”。尽管有许多模型可用于做出业务决策，但业务分析有助于识别最佳模型。

2.业务分析是一个使用组织中可用的所有统计数据达成建设性结论的程序/研究。组织雇用业务分析专家，评估公司以前的报告，以了解他们是否正确进行。过去的报告有助于他们评估即将发生的事件是否有利于组织或反对。在这两种情况下，对公司都有利。如果企业处于正确的轨道，他们仍然可以改善，如果没有，那么它可以帮助他们找到解决办法来纠正这个问题。

3.首先要掌握基础数学和统计学。了解为什么和在哪里使用平均值，中位数和模式。在你开始之前，你需要爱上你的数据，这是我的教授所说的。当你写关于女朋友的诗，你必须知道我可以从中知道什么。不要用大数据驱动我的误解或数据分析是hadoop，spark等框架。当然，他们有助于更快地获得结果，但逻辑与我们如何将数据转化为有用的信息。按照array老师的视频课程。无论你是学生还是做任何工作，如果你能知道你做什么，那就很容易根据它来找到答案。

4.

· 了解统计信息和多变量统计信息

· 学习SQL和数据库

· 学习编码（Python，R）

· 学习使用新的非结构化数据类型

· 参加MOOC课程数据科学课程（Coursera，Udacity等）

· 考虑数据科学或数据分析的研究生学位

5.您应该深入分析计算的基础知识。您应该了解可扩展性，容错能力，复制性，开放性，地理独立性等分布式编程中的问题。要分析大数据，您需要对统计信息或机器学习有较好的了解。您也可以使用Hadoop，HBase，Hive等分析大数据的工具。DBMS的基础知识也是首选。要使用任何大数据工具，如hadoop，您应该知道一种编程语言（比如Java或Python）。如果要集中精力编程大数据，从分布式计算开始，然后尝试设置一个hadoop集群（单节点，然后是多节点）。我们公司的一个java开发在学Hadoop，别人给了他一套视频，我看了看从基础入门、生态圈组件、商业项目讲解都挺详细的。需要视频的可以到他鹏you圈留言，你可以通过TBanna521找到他。

什么是大数据分析？

大数据分析是指对规模巨大的数据进行分析。大数据可以概括为4个V， 数据量大(Volume)、速度快(Velocity)、类型多(Variety)、价值（Value）。利用大数据分析的技术，将海量数据以多维数据分析的形式表示，从不同的维度对数据进行更深入的观察和分析

大数据分析的六个基本方面

大数据分析生命周期的三个阶段

获取：结合传统数据构架与新数据结合，更快更好管理

分析：注重分析数据并形成洞察力

行动：利用洞察力为企业创造价值

大数据分析的应用

随着大数据的发展，大数据分析广泛应用在各行各业，其中在金融与零售行业应用较为广泛

大数据只是一个空洞的商业术语，当然，这并不是说大数据没有具体意义，只是对于不同的人有不同的含义。

A、对于投资人和创业者而言，大数据是个热门的融资标签，如今每一家互联网公司都急于把自己标榜为大数据公司

B、对于大多数互联网公司或者工程师而言，大数据实际上只有一个意思，就是把一堆乱七八糟的数据扔到 HDFS 上面然后进行计算

C、对于消费者或者互联网所谓的“用户“来说，大数据的意思的就是尽可能地搜集跟终端消费者相关的隐私，然后进行营销

大数据分析的成功案例（以百度大数据为例）

百度大数据中心与峨眉山景区强强联合，从搜索行为、游客人群、景区定制数据和百度舆情进行全面合作，以适应对数据的需求、掌控旅游发展的趋势；大数据合作为做好未来旅游发展奠定了重要的基础，能够做到早发现、早分析、早应对，对及时的做好精准营销、社群营销和网络营销都有积极的帮助，无疑是以大数据支撑“互联网+旅游”落地的极佳案例。

本文主要讲述数据挖掘分析领域中，最常用的四种数据分析方法：描述型分析、诊断型分析、预测型分析和指令型分析。

当刚涉足数据挖掘分析领域的分析师被问及，数据挖掘分析人员最重要的能力是什么时，他们给出了五花八门的答案。

其实我想告诉他们的是，数据挖掘分析领域最重要的能力是：能够将数据转化为非专业人士也能够清楚理解的有意义的见解。

使用一些工具来帮助大家更好的理解数据分析在挖掘数据价值方面的重要性，是十分有必要的。其中的一个工具，叫做四维分析法。

简单地来说，分析可被划分为4种关键方法。

下面会详细介绍这四种方法。

1. 描述型分析：发生了什么？

这是最常见的分析方法。在业务中，这种方法向数据分析师提供了重要指标和业务的衡量方法。

例如，每月的营收和损失账单。数据分析师可以通过这些账单，获取大量的客户数据。了解客户的地理信息，就是“描述型分析”方法之一。利用可视化工具，能够有效的增强描述型分析所提供的信息。

2. 诊断型分析：为什么会发生？

描述性数据分析的下一步就是诊断型数据分析。通过评估描述型数据，诊断分析工具能够让数据分析师深入地分析数据，钻取到数据的核心。

良好设计的BI dashboard能够整合：按照时间序列进行数据读入、特征过滤和钻取数据等功能，以便更好的分析数据。

3. 预测型分析：可能发生什么？

预测型分析主要用于进行预测。事件未来发生的可能性、预测一个可量化的值，或者是预估事情发生的时间点，这些都可以通过预测模型来完成。

预测模型通常会使用各种可变数据来实现预测。数据成员的多样化与预测结果密切相关。

在充满不确定性的环境下，预测能够帮助做出更好的决定。预测模型也是很多领域正在使用的重要方法。

4. 指令型分析：需要做什么？

数据价值和复杂度分析的下一步就是指令型分析。指令模型基于对“发生了什么”、“为什么会发生”和“可能发生什么”的分析，来帮助用户决定应该采取什么措施。通常情况下，指令型分析不是单独使用的方法，而是前面的所有方法都完成之后，最后需要完成的分析方法。

例如，交通规划分析考量了每条路线的距离、每条线路的行驶速度、以及目前的交通管制等方面因素，来帮助选择最好的回家路线。

结论

最后需要说明，每一种分析方法都对业务分析具有很大的帮助，同时也应用在数据分析的各个方面。

原文链接：http://kdnuggets/2017/07/4-types-data-analytics.html

转载请注明出自：葡萄城控件

关于葡萄城

葡萄城是全球控件行业领导者，世界领先的企业应用定制工具、企业报表和商业智能解决方案提供商，为超过75%的全球财富500强企业提供服务。

作者：CDA数据分析师

大数据分析与数据分析这几年一直都是个高频词，很多人都开始纷纷转行到这个领域，也有不少人开始跃跃欲试，想找准时机进到大数据或数据分析领域。如今大数据分析和数据分析火爆，要说时机，可谓处处都是时机，关键要明了的一点是，大数据分析和数据分析两者的根本区别在哪里，只有真正了解了，才会知晓更加适合自己的领域是大数据分析师还是数据分析师。毕竟职场如战场，时间就是生活，不容儿戏，更不容怠慢。下面我来好好告诉大家两者的本质区别到底是什么！

大数据分析：指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》 中大数据分析指不用随机分析法（抽样调查）这样的捷径，而采用所有数据进行分析处理，因此不用考虑数据的分布状态（抽样数据是需要考虑样本分布是否有偏，是否与总体一致）也不用考虑假设检验，这点也是大数据分析与一般数据分析的一个区别。

数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。

大数据分析与数据分析最核心的区别是处理的数据规模不同，由此导致两个方向从业者的技能也是不同的。在CDA人才能力标准中从理论基础、软件工具、分析方法、业务分析、可视化五个方面对数据分析师与大数据分析师进行了定义。

【数据分析师的要求】

数据分析师的理论要求：统计学、概率论和数理统计、多元统计分析、时间序列、数据挖掘。

工具要求：必要：Excel、SQL可选：SPSS MODELER、R、Python、SAS等

分析方法要求：除掌握基本数据处理及分析方法以外，还应掌握高级数据分析及数据挖掘方法（多元线性回归法，贝叶斯，神经网络，决策树，聚类分析法，关联规则，时间序列，支持向量机，集成学习等）和可视化技术。

业务分析能力：可以将业务目标转化为数据分析目标；熟悉常用算法和数据结构，熟悉企业数据库构架建设；针对不同分析主体，可以熟练的进行维度分析，能够从海量数据中搜集并提取信息；通过相关数据分析方法，结合一个或多个数据分析软件完成对海量数据的处理和分析。

结果展现能力：报告体现数据挖掘的整体流程，层层阐述信息的收集、模型的构建、结果的验证和解读，对行业进行评估，优化和决策。

【大数据分析师的要求】

理论要求：统计学、概率论和数据库、数据挖掘、JAVA基础、Linux基础。

工具要求：必要： SQL、Hadoop、HDFS、Mapreduce、Mahout、Hive、Spark可选：RHadoop、Hbase、ZooKeeper等

分析方法要求：熟练掌握hadoop集群搭建；熟悉nosql数据库的原理及特征，并会运用在相关的场景；熟练运用mahout、spark提供的进行大数据分析的数据挖掘算法，包括聚类（kmeans算法、canopy算法）、分类（贝叶斯算法、随机森林算法）、主题推荐（基于物品的推荐、基于用户的推荐）等算法的原理和使用范围。

业务分析能力：熟悉hadoop+hive+spark进行大数据分析的架构设计，并能针对不同的业务提出大数据架构的解决思路。掌握hadoop+hive+ Spark+tableau平台上Spark MLlib、SparkSQL的功能与应用场景，根据不同的数据业务需求选择合适的组件进行分析与处理。并对基于Spark框架提出的模型进行对比分析与完善。

结果展现能力：报告能体现大数据分析的优势，能清楚地阐述数据采集、大数据处理过程及最终结果的解读，同时提出模型的优化和改进之处，以利于提升大数据分析的商业价值。

综上大数据分析与数据分析的根本区别就是分析的思维与分析所用的工具不同。大家在求职或转行过程认清自己对两者的偏好和自己的兴趣所在，以及自己的能力更适合在哪个领域发挥，还有自己所在城市对两者的职业需求，综合天时地利人和三个条件，我们才能做出更理智更客观更科学的抉择。

本文作者：郭朝晖@蝈蝈创新随笔

本文是我关于大数据分析方法的几点思考。当初的目的是系统化地看待数据分析。为了这点东西，我花了一个礼拜的时间，思考的结果却是碎片化的。看来，想清楚并不容易。由于时间关系，只能中止。文字描述很不严格、肯定经不起推敲，读者找不毛病是正常的、看不明白更是正常的。不感兴趣的可以当做胡扯。我希望将来有时间时能把问题思考下去。

从数据中发现信息和知识，是人们多年来的梦想。随着大数据理论的兴起，这个话题变得非常热门。在有些人看来，大数据非常神秘，似乎无所不能。当然，现实不会是这样。我想，研究大数据，首先要破除迷信：大数据需要什么条件、什么问题是大数据无法做到的。

1、知识和信息，只能从关联关系中得到

对象（包括过程，如生产过程、购物过程）及其属性、同一对象的属性之间具备关联关系。例如，“张三身高1.8米”就是对象（张三）与属性（身高）的关联；再如，如果我们知道张三体重75公斤，则“1.8米”和“75公斤”之间就因“张三”建立了关联。

关联的对象可能并不确定：我们看到一张履历表，即便隐去名字、不知道这个人是谁，也知道其中的各种信息是与某人关联的。

在数字化的世界里，不和其他的符号（数字）关联的符号（数字）是不包含任何信息的。从不包含信息的素材，得不到包含信息的结论。

有人可能反对这个观点：谷歌曾经用“感冒”的搜索量预报流感啊，这里哪有关联呢？其实，只有搜索“感冒”的数量是根本无法预测流感的。谷歌的做法，是把“感冒”的搜索与搜索的地点、时间联系起来。

这个观点告诉我们：收集数据的时候，要尽可能地把关联关系建立起来；没有关联关系，数据很容易成为垃圾。这种情况并不少见：有些实验室，把针对同一试样的各项实验结果分别保存起来，而没有建立统一的ID、关联关系丢失。这样的数据，再多也没有用处。

2、人们要挖掘的知识和信息，就是找映射关系

知识（或信息）的发现与挖掘，其本质是寻找映射关系：通过已知的、对象的一部分属性，把对象的另外一部分属性或对象本身找出来（或缩小范围）。产生这类问题的原因是：只有一部分属性已知、容易得到、容易识别、容易表述，而另外一部分未知、不容易得到、不容易识别、不容易描述。

例如，我们可以说：张三就是那个穿红衣服的——这里“穿红衣服”比其他特征容易识别。从衣服识别出张三，就是从张三的衣着特征（属性）找到关联对象（张三）的信息；从一个人的身高预估他的体重，就是从一个根据一类属性估计另外一类属性。

我习惯于把信息挖掘和知识发现分开。

在本文中，信息挖掘指的是预测某个特定对象的属性，如上海市的人口是多少；知识发现是确定一类对象的属性之间的关系，如一类人群中身高和体重的关系。当然，这种区分不是绝对的。

3、映射关系的差别

正确的识别，最好的办法是找到好的素材（数据）。素材与结果之间的关联强度是不一样的：有的比较强，是因果关系、必然联系；有的比较弱，是相关关系、偶然联系。

例如，我们可以根据DNA、相貌、衣服来识别一个人。但三者相比，DNA的联系是强的必然性联系、衣服是弱的偶然性联系，相貌是介于两者之间的联系。大数据的一个著名案例，是网站根据客户买的药判断她已怀孕、并推送有关产品：因为这种药只有孕妇才吃，是很强的关联。

从数据得到的知识和信息，往往不是绝对正确。一般来说，可靠的结论基于可靠的数据和可靠的分析方法。数据量大了以后，滤除干扰的可能性增大，从而可以从原来可靠度低的数据中，得到可靠性相对较高的数据。

所以，尽量找到好的素材，是做好分析的第一步。

在很多情况下，我们找不到好的素材。这时，首先要做的尽量提高数据质量。数据质量不仅是精度问题，还包括数据来源的可靠性：为此，需要把数据来源的相关过程要搞清楚，否则很可能会误导人的分析。

4、相关与因果

有些相关性的背后，一般会有因果关系存在。两个要素由因果产生关联的机制大概可以分成两类：1、两个要素具有因果的关系：比如刚做父亲的青年人常会买尿布；2、共同原因导致的两个结果之间的关系：比如孩子的父亲会常买啤酒，也常买尿布；于是，啤酒和尿布就可能关联起来。

有些相关性，看似没有因果，但背后往往有某些特殊的规律或因素其作用（上述第二种情况）。比如，女孩子往往喜欢花衣服，与基因和文化的共性有关。但这种因果关系可能相隔太远，以至于难以考证了。

当人们需要根据关系作出决策时，需要研究因果的逻辑关系：到底是谁影响了谁。否则，根据分析结构的盲目行为可能适得其反。 “到底谁影响了谁”为什么会成为问题？大概有两类原因：

第一类原因是：忽视了时间因素。如“统计结果表明，练太极拳的身体差”。现实却是：很多人身体变差（包括衰老）以后，才练太极拳。一般来说，具有因果关系的两个要素之间，时间上有前后关系：原因早前，结果在后。

第二类原因是：忽视了前导因素。“公鸡一叫，天就亮了”。现实却是，天量之前的迹象被公鸡察觉到了。两者是第二种因果关系，只是看似“原因在后、结果在前”了。

一般来说，工业大数据分析更重视因果，而商务大数据分析对因果性的要求较弱。

5、数据分析的先导因素

从某种意义上说，数据分析的过程，就是寻找强的相关关系（必然性、因果性），或对弱的相关关系进行综合、得到强的相关关系。

用数据发现信息，需要用到各种知识。例如，把“云南白药是用于治疗外伤的”放入计算机，当某人购买白药的行为判断他或家人可能受伤，从而可以推荐相关产品。但注意到：这种类型的知识很可能是被人事先装入计算机的，而不是靠计算机自动学习得到的。

所有的学习过程，本质上都是基于这样一种假设：A和B的一部分属性类似，则推测另一部分属性也应该类似。例如，A和B的身高相似，则体重也可能相似。现实中，两个属性确实具有强烈的相关性，但身高相同而体重不同的也大有人在。这时，如果我们还知道他的体型，是瘦弱、偏瘦、正常、偏胖、肥胖型，对体重的估计就可以准确一些。由此可见，用数据发现知识的过程，本质上就是提高相关性、可靠性的过程。

一般来说，人们在做数据分析之前，一定会有一定的知识积淀， 但认识不清却是一种常态；人们希望通过对数据的分析，来改变这种常态。而改变认识的过程依赖于数据的质量和分析数据的方法。所以，刨除分析方法外，分析过程依赖于两个先导性因素：1、数据质量（包含多方面的含义）如何；人们已有的认识如何。

注意，这段说法有个潜台词：强调了人类可认识的知识，而不是机器用复杂函数关系表述的、人类难以用逻辑关系认知的知识（如神经元）。的确如此，笔者一直认为：这类方法的作用被学术界有意识地夸大了。

6、数据分析的过程

与商业大数据相比，工业大数据更重视可靠性和精确性。在很多情况下，猜出一个结论并不难，难的是论证一个结论。一般来说，凡是可靠的知识，都应该能够被机理和数据双重认证。

大数据分析的一个重要特征是：传统概率理论的假设往往不成立。例如：大数定理的条件往往不成立、模型的结构往往未知、因果关系不是天然清晰、自变量的误差往往不能忽略、数据分布往往是没有规律的。所以，为了得到可靠的结果，人们工作的重点很可能是验证这些条件、构造这些条件。从某种意义上说，数据分析的过程，主要是排除干扰的过程、特别是排除系统干扰的过程。而且，如果完全依照逻辑、用纯粹数学的办法加以论证，则数据需求量会遭遇“组合爆炸”，永远是不够的。这时，已有的领域知识就是降低数据需求量的一种手段。要记住：求得可靠性是一个过程而不是结果、可能永远没有终点；分析的过程只是不断增加证据而已。这个过程，是修正人的认识的过程；所以，错误或不恰当的认识常常是分析过程中最大的干扰——这个干扰一旦去除，我们可能就发现了真正的知识。

数据量大的直接好处，是排除随机性干扰。但排除系统性干扰却不那么容易，数据量大是必要条件但不充分，需要深入的方法研究才能解决问题。

系统性的干扰往往体现在：对主体进行分组，所体现的规律是不同的。比如，身高和体重的统计关系，男女是不同的、不同民族是有差异的、可能与年龄有关。如果不进行分类研究，统计的结果就会与样本的选取有很大关系。但分类研究也会遇到一个困难：遭遇组合爆炸，数据再多都不够用。这时，“领域知识”就会发生作用：

认定一个结论成立的办法，是确认它的“可重复性”。在许多情况下，“可重复性”指的是在各种分组下都成立的结论：最好能在不同时间分组中也能成立。分组越多、分组的维度越多、结论的可靠性越高。

但具有“可重复性”的结论，往往只在一定的范围内成立。在很多情况下，“明确结论成立的范围”也是数据分析的重要内容。

如何分组、如何确定范围、如何构筑逻辑链条、数据结果的解读、数据结果与领域知识的融合，都是重要的能力。事实上，根据领域知识，常常用于构造证据链、进行有效的数据选取和分组。

在精密论证时，我们就会发现：基础数据的质量很重要。因为许多干扰就来源于数据本身。从某种意义上说，数据的采集方法和环境不同，就是不同的数据。

在构建数据分析体系的过程中，也会发现，企业经营的数据分析也确实需要一个可展示的平台，实时展示业务，有问题就优化更新。

FineReport 数据决策系统

7、关于预测数字

许多问题分析的目的得到一个数字：如钢的强度、用电量、人口数量、钢产量。这类问题的特点之一是：最终的结果是各种影响因素相加得到的。

对于这种问题，我的观点是：要想得到可靠的结果，一定要拆成若干子问题来分析。其中，各个子问题要尽可能利用规律性的结果来分析。我认为：把人的认识和数据用到极致的时候，才能得到最好的结果。随便地建立回归模型是不懂数据的表现。

现在数据已经成为了一些企业的“天”。近年来，近年来越来越多的公司已经意识到数据分析可以带来的价值，并且已经跳上了大数据旅行车。实际上，现在所有的一切都在被监控和测量，创造了大量的数据流，通常比公司可以处理的速度更快。问题是，根据定义，大数据很大，因此数据收集中的小差异或错误可能导致重大问题，错误信息和不准确的推论。

对于大数据而言，以业务为中心的方式分析它的挑战是实现这一目标的唯一方法，即确保公司制定数据管理策略。

但是，有一些技术可以优化您的大数据分析，并最大限度地减少可能渗入这些大型数据集的“噪音”。以下是几个技术技巧做参考：

优化数据收集

数据收集是事件链中的第一步，最终导致业务决策。确保收集的数据与业务感兴趣的指标的相关性非常重要。

定义对公司有影响的数据类型以及分析如何为底线增加价值。从本质上讲，考虑客户行为以及这对您的业务有何针对性，然后使用这些数据进行分析。

存储和管理数据是数据分析中的重要一步。必须保持数据质量和分析效率。

把垃圾带出去

肮脏的数据是大数据分析的祸害。这包括不准确，冗余或不完整的客户信息，可能会对算法造成严重破坏并导致分析结果不佳。基于脏数据做出决策是一个有问题的场景。

清理数据至关重要，涉及丢弃无关数据并仅保留高质量，最新，完整和相关的数据。人工干预不是理想的范例，是不可持续和主观的，因此数据库本身需要清理。这种类型的数据以各种方式渗透到系统，包括时间相关的转移，例如更改客户信息或数据孤岛中的存储，这可能会破坏数据集。脏数据可能会影响营销和潜在客户生成等明显的行业，但财务和客户关系也会因基于错误信息的业务决策而受到不利影响。后果很普遍，包括盗用资源，重点和时间。

这个脏数据难题的答案是确保进入系统的数据干净的控制措施。具体而言，重复免费，完整和准确的信息。有些应用程序和公司专门研究反调试技术和清理数据，这些途径应该针对任何对大数据分析感兴趣的公司进行调查。数据卫生是营销人员的首要任务，因为不良数据质量的连锁效应可能会大大降低企业的成本。

为了在数据方面获得最大收益，必须花时间确保质量足以为决策和营销策略提供准确的业务视图。

标准化数据集

在大多数业务情况下，数据来自各种来源和各种格式。这些不一致可能转化为错误的分析结果，这可能会大大扭曲统计推断。为了避免这种可能性，必须确定数据的标准化框架或格式并严格遵守它。

数据集成

如今，大多数企业都包含不同的自治部门，因此许多企业都拥有孤立的数据存储库或“孤岛”。这很具挑战性，因为来自一个部门的客户信息的变化不会转移到另一个部门，因此他们将根据不准确的源数据做出决策。

为了解决这个问题，中央数据管理平台是必要的，集成了所有部门，从而确保了数据分析的准确性，因为任何变更都可以立即被所有部门访问。

数据隔离

即使数据干净，有组织和集成在那里，也可能是分析问题。在这种情况下，将数据分组成小组很有帮助，同时牢记分析正在努力实现的目标。这样，可以分析子组内的趋势，这可能更有意义并且具有更大的价值。在查看可能与整个数据集无关的高度特定的趋势和行为时尤其如此。

数据质量对于大数据分析至关重要。许多公司试图用分析软件直奔潜水，而不考虑进入系统的内容。导致不准确的推断和解释，这可能是昂贵的并且对公司造成损害。一个定义明确，管理良好的数据库管理平台是企业利用大数据分析不可或缺的工具