在互联网行业做数据分析师，不仅需要具备扎实的统计学理论基础，同时对于编程的要求也很高，因为互联网与传统行业不同的是数据完全依赖与系统产生，无论是客户信息、用户行为还是整个业务流程的各个环节都来自于对应的软件系统，包括app、web客户端或者后台的客户关系管理、数据仓库、系统日志等等。那么对于这些数据的应用就一定会需要通过编程来实现，大部分业务数据会来源于关系数据库这样就需要必须掌握SQL统计分析，很多复杂的数据应用又需要编程来实现，就需要掌握R语言，Python等编程工具，而且日常提取的各个业务部门的报表，领导汇报邮件用的报表又离不开EXCEL。基于这种情况，我觉得有必要为大家具有针对性的提供一套完整的学习体系与课程。

介绍：

基于互联网行业数据分析师的技能包，共计22G，配套资料齐全，涵盖了SQL R Python与EXCEL的专享训练集合，内容非常全面又没有交叉重叠，随着讲解的过程老师也通过很多小案例来提高应用水平，同时老师会穿插很多互联网行业最常见的需求和场景，可以在学习过程中对行业知识也有更深的理解与认知。

目录：

第一部分 四项技能

技能一 Excel数据分析实战

一 分析实战部分

00.课程配套资料

1.图文介绍

2.视频介绍

3.Excel系列课程介绍

4.微软Excel发展史

5.Excel文件选项功能介绍

6.文件保护共享及打印设置

7.常规公式保存选项设置

8.高级选项重点设置

9.功能区及快速工具栏配置

10.运行加载项和启用禁用宏配置

11.格式兼容及简繁转换设置

12.效率专家插件基础介绍

13.工作簿工作表相关应用

14.单元格字体合并对齐设置

15.单元格信息录入编辑

16.单元格格式应用讲解

17.文本互相数值的转换技巧

18.条件格式-突出单元格规则

19.条件格式-数据条色阶图标

20.单元格各序列填充技巧

21.不连续单元格填充

22.数据的添加删除移动隐藏取消

23.解读单元格定位应用

24.数据分列处理应用

25.解读选择性粘贴应用

26.格式刷及创建删除超链接

27.冻结窗口拆分及排序

28.数据筛选及高级筛选应用

29.数据合并同行多列内容

30.举例数据保护方法

31.创建组及分类汇总解读

32.Excel查找替换应用

33.不可不学的快捷键组合应用

36.多IF嵌套及Lookup数据分层

37.IS函数判断家族应用

38.条件格式实现智能标记提醒

39.函数常见错误及引用错误

40.Text等函数实现文本数值之间的转换

41.Find函数及大小写函数应用讲解

42.截取函数家族应用

43.数据有效性实现数据输入智能化

44.日期年周月星期数据处理应用

45.隐藏函数计算工龄休假

46.Vlookup精确查询匹配

47.深度解析Vlookup常见错误

48.Match.Vlookup应用对比

49.Index.Match多条件应用案例

50.Index.match数组嵌套应用案例

51.Subtotal唯一的筛选函数

52.奇异的Sumproduct函数应用

53.条件求和SumifSumif

54.条件计数函数应用案例

55.Hyperlink超级链接函数应用案例

56.活用表格定义名称的引用

57.替换函数应用案例

58.数值位数处理函数应用

59.Offset.Counta.函数应用案例

60.动态滚动条图表制作

61.Mod及Indirect函数设置二级菜单

62.Rank函数Small.Large

63.不常用函数及教程总结

64.数据有效条件格式保护锁定

65.Vlookup嵌套及常见错误盘点

66.Vlookup嵌套拼表月度数据

67.VlookupLookup正反向模糊匹配

68.函数结合透视表应用活动分析

69.indexmatch横纵数组嵌套

70.函数控件实现品牌月度动态趋势分析

71.一对多查找匹配

72.淘宝关键词分析if.find嵌套

73.身份证提取男女生日年龄嵌套案例

74.函数嵌套中英文品牌分离重组

75.全站分析宝贝销售好坏

76.数组嵌套对比透视表计算供应商最低

77.发货函数嵌套实现省市分离

78.hyperlink嵌套本地打开网络链接

79.函数嵌套透视表分析通信费应用

80.截取函数嵌套实现日期标准化

81.函数嵌套间隔提取最大值

82.妙用名称管理器的应用

85.透视表分类汇总原理解析

86.透视表典型选项功能介绍

87.透视表日期文本组合

88.透视表显示无数据行及隐藏明细数据

89.透视表值百分比汇总类型

90.透视表计算父类汇总百分比

91.透视表计算排名排序

92.透视区间汇总动态透视图设计

93.透视表计算字段计算项

94.透视实现数据二维转一维

95.透视表多重合并计算

96.透视切片器多表联动应用

97.活用表格实现透视数据动态更新

98.外部导入数据透视方法

99.入门透视表里的SQL应用

100.SQL实现数据跨表合并透视分析

101.透视表典型应用案例无SQL关联

102.透视表典型应用案例SQL关联

103.透视表数据多重合并与拆分

104.高效实现透视结果随源数据更新

105.透视表的条件格式高级应用

106.动态透视图VS传统图表优劣

108.簇状柱形图-应用时间项目比较

109.深入柱形图图表制作

110.堆积柱形图-多项目多构成堆积比较

111.簇状柱形图美化步骤

112.折线图制作-时间序列趋势

113.双坐标轴图-适用量级大差异

114.饼图制作要点-各元素构成

115.条形图-多项目比较

116.探讨堆积柱形图对比百分比堆积

117.堆积及百分比堆积条形图

118.漏斗图应用

119.复合饼图及条饼图

120.四象限散点图矩阵分析应用

121.排名统计平均线图

122.累计百分比分析-柏拉图

123.旋风图成对条形图-项目细分元素比较

124.瀑布图渠道预算分配

125.单选按钮实现图表动态化

126.控件实现多字段下拉动态图表

127.复选框实现指标趋势选择性显示

128.数据有效实现图表动态

129.PPT引用数据随Excel数据更新

131.新功能体验快速填充的快感

132.Excel2016专有图表-旭日图

133.Excel2016新图表直方图

134.Excel2016专有图表-树状图

135.Excel2016新图表箱型图

136.Excel2016新图表瀑布图

137.Power.Query安装和界面介绍

138.BI-Power-Query二维数据转一维

139.BI-Power-Query多工作表合并

140.Excel.Dashboard数据模型介绍

141.Dashboard.昨日关键数据指标设计

142.创造辅助列区域搭建动态数据

143.动态单选控件交互图表设计

144.辅助列下拉框控件实现多维度切换

146.启用宏录制宏应用

147.VBA编辑器菜单功能介绍

148.录制宏的问题解决

149.快速调用VBA宏的3种方法

150.巧用宏解放重复劳动

151.跳过隐藏行只粘贴可见单元格

152.Vlookup计算奖金房补

153.快速计算员工保险社保

154.设计高效的员工考勤表自动化上

155.设计高效的员工考勤表自动化下

156.多项目维度工资佣金乘积计算

157.销售阶梯工资计算详解

158.运用Lookup进行个税快速计算

159.按部门查询工资明细

160.按员工编号设计员工工资查询表

161.4种方法制作工资条

162.修改考勤表会遇到的问题解决

163.智能评估应付金额方案计算

164.两种高效录入工号的做法

166.数据有效性提醒和强制入职时间规范录入

167.数据有效性创造二级下拉菜单对应部门

168.规范身份证号码输入，保证18位且不能重

169.身份证判定男女性别

170.身份证判定出生日期

171.隐藏函数计算员工年龄工龄

172.快速查找某员工的花名册信息

173.身份证判定员工籍贯

174.考勤打卡迟到早退判断-考勤记录单行

二 自动化报表部分

00.课程配套资料

01.课程-图文版

02.课程-视频版

03.课程基本介绍

04.数据提取—手工数据源：跨表引用与表格合并技巧

05.数据提取—数据库与网络：ACCESS&SQL.SERVER&MYSQL&网页数据

06.数据处理—标准数据表：悟空模式数据样式随心变

07..数据处理—格式与标签：自定义格式维度标签做足前戏

08.报表设计—经典报表：公式参数化和颜色管理让老报表焕发新活力

09.报表设计—管理驾驶舱：百搭总分趋布局风格图表套路

10.报表设计—交互式图表：实用控件技巧交互式图表SO.EASY

11.错误检查：让三种深恶痛绝的数据错误自己跪下来唱《征服》

技能二 R语言数据分析实战

00.课程配套资料

00.课程配套资料

01.课程-图文版

02.课程-视频版

03.R语言的介绍和学习资源

04.R语言相关程序.的安装

05.R语言版本的更新流程

06.R语言快速入门

07.R语言之数据对象

08.R语言之向量化计算

09.R语言之函数与控制语句

10.R语言之本地文档读写

11.R语言之web数据获取

12.R语言之数据变换

13.R语言-数据汇总

14.R语言之字符串操作

15.R语言之时间数据操作

16.R语言之绘图函数

17.R语言之单变量处理

18.R语言之占比作图

19.R语言之多变量作图

20.R语言之时间和空间作图方式讲解

21.R语言之概率分布

22.R语言之假设检验

23.R语言之线性回归

24.R语言之多元线性回归

25.R语言之主成分分析

26.R语言之Logistic回归

27.R语言之数据挖掘流程

28.R语言之聚类分析

29.R语言之决策树等分类算法

图例：R语言文件输入输出操作示意图

技能三 SQL数据分析实战

00.课程配套资料

01.SQL与数据库的价值

02.为什么学习SQL

03.数据库MySQL软件介绍

04.MySQL?最新版5.71的全程操作演示

05.SQL的组成

06.数据语言定义

07.插入数据操作

08.更新修改删除数据

09.Dbeaver安装演示

10.Dbeaver下实操SQL代码

11.SQL.Server.还原数据库及文件导出

12.数据库基本查询

13.汇总函数及Group.by

14.Where和Like函数

15.数据库函数

16.字符函数

17.SQL多表合并

18.SQL多表查询原理

19.SQL多表内关联

20.SQL多表外关联

21.Excel现有连接关联SQL查询

22.Access使用SQL

23.R里面使用SQL查询语句

技能四 Python数据分析实战

00.课程配套资料

01.课程-图文版

02.课程-视频版

03.Python安装环境

04.Python.window系统下的安装补充

05.Python的功能和基础工具箱介绍

06.基本指令

07.基本数据结构

08.基本语法

09.本地文档的读写

10.数据库的读写

11.Web数据抓取

12.numpy工具包基础介绍

13.多维数组处理方式

14.进行array计算

15.Series介绍

16.Dataframe

17.使用pandas对大型数据处理

18.处理时间序列

19.数据可视化基础介绍

20.matplotlib图类型

21.用matplotlib作图

22.更高级的作图方法

23.基础统计计算

24.概率分布

25.假设检验

26.最优化问题

27.线性回归

28.逻辑回归

第二部分 补充学习

一 统计学分析与数据分析实战

00.课程配套资料

01.SQL与数据库的价值

02.为什么学习SQL

03.数据库MySQL软件介绍

04.MySQL?最新版5.71的全程操作演示

05.SQL的组成

06.数据语言定义

07.插入数据操作

08.更新修改删除数据

09.Dbeaver安装演示

10.Dbeaver下实操SQL代码

11.SQL.Server.还原数据库及文件导出

12.数据库基本查询

13.汇总函数及Group.by

14.Where和Like函数

15.数据库函数

16.字符函数

17.SQL多表合并

18.SQL多表查询原理

19.SQL多表内关联

20.SQL多表外关联

21.Excel现有连接关联SQL查询

22.Access使用SQL

23.R里面使用SQL查询语句

回归分析介绍

回归分析通常是指用一个或者多个输入X（称为自变量，解释变量或者预测变量）来预测输出Y（称为因变量，响应变量或者结果变量）的一种方法

连续型变量：如人的身高，每天的运动小时数

类别型变量：

无序类别变量：如性别，职业

有序类别变量：如运动强度（低，中，高），成绩（优，良，中，差）

回归模型

简单线性回归

用

一个

连续型的

解释变量预测

响应变量

比如：用广告投入金额去预测销售收入金额

销售收入=b+a*广告投入

简单多项式回归

响应变量，模型的关系是

n阶多项式

销售收入=b+a1*广告投入+a2*广告投入^2

多元线性回归

两个或多个

比如：用风速和当日辐照值去预测光伏电站的发电效率PR

发电效率PR=b+a1*风速+a2*当日辐照值

PR的多元回归曲面图

多元多项式回归

n阶多项式和交叉乘积项

比如：用广告投入金额和研发投入金额去预测销售收入金额

销售收入=b+a1*广告投入+a2*研发投入+a11*广告投入^2+a22*研发投入^2+a12*广告投入*研发投入

多变量回归

一个或者多个

解释变量

预测

多个

Logistic逻辑回归

一个或多个解释变量

类别型响应变量

注：Logistic回归的

解释变量可以是连续型变量，也可以是类别型变量

；响应变量是

类别型变量

比如：广告的点击率预估问题（

二分类问题

），图像识别问题（

多分类问题

）

Poison泊松回归

代表频数的变量

Cox比例风险回归

一个事件

（死亡，失败或者旧病复发）

发生的时间

回归模型总结

参考文献

《R语言实战》Robert I. Kabacoff

在之前的章节中，我们学会了使用lm()函数来拟合回归模型，通过summary()函数获取模型参数和相关统计量。但是，没有任何输出告诉你模型是否合适，你对模型参数推断的信息依赖于它在多大程度上满足模型统计假设。虽然使用summary()函数对模型有了整体的描述，但是它没有提供关于模型在多大程度上满足统计假设的任何信息。

这非常重要，因为数据的无规律性或者错误设定了预测变量与响应变量的关系，都将导致你的模型产生巨大的偏差。一方面，你可能得出了某个预测变量与响应变量无关的结论，但事实上它们相关；另一方面，情况可能恰好相反。当你的模型应用到真实世界中时，预测效果可能很差，误差显著。而回归诊断就是针对上述情况提出的，它研究的主要内容有：

关于误差项是否满足正态性、独立性、等方差性、正态性？选择线性模型是否合适？是否存在异常样本？回归分析的结果是否对某些样本的依赖过重？即回归模型是否具备稳定性？自变量之间是否存在高度相关？即是否有多重共线性问题存在？

Ｒ基础安装中提供了大量检验回归分析中统计假设的方法，最常见的方法就是对lm()函数返回的对象使用plot()函数，可以生成评价模型拟合情况的四幅图形。下面是简单线性回归的例子：

fit<-lm(weight~height,data=women)

par(mfrow=c(2,2))

plot(fit)

生成的图形如下图所示，par(mfrow=c(2,2))将plot()函数绘制的四幅图形组合在一个大的2*2的途中。

为了理解这些图形，先来掌握一些回归统计假设的知识：

正态性。当预测值固定时，因变量成正态分布，则残差值也应该是一个均值为0的正态分布。正态QQ图（Normal Q-Q，右上）是在正态分布对应的值下，标准化残差的概率图。若满足正态假设，那么图上的点应该落在呈45度角的直线上；若不是如此，那么久违反了正态性假设；独立性。你无法从这些图中分辨出因变量是否相互独立，只能从收集的数据中来验证。上面的例子中，没有任何先验的理由去相信一个女性的体重会影响到另外一位女性的体重。假若你发现数据是从一个家庭抽样得来的，那么可能必须要调整模型独立性的假设。线性。若因变量与自变量线性相关，那么残差值与预测（拟合）值就没有任何系统关联。换句话说，除了白噪声，模型应该包含数据中所有的系统方差，在“残差图与拟合图”（Residual vs Fitted）中可以清楚的看到一个曲线关系，这暗示着你可能需要对回归模型加上一个二次项。同方差性。若满足不变方差假设，那么在位置尺度（Scale-Location Graph，左下）中，水平线周围的点应该随机分布。该图似乎满足此假设。

最后一幅“残差与杠杆图”（Residuals vs Leverage，右下）提供了你可能关注的单个观测点的信息，从图形中可以鉴别出离群点、高杠杆值点和强影响点。下面来详细介绍：

一个观测点是离群点，表明拟合回归模型对其预测效果不佳；一个观测点有很高的杠杆值，表明它是一个异常的预测变量值的组合，也就是说，在预测变量空间中，它是一个离群点，因变量值不参与计算一个观测点的杠杆值；一个观测点是强影响点，表明它对模型参数的估计产生的影响过大，非常不成比例。

我们再看看二次拟合的诊断图：

大数据日益成为研究行业的重要研究目标，面对其高数据量、多维度与异构化的特点，以及分析方法思路的扩展，传统统计工具已经难以应对。工欲善其事，必先利其器。众多新的软件分析工具作为深入大数据洞察研究的重要助力，也成为数据科学家所必须掌握的知识技能。

为了帮你节省时间并且让你第一次使用就能挑选出正确的工具，我们搜集和整理了数据提取、数据存储、数据清洗、数据挖掘、数据分析和数据集成方面的我们最爱用的工具。

传统数据分析所用工具

1、Excel作为电子表格软件，适合简单统计（分组/求和等）需求，由于其方便好用，功能也能满足很多场景需要，所以实际成为研究人员最常用的软件工具。其缺点在于功能单一，且可处理数据规模小。这两年Excel在大数据方面（如地理可视化和网络关系分析）上也作出了一些增强，但应用能力有限。

2、SPSS（SPSS Statistics)和SAS作为商业统计软件，提供研究常用的经典统计分析（如回归、方差、因子、多变量分析等）处理。SPSS轻量、易于使用，但功能相对较少，适合常规基本统计分析

3、SAS功能丰富而强大（包括绘图能力），且支持编程扩展其分析能力，适合复杂与高要求的统计性分析。

数据存储和管理所用工具

Hadoop现在几乎已经等同于大数据。它是存储在计算机集群中的超大数据集的一个开源的分布式的基础架构。你可以随意增大或减小你的数据量而不用担心硬件故障。Hadoop提供了对任何种类的海量数据的存储、强大的处理能力和几乎无限的并行工作能力。

Hadoop并不适合数据初学者。要想充分发挥Hadoop的能力，你需要了解Java。学习Java可能耗时，但是Hadoop绝对值得你付出，因为大量的公司和技术都依赖于它甚至和它融为了一体。

数据清洗所用工具

在你进行数据挖掘之前，应该先对你的数据进行清洗。OpenRefine现在是一款用来专门清洗混乱数据的开源工具。从而使你能够轻松和快速的探索有一定程度非结构化的大数据集。

数据挖掘所用工具

数据挖掘作为大数据应用的重要领域，在传统统计分析基础上，更强调提供机器学习的方法，关注高维空间下复杂数据关联关系和推演能力。代表是SPSS Modeler，SPSS Modeler的统计功能相对有限,主要是提供面向商业挖掘的机器学习算法（决策树、神经元网络、分类、聚类和预测等）的实现。同时，其数据预处理和结果辅助分析方面也相当方便，这一点尤其适合商业环境下的快速挖掘。不过就处理能力而言，实际感觉难以应对亿级以上的数据规模。

大数据常用的编程语言

1、R语言是用来进行统计分析和绘图的一种语言。如果上述的数据挖掘和统计软件无法满足你的需求的话，那么R语言一定会有所帮助。实际上如果你要成为一个数据科学家，了解R语言是一项必备技能。

2、Python语言——最大的优势是在文本处理以及大数据量处理场景，且易于开发。在相关分析领域，Python代替R的势头越来越明显。

在你的数据生涯中学会单一工具很难一招鲜吃遍天。现在的工具虽然使用起来越来越简便，功能也越来越强大，但是有的时候还是自己编程更好一些。即使你不是一个专业程序员，理解这些语言的基本工作原理对诸多的工具的运行和使用方法的理解也是大有裨益。此外西线学院建议，数据分析员要发挥自身对业务的深入理解，从数据结果中洞察发现有深度的结果，这才是最有价值的。

身处互联网时代，用户需求差异化越来越大，要想解决用户痛点，就必须根据用户行为数据，制定行之有效的运营策略。然而在庞大的用户数据中，我们怎样才能高效的获取我们需要的数据呢？获取后又该怎样处理、分析呢？这就需要借助一些数据分析工具，比如Excel、SPSS、Python等等。其中SPSS具有五大特点：操作简便、功能强大、数据兼容、扩展便利、模块组合。

正因为它具备这五大特点，让大部分都是文科出生的运营喵们都爱不释手。在实际应用过程中，SPSS可以在零售领域用来刻画用户画像，在互联网领域通过用户浏览、消费行为进行聚类，研究总结用户特征等。

其实，SPSS就是一个傻瓜似的操作软件，你只需熟悉基本界面和常用功能，然后将你需要处理分析的数据导入进去，根据分析目的选择相应的分析功能，软件就会自动得到分析结果。

从上述可知，在数据分析的整个过程中有三点尤为重要：1）数据准备；2）选择合适的分析功能；3）对SPSS处理后的结果进行解读分析、验证。

对于数据准备，其实这并不在我们操心的范畴，因为一般都会有专门的数据分析同事给你提供数据，前提是你要明确你需要那些数据，比如一个电商要从目前的用户中找到高价值用户，那么可能需要用户的ID、交易日期、交易金额等数据。如果没有人为你准备数据，也不要担心，因为你可以通过python爬虫获得需要的数据，千万不要被爬虫吓到哦，因为只要动动手指就可以在网上找到各种爬虫开源代码，我们只要理解，应用就可以啦。

在数据准备好了以后，就需要根据分析目的选择合适的分析功能了。SPSS的功能非常强大，比如描述性统计、均值比较、一般线性模型、相关分析、回归分析、对数线性模型、聚类分析、数据简化、生存分析、时间序列分析、多重响应等几大类，每个大类中又分为很多小类。继续以上面举例中得到的数据为例，那么可以选择RFM分析来处理、分析上面得到的数据，最终可以得到下图所示结果，每个用户都贴了一个标签。

从下图可以看到，分析结果表相比较原始数据表多了几列新的数据，这些数据都是在分析过程产生的。

最后就是对SPSS处理后的结果进行解读分析、验证，该过程会遇到很多不清楚的变量名、图表，但是不要害怕，只要你明确了上面的分析功能之后，就可以凭借百度、谷歌得到相应的解释，你只需进行简单的判断就可以，比如x>0.5则代表模型拟合效果好，则可以采纳该分析结果；x<0.5则代表模型拟合效果不好，则不能采纳该分析结果。

没错，SPSS就是这样一个傻瓜式数据分析工具（这里忽略统计学理论），只要我们花点心思都可以掌握，从而利用它来探寻数据背后的意义，为我们的运营工作提供指导性意见。

干货分享：区分T检验与F检验

1. T 检验和 F 检验的由来

一般而言，为了确定从样本 (sample) 统计结果推论至总体时所犯错的概率，我们会利用统计学家所开发的一些统计方法，进行统计检定。

通过把所得到的统计检定值，与统计学家建立了一些随机变量的概率分布 (probability distribution) 进行比较，我们可以知道在多少 % 的机会下会得到目前的结果。倘若经比较后发现，出现这结果的机率很少，亦即是说，是在机会很 少、很罕有的情况下才出现；那我们便可以有信心的说，这不是巧合，是具有统计学上的意义的 (用统计学的话讲，就是能够拒绝虚无假设 null hypothesis,Ho)。相反，若比较后发现，出现的机率很高，并不罕见；那我们便不能很有信心的直指这不是巧合，也许是巧合，也许不是，但我们没 能确定。

F 值和 t 值就是这些统计检定值，与它们相对应的概率分布，就是 F 分布和 t 分布。统计显著性（sig）就是出现目前样本这结果的机率。

2.统计学意义（P 值或 sig 值）

结果的统计学意义，是结果真实程度（能够代表总体）的一种估计方法。专业上，p 值为结果可信程度的一个递减指标，p 值越大，我们越不能认为样本中变量的关联是 总体中各变量关联的可靠指标。p 值是将观察结果认为有效即具有总体代表性的犯错概率。如 p=0.05 提示样本中变量关联有 5% 的可能是由于偶然性造成的。 即假设总体中任意变量间均无关联，我们重复类似实验，会发现约 20 个实验中有一个实验，我们所研究的变量关联将等于或强于我们的实验结果。（这并不是说如 果变量间存在关联，我们可得到 5% 或 95% 次数的相同结果，当总体中的变量存在关联，重复研究和发现关联的可能性与设计的统计学效力有关。）在许多研究领 域，0.05 的 p 值通常被认为是可接受错误的边界水平。

3. T 检验和 F 检验

至於具体要检定的内容，须看你是在做哪一个统计程序。举一个例子，比如，你要检验两独立样本均数差异是否能推论至总体，而行的 t 检验。

两样本 (如某班男生和女生) 某变量 (如身高) 的均数并不相同，但这差别是否能推论至总体，代表总体的情况也是存在著差异呢？ 会不会总体中男女生根本没有差别，只不过是你那麼巧抽到这 2 样本的数值不同？

为此，我们进行 t 检定，算出一个 t 检定值。与统计学家建立的以「总体中没差别」作基础的随机变量 t 分布进行比较，看看在多少% 的机会 (亦即显著性 sig 值) 下会得到目前的结果。

若显著性 sig 值很少，比如 <0.05 (少於5% 机率)，亦即是说，「如果」总体「真的」没有差别，那麼就只有在机会很少(5%)、很罕有的情况下， 才会出现目前这样本的情况。虽然还是有5% 机会出错(1-0.05=5%)，但我们还是可以「比较有信心」的说：目前样本中这情况(男女生出现差异的情 况)不是巧合，是具统计学意义的，「总体中男女生不存差异」的虚无假设应予拒绝，简言之，总体应该存在著差异。

每一种统计方法的检定的内容都不相同，同样是t-检定，可能是上述的检定总体中是否存在差异，也同能是检定总体中的单一值是否等於0或者等於某一个数值。

至於F-检定，方差分析(或译变异数分析，Analysis of Variance)，它的原理大致也是上面说的，但它是透过检视变量的方差而进行的。它主要用于：均数差别的显著性检验、分离各有关因素并估计其对总变异 的作用、分析因素间的交互作用、方差齐性(Equality of Variances)检验等情况。

4. T 检验和 F 检验的关系

t 检验过程，是对两样本均数(mean)差别的显著性进行检验。惟 t 检验须知道两个总体的方差(Variances)是否相等；t 检验值的计算会因方差是否相等而有所不同。也就是说，t 检验须视乎方差齐性(Equality of Variances)结果。所以，SPSS在进行t-test for Equality of Means的同时，也要做Levene”s Test for Equality of Variances 。

1.在Levene”s Test for Equality of Variances一栏中 F值为2.36, Sig. 为.128，表示方差齐性检验「没有显著差异」，即两方差齐(Equal Variances)，故下面 t 检验的结果表中要看第一排的数据，亦即方差齐的情况下的t检验的结果。

2. 在t-test for Equality of Means中，第一排(Variances=Equal)的情况：t=8.892, df=84, 2-Tail Sig=.000, Mean Difference=22.99 既然Sig=.000，亦即，两样本均数差别有显著性意义！

3.到底看哪个Levene”s Test for Equality of Variances一栏中sig, 还是看t-test for Equality of Means中那个Sig. (2-tailed)啊?

答案是：两个都要看。

先看Levene”s Test for Equality of Variances，如果方差齐性检验「没有显著差异」，即两方差齐(Equal Variances)，故接著的t检验的结果表中要看第一排的数据，亦即方差齐的情况下的t检验的结果。

反之，如果方差齐性检验「有显著差异」，即两方差不齐(Unequal Variances)，故接著的t检验的结果表中要看第二排的数据，亦即方差不齐的情况下的t检验的结果。

你做的是T检验，为什么会有F值呢?

就是因为要评估两个总体的方差(Variances)是否相等，要做Levene”s Test for Equality of Variances，要检验方差，故所以就有F值。

另一种解释：

t检验有单样本t检验，配对t检验和两样本t检验。

单样本t检验：是用样本均数代表的未知总体均数和已知总体均数进行比较，来观察此组样本与总体的差异性。

配对t检验：是采用配对设计方法观察以下几种情形，1，两个同质受试对象分别接受两种不同的处理；2, 同一受试对象接受两种不同的处理；3，同一受试对象处理前后。

F检验又叫方差齐性检验。在两样本t检验中要用到F检验。

从两研究总体中随机抽取样本，要对这两个样本进行比较的时候，首先要判断两总体方差是否相同，即方差齐性。若两总体方差相等，则直接用t检验，若不等，可采用t”检验或变量变换或秩和检验等方法。

其中要判断两总体方差是否相等，就可以用F检验。若是单组设计，必须给出一个标准值或总体均值，同时，提供一组定量的观测结果，应用t检验的前提条件就是该组资料必须服从正态分布；若是配对设计，每对数据 的差值必须服从正态分布；

若是成组设计，个体之间相互独立，两组资料均取自正态分布的总体，并满足方差齐性。之所以需要这些前提条件，是因为必须在这样的 前提下所计算出的t统计量才服从t分布，而t检验正是以t分布作为其理论依据的检验方法。

简单来说就是实用T检验是有条件的，其中之一就是要符合方差齐次性，这点需要F检验来验证

统计学意义（p值）

结果的统计学意义是结果真实程度（能够代表总体）的一种估计方法。专业上，p值为结果可信程度的一个递减指标，p值越大，我们越不能认为样本中变量的关联是 总体中各变量关联的可靠指标。p值是将观察结果认为有效即具有总体代表性的犯错概率。如p=0.05提示样本中变量关联有5% 的可能是由于偶然性造成的。 即假设总体中任意变量间均无关联，我们重复类似实验，会发现约20个实验中有一个实验，我们所研究的变量关联将等于或强于我们的实验结果。（这并不是说如 果变量间存在关联，我们可得到5% 或95% 次数的相同结果，当总体中的变量存在关联，重复研究和发现关联的可能性与设计的统计学效力有关。）在许多研究领 域，0.05的p值通常被认为是可接受错误的边界水平。

如何判定结果具有真实的显著性

在最后结论中判断什么 样的显著性水平具有统计学意义，不可避免地带有武断性。换句话说，认为结果无效而被拒绝接受的水平的选择具有武断性。实践中，最后的决定通常依赖于数据集 比较和分析过程中结果是先验性还是仅仅为均数之间的两两>比较，依赖于总体数据集里结论一致的支持性证据的数量，依赖于以往该研究领域的惯例。通 常，许多的科学领域中产生p值的结果≤0.05被认为是统计学意义的边界线，但是这显著性水平还包含了相当高的犯错可能性。结果 0.05≥p>0.01 被认为是具有统计学意义，而 0.01≥p≥0.001 被认为具有高度统计学意义。但要注意这种分类仅仅是研究基础上非正规的 判断常规。

所有的检验统计都是正态分布的吗?

并不完全如此，但大多数检验都直接或间接与之有关，可 以从正态分布中推导出来，如 t检验、f 检验或卡方检验。这些检验一般都要求：所分析变量在总体中呈正态分布，即满足所谓的正态假设。许多观察变量的确是呈 正态分布的，这也是正态分布是现实世界的基本特征的原因。当人们用在正态分布基础上建立的检验分析非正态分布变量的数据时问题就产生了，（参阅非参数和方 差分析的正态性检验）。

这种条件下有两种方法：一是用替代的非参数检验（即无分布性检验），但这种方法不方便，因为从它所提供的结论形式看，这种方法统计 效率低下、不灵活。另一种方法是：当确定样本量足够大的情况下，通常还是可以使用基于正态分布前提下的检验。后一种方法是基于一个相当重要的原则产生的， 该原则对正态方程基础上的总体检验有极其重要的作用。即，随着样本量的增加，样本分布形状趋于正态，即使所研究的变量分布并不呈正态。

End.

作者：小遥yao/路上的你

来源：浅谈数据分析工具-SPSS/SPSS干货分享：区分T检验与F检验

实际在企业的数据分析应用中，分析人员对于数据处理的需求灵活多变，并且经常需要对不同的业务数据进行关联性分析。

IT部门提供的基本数据处理和基本的关联关系并不能完全满足分析人员的需求。比如分析人员需要根据公司产品销售明细数据分析购买用户的特征，并调整相应的销售策略，这个时候分析人员需要基于销售清单数据，计算一些相应的分析指标，如每个用户的消费频次，单笔消费最大金额，最近一次消费时间间隔等。这就要用到自助数据集来解决问题。如果分析人员还需要获取一些行业竞争数据，这就要根据同类型的产品，做关联分析和横向对比分析。

这些任务对于接触实际业务较少的IT部门来说，是很难在基础的数据分析中挖掘出来的，再加上业务调整和分析角度的变化不能及时和IT部门同步。这些都是企业在推行数据化管理过程中碰到的亟待解决的问题。

FineBI重点打造的自助数据集，一个是又花了业务提需求，IT做分析的配合流程。改为在一个平台上，IT准备好数据，业务拿着数据自己去分析。

其次，对于拿到的数据，自助数据集环节能帮助分析人员简单较快的对数据进行过滤、增加字段，删减字段，字段计算等可视化清洗操作。

一、FineBI自助数据准备介绍

传统工具在分析数据的过程中，需要极大的程度依赖管理员。业务人员在管理员那里获取数据后还需返还管理员处进行数据处理，这无疑是在做费时费力的无用功，管理员也沦为取数机。FineBI 重点打造的自助数据集，提供了各种简单高效的数据处理功能，给用户更好的数据处理体验，减少无效重复的沟通过程，提高数据分析的效率。

二、核心亮点

1.完善的数据管理策略，基于业务需求做好数据分类可视化管理

企业在发展过程中，信息化程度会不断提高，为了解决特定信息化问题，企业系统中的信息系统数量也越来越多，从企业的大粒度来看，业务流程有一定的联系，但是在细粒度上，数据相互独立，内在逻辑互不联系，信息孤岛问题十分严重。企业经常需要对这些独立系统进行整合，然后进行统一的数据分析。FineBI有着较为完善的数据管理策略：

支持丰富的数据源连接，帮助企业进行多样数据整合；支持数据业务包功能，提高数据分类管理效率；支持智能的表间字段关联，多种关联方式搭配使用；支持表与字段名称智能转义，增强数据可读可用性；FineBI自带数据处理工具，支持对数据进行转换处理，如构建自循环列。从数据采集到数据处理再到数据的存储和管理，FineBI完善的数据管理策略为前端的业务自由探索数据分析提供了强大的数据支持。

2.多种数据处理功能，可视化操作方式解放生产力

对于本身质量很差的数据进行分析往往是南辕北辙，得出来的分析结果可能是错误的，错误的分析结果必定导致错误的决策方案。为了避免这样的事情，当我们拿到数据时，需要对数据进行清洗，比如某些数据缺失，需要增加一些数据字段，某些数据需要重命名 、类型转换、异常值处理、合并等。这些都可以通过FineBI可视化的形式来实现。

3.智能继承数据表的权限与关联，IT省心，业务安心

管理员只需配置基础的数据权限和关联，用户在权限范围内操作，自动继承和关联数据集，提升双方效率。

对于IT管理员：只需要配置基础的数据关联和权限，用户不管进行怎样的数据处理，都一定是在其权限范围内操作，且自助数据集的关联也可以自动继承，不需要管理员再进行配置。对于业务分析人员：IT终于可以放心的将数据下放，分析用户也能拿到自己需要的数据，进行无限次处理和分析。4.Step by step，符合人类思维习惯的数据处理体验

用户在FineBI中的每一个操作都可以增加、删除和修改，并且提供预览。

容忍错误：每一步数据处理操作皆可增/删/改路径清晰：每一步数据处理清晰记录，效果可预览无限层级：无限层次数据加工分析，直到获取所需5.轻松搭建各类分析模型，帮助业务洞察

大佬们经典的数据分析模型在诸多领域和行业中得到了广泛的应用，也带来了实质的业务价值。同时，经典的数据分析模型，更易于我们快速上手，少走很多的弯路。使用FineBI的自助数据处理功能，可以轻松搭建各领域已有的经典业务分析模型，比如金字塔模型、KANO分析模型、RFM模型、购物篮分析模型、四象限模型等等，这些都可根据用户需求来套用，充分发挥数据和模型的价值。

6.预置数据挖掘算法，自助挖掘助力业务预测判断

大数据时代，最不可或缺的就是数据挖掘。数据挖掘，对于已经存在的数据，我们可以通过分析得到一定的规律；对于未知的数据，我们可以通过趋势进行预判。

FineBI内置五种算法：时间序列算法、聚类算法、分类算法，回归算法，关联算法，强化FineBI数据处理能力，与图形分析结合，拖拽展现预测结果。也就是说，如果你想预测未来的销售额，你想智能地给用户群分类，或者你想知道短信发给哪个用户获得的反馈可能性比较大，将会成为现实。集成r语言：如果需要更多的算法怎么办，FineBI也为这种复杂的挖掘需求提供了入口，可以直接在FineBI中进行r语言编译，完美的结合了r语言的统计能力优势和FineBI的展现优势。实现数据统计和分析的需求。集成Python语言：在FineBI中可进行Python语言编译，也支持直接对接Python的dataframe返回结果，实现数据统计和分析的需求，并可将结果通过FineBI展现。三、场景应用

1、通过数据清洗加工得到目标分析数据

图：通过点击鼠标完成新增指标的计算添加

2、构建经典分析模型

RFM客户价值模型

帕累托图分析（二八分析）

图1：二八分析模型搭建过程

矩阵分析模型

3、利用数据挖掘算法对数据潜在价值进行挖掘

4、企业级数据管控及分发

自助数据准备，将数据分发做到了极致。不同岗位的人可以对自助数据拥有不同的权限，控制人员是否能够查看、使用、编辑和分享数据，同时将数据分发的粒度控制大到数据库，小到数据表、数据集，甚至行列权限。

数据在当今世界意味着金钱。随着向基于app的世界的过渡，数据呈指数增长。然而，大多数数据是非结构化的，因此需要一个过程和方法从数据中提取有用的信息，并将其转换为可理解的和可用的形式。

数据挖掘或“数据库中的知识发现”是通过人工智能、机器学习、统计和数据库系统发现大数据集中的模式的过程。

免费的数据挖掘工具包括从完整的模型开发环境如Knime和Orange，到各种用Java、c++编写的库，最常见的是Python。数据挖掘中通常涉及到四种任务:

分类:将熟悉的结构概括为新数据的任务

聚类: 在数据中以某种方式查找组和结构的任务，而不需要在数据中使用已注意的结构。

关联规则学习: 查找变量之间的关系

回归: 旨在找到一个函数，用最小的错误来模拟数据。

下面列出了用于数据挖掘的免费软件工具

数据挖掘工具

1.Rapid Miner

Rapid Miner，原名YALE又一个学习环境，是一个用于机器学习和数据挖掘实验的环境，用于研究和实际的数据挖掘任务。毫无疑问，这是世界领先的数据挖掘开源系统。该工具以Java编程语言编写，通过基于模板的框架提供高级分析。

它使得实验可以由大量的可任意嵌套的操作符组成，这些操作符在XML文件中是详细的，并且是由快速的Miner的图形用户界面完成的。最好的是用户不需要编写代码。它已经有许多模板和其他工具，让我们可以轻松地分析数据。

2. IBM SPSS Modeler

IBM SPSS Modeler工具工作台最适合处理文本分析等大型项目，其可视化界面非常有价值。 它允许您在不编程的情况下生成各种数据挖掘算法。 它也可以用于异常检测、贝叶斯网络、CARMA、Cox回归以及使用多层感知器进行反向传播学习的基本神经网络。

3.Oracle Data Mining

Oracle。 作为“高级分析数据库”选项的一部分，Oracle数据挖掘功能允许其用户发现洞察力，进行预测并利用其Oracle数据。您可以构建模型来发现客户行为目标客户和开发概要文件。

Oracle Data Miner GUI使数据分析师、业务分析师和数据科学家能够使用相当优雅的拖放解决方案处理数据库内的数据。 它还可以为整个企业的自动化、调度和部署创建SQL和PL / SQL脚本。

4. Teradata

Teradata认识到，尽管大数据是令人敬畏的，但如果您实际上并不知道如何分析和使用它，那么它是毫无价值的。 想象一下，有数百万的数据点没有查询的技能。 这就是Teradata所提供的。它们提供数据仓库，大数据和分析以及市场营销应用程序方面的端到端解决方案和服务。

Teradata还提供一系列的服务，包括实施，业务咨询，培训和支持。

5. Framed Data

这是一个完全管理的解决方案，这意味着你不需要做任何事情，而是坐下来等待见解。 框架数据从企业获取数据，并将其转化为可行的见解和决策。 他们在云中训练、优化和存储产品的电离模型，并通过API提供预测，消除基础架构开销。 他们提供了仪表板和情景分析工具，告诉你哪些公司杠杆是驾驶你关心的指标。

6. Kaggle

Kaggle是全球最大的数据科学社区。 公司和研究人员张贴他们的数据，来自世界各地的统计人员和数据挖掘者竞相制作最好的模型。

Kaggle是数据科学竞赛的平台。 它帮助您解决难题，招募强大的团队，并扩大您的数据科学人才的力量。

3个步骤的工作 -

上传预测问题

提交

评估和交流

7. Weka

WEKA是一个非常复杂的数据挖掘工具。 它向您展示了数据集、集群、预测建模、可视化等方面的各种关系。您可以应用多种分类器来深入了解数据。

8. Rattle

Rattle代表R分析工具轻松学习。 它提供数据的统计和可视化汇总，将数据转换为可以轻松建模的表单，从数据中构建无监督模型和监督模型，以图形方式呈现模型的性能，并对新数据集进行评分。

它是一个使用Gnome图形界面在统计语言R编写的免费的开源数据挖掘工具包。 它运行在GNU / Linux，Macintosh OS X和MS / Windows下。

9. KNIME

Konstanz信息采集器是一个用户友好、可理解、全面的开源数据集成、处理、分析和探索平台。它有一个图形用户界面，帮助用户方便地连接节点进行数据处理。

KNIME还通过模块化的数据流水线概念集成了机器学习和数据挖掘的各种组件，并引起了商业智能和财务数据分析的注意。

10. Python

作为一种免费且开放源代码的语言，Python通常与R进行比较，以方便使用。 与R不同的是，Python的学习曲线往往很短，因此成了传奇。 许多用户发现，他们可以开始构建数据集，并在几分钟内完成极其复杂的亲和力分析。 只要您熟悉变量、数据类型、函数、条件和循环等基本编程概念，最常见的业务用例数据可视化就很简单。

11. Orange

Orange是一个以Python语言编写的基于组件的数据挖掘和机器学习软件套件。它是一个开放源码的数据可视化和分析的新手和专家。数据挖掘可以通过可视化编程或Python脚本进行。它还包含了数据分析、不同的可视化、从散点图、条形图、树、到树图、网络和热图的特征。

12. SAS Data Mining

使用SAS Data Mining商业软件发现数据集模式。 其描述性和预测性建模提供了更好的理解数据的见解。 他们提供了一个易于使用的GUI。 他们拥有自动化的数据处理工具，集群到最终可以找到正确决策的最佳结果。 作为一个商业软件，它还包括可升级处理、自动化、强化算法、建模、数据可视化和勘探等先进工具。

13. Apache Mahout

Apache Mahout是Apache软件基金会（Apache Software Foundation）的一个项目，用于生成主要集中在协作过滤、聚类和分类领域的分布式或其他可伸缩机器学习算法的免费实现。

Apache Mahout主要支持三种用例：建议挖掘采取用户行为，并尝试查找用户可能喜欢的项目。 集群需要 文本文档，并将它们分组为局部相关的文档。 分类从现有的分类文档中学习到特定类别的文档是什么样子，并能够将未标记的文档分配给（希望）正确的类别。

14. PSPP

PSPP是对采样数据进行统计分析的程序。 它有一个图形用户界面和传统的命令行界面。 它用C语言编写，使用GNU科学图书馆的数学例程，并绘制UTILS来生成图表。 它是专有程序SPSS（来自IBM）的免费替代品，可以自信地预测接下来会发生什么，以便您可以做出更明智的决策，解决问题并改进结果。

15. jHepWork

jHepWork是一个免费的开放源代码数据分析框架，它是为了使用开放源代码软件包和可理解的用户界面创建一个数据分析环境，并创建一个与商业程序相竞争的工具。

JHepWork显示数据集的交互式2D和3D图，以便更好地分析。 Java中实现了数字科学库和数学函数。 jHepWork基于高级编程语言Jython，但Java编码也可用于调用jHepWork数值库和图形库。

16. R programming Language

为什么R是这个名单上免费数据挖掘工具的超级巨星?它是免费的、开源的，并且很容易为那些没有编程经验的人挑选。实际上，有数以千计的库可以集成到R环境中，使其成为一个强大的数据挖掘环境。它是一个免费的软件编程语言和软件环境，用于统计计算和图形。

在数据采矿者中广泛使用R语言进行统计软件和数据分析。近年来，易用性和可扩展性大大提高了R的知名度。

17. Pentaho

Pentaho为数据集成，业务分析和大数据提供了一个全面的平台。 有了这个商业工具，你可以轻松地融合任何来源的数据。 深入了解您的业务数据，为未来做出更准确的信息驱动决策。

18. Tanagra

TANAGRA是一个用于学术和研究目的的数据挖掘软件。 有探索性数据分析，统计学习，机器学习和数据库领域的工具。 Tanagra包含一些监督学习，但也包括其他范例，如聚类，因子分析，参数和非参数统计，关联规则，特征选择和构建算法。

19. NLTK

自然语言工具包，是一套用于Python语言的符号和统计自然语言处理（NLP）的库和程序。 它提供了一个语言处理工具库，包括数据挖掘，机器学习，数据报废，情感分析和其他各种语言处理任务。 构建python程序来处理人类语言数据。

　　【IT168 技术】本文推荐一些免费的预测分析软件，它们主要用于分析统计使用，机器学习和数据挖掘来寻找关于客户行为，市场趋势和原始数据集中其他领域的线索的相关性和模式。其中一些预测建模解决方案可通过许可，免费获得开源或社区版本;其中一些预测分析软件是商业版本的免费版或社区版，但提供的功能较少。

　　什么是预测分析软件?

　　预测分析是高级分析的一个分支，用于对未来未知事件进行预测。预测分析使用数据挖掘，统计，建模，机器学习和人工智能等多种技术来分析当前数据，以预测未来!那么下面将为大家简单介绍一下以下的20多款工具!

　　1.R Software Environment

　　R是用于统计计算和图形的免费软件，可运行在各种UNIX，Windows和Mac OS平台上。R提供了广泛的统计功能，如线性，非线性建模，经典统计测试，时间序列分析，分类，聚类和图形技术。它也是高度可扩展的，提供数据操作，计算和图形显示，数据处理，数组计算，数据分析工具，包括条件，循环和许多其他功能的编程语言。语言主要用于统计方法论的研究，R为它们提供了一个开源的途径，可以在R中产生精心设计的质量图，包括数学符号和公式。

　　2.Dataiku

　　Dataiku Data Studio(DSS)是一个软件平台，汇总了从原始数据到生产应用程序所需的所有步骤和大数据工具。DSS分析数据通过简单的界面操作，即可找到数据中的相关性和重要变量，并测试最佳拟合模型。DSS还可以将模型和预测值发布到各种其他目的地，例如ElasticSearch，FTP服务器和内部数据仓库。

▲

　　3.Orange Data mining

　　Orange Data mining是一个开源的数据可视化和分析工具。数据挖掘是通过可视化编程或通过Python脚本完成的。Orange会记住这些选择，提供最常用的组合，并智能地选择要使用的小部件之间的通信通道。可以利用情节，条形图，树状图，网络和热图来进行可视化。有机器学习的组件，可用于生物信息学和文本挖掘。该解决方案包含了用于数据分析的功能，并且在Orange中有超过100个小部件。

▲

　　4.RapidMiner

　　RapidMiner可作为数据分析的独立应用程序使用，也可作为集成到专有产品中的数据挖掘引擎。RapidMiner提供数据挖掘和机器学习程序，包括数据加载和转换，数据预处理，可视化，建模，评估和部署。RapidMiner是用Java编程语言编写的。它采用的学习计划和归属来自于Weka的机器学习环境，统计建模方案来自R Project。可用于文本挖掘，多媒体挖掘，功能设计，数据流挖掘的集成方法的发展，以及分布式数据挖掘。

　　RapidMiner v6.0仍然是开源的。RapidMiner的最新版本现在仅作为试用版或商业许可证提供。

▲

　　5.Anaconda

　　Anaconda是一个由Python支持的开放式数据科学平台。 Anaconda的开源版本是Python和R的高性能版本，包括超过100种用于数据科学的最受欢迎的Python，R和Scala软件包。还可以访问超过720个软件包，可以使用包含在Anaconda中的conda，包，从属关系等。

▲

　　6.KNIME

　　KNIME桌面版是开源的，是用户友好的数据访问，数据转换，初步调查，预测分析，可视化和报告的图形工作台。开放的集成平台提供了1000多个模块或节点。KNIME还提供了基于数据信息开发报告的能力，并将新见解的应用自动化回到生产系统。KNIME产品有KNIME Desktop，KNIME Professional，KNIME Team Space，KNIME Server和KNIME Cluster Execution。 KNIME Desktop可以自由下载到桌面。基于Eclipse平台的，并且有双重许可证。非开源产品中的功能包括共享存储库，身份验证，远程执行，调度，SOA集成和Web用户界面。

▲

　　7.DMWay

　　DMWay使得预测分析更易于获取并且价格合理。DMWay解决方案允许用户在几个小时或几天而不是几个月的时间内建立更好的预测模型，这可以适应任何行业。DMWay分析引擎可以提供最高级别的建模。分析引擎设计用于模拟经验丰富的数据科学家采取的步骤，以建立准确有效的分析模型。DMWay评分引擎是建议企业寻求协助部署由分析引擎提供的预测分析结果的工具。

　　这个创新的解决方案是通过使用专家系统方法而不是“机器人”方法来实现的，模仿有经验的数据科学家关于构建大规模预测模型的方式。DMWay评分引擎是为企业寻求协助部署由分析引擎提供的预测分析结果而推荐的工具。

▲

　　8.HP Haven Predictive Analytics

　　HP Distributed R是R语言的开源，可扩展和高性能平台，可加速大规模机器学习，统计分析和图形处理。Haven Predictive Analytics为HP Vertica提供数据加速和原生SQL支持。与市场领先的列式MPP数据库的本地集成将总体数据访问性能提高了5倍，并提供了一整套经过验证的开箱即用的并行算法，以成熟的标准R算法生成准确一致的结果。是预测分析免费，完全兼容开源R语言和工具，并得到惠普企业的支持，并按每个节点定价。HP Haven Predictive Analytics由HP Vertica和Distributed R提供支持。Distributed R是基于与HP Labs开发的开放源代码R语言的高性能分析引擎，可满足要求最苛刻的大数据预测分析任务。分布式R提高了性能，并允许用户分析比以前流行的R统计编程语言更大的数据集。

　　9.GraphLab Create

　　GraphLab Create是一个为开发人员和数据科学家构建的机器学习平台，具有函数式编程技巧和对数据科学的一些基本理解。能够轻松地实现从想法到生产的原型和规模。示例服务包括推荐系统，欺诈检测或客户流失预测器。开发人员和数据科学家能够快速部署并轻松与其他应用程序集成。Discover版本提供免费的开发者许可证，并提供社区论坛支持。

▲

　　10.Lavastorm分析引擎

　　Lavastorm分析引擎公开版是一个易于使用，成本效益的工具，用于临时发现和业务分析。公开版对于希望将分析处理能力放在桌面上的用户非常理想，而且不需要大型数据处理能力，提供自动持续分析和协作功能。Lavastorm是一种可视化的数据发现解决方案，可以让你快速整合不同的数据，轻松发现洞察，并持续检测异常，异常值或模式。它为企业用户提供自助服务能力，为IT用户提供集成，分析和业务控制领域的快速开发能力。其功能包括从任何来源(包括大数据源)获取，转换，合并和丰富数据，而不需要大量建模，预先规划或用脚本。可检测数据问题，如完整性，格式不一致，准确性，自动化评估和清理流程。

▲

　　11.Actian Vector Express

　　Actian Analytics Platform(Express Hadoop SQL Edition)是Hadoop内部运行100%的免费社区版的端到端分析平台。Actian分析平台将Hadoop转变为一个高性能的分析平台，使企业能够通过分析来自多个来源的数据而无需采样，从而提高预测和决策的准确性。Actian Express，Hadoop SQL Edition使用现有的Hadoop集群提供高速和性价比。Actian Vector Express是Actian分析平台的免费社区版本，旨在提供快速简单的方法来提高分析的性能。它建立在基于矢量的分析数据库基础之上，Actian Express提供很好的性能和性价比，并且需要更少的硬件，几乎不需要调整。Actian Vector Express包括以下功能：分析工作台 - 快速构建可视工作流程准备，转换和分析数据，分析数据库 - 在几秒钟内运行复杂的查询反对数十亿条记录和管理控制台。

▲

　　12.Scikit-learn

　　scikit-learn是简单高效的数据挖掘和数据分析工具。它是Python中的机器学习库，建立在NumPy，SciPy和matplotlib之上，它也是开源的。其特点包括分类，回归，聚类，降维，模型选择和预处理。

▲

　　13.微软R

　　R是强大的，用于统计计算，机器学习和图形的首选编程语言，并得到用户，开发者的繁荣的社区支持。R家族包括，服务器，客户端，SQL Server等服务。支持各种大数据统计，预测建模和机器学习功能，R Server支持基于开源R的全方位的分析探索，分析，可视化和建模。Microsoft R客户端是免费的社区支持。

　　14.H2O.ai

　　H2O是一个开源的预测分析平台。H2O用户可以轻松地从微软Excel和RStudio中探索和建模大数据，并将其与来自HDFS，S3，SQL和NoSQL数据源的数据连接起来。H2O讲述了数据科学的语言，支持R，Python，Scala，Java和强大的REST API。业务应用程序由H2O的NanoFastTM评分引擎提供支持。包括：分布式算法和回归树，如GBM，随机森林(RF)，广义线性模型(GLM)，k-均值和主成分分析(PCA)。

　　15.Weka Data Mining

　　Weka是用于数据挖掘任务的机器学习算法的集合。算法可以直接应用于数据集，也可以从Java代码调用。Weka包含用于数据处理，分类，回归，聚类，关联规则和可视化的工具。它也非常适合开发新的机器学习方案。 Weka是用Java编写的，由新西兰怀卡托大学开发。

▲

　　16.Apache Spark

　　Apache Spark是用于大规模数据处理的快速且通用的引擎。Spark需要一个集群管理器和一个分布式存储系统。对于集群管理，Spark支持独立(本地Spark集群)，Hadoop YARN或Apache Mesos。对于分布式存储，Spark能与各种各样的，包括Hadoop分布式文件系统(HDFS)，MAPRA文件系统(FS-MAPRA)，Cassandra，OpenStack Swift，亚马逊S3，Kudu，或自定义解决方案实现对接。

　　17.Octave

　　Octave是数字计算的高级解释语言。它提供了数据可视化和操纵的线性，非线性问题和图形的解决方案。有许多可用于公共数值线性代数解决问题的工具，寻找非线性方程的根，集成普通功能，操纵多项式，及整合的普通微分和代数微分方程。

▲

　　18.Tanagra

　　Tanagra是一个用于学术和研究目的的免费数据挖掘软件，它具有探索性数据分析，统计学习，机器学习和数据库等多种数据挖掘方法的功能。支持标准的数据挖掘任务，如：可视化，描述性统计，实例选择，特征选择，功能建设，回归，影响因子分析，聚类，分类和关联规则的学习。

　　19.PredictionIO

　　PredictionIO是一款开源的机器学习服务器，可以让软件开发人员创建个性化，推荐和内容发现等预测功能。通过PredictionIO，预测这种特点的用户行为，提供个性化的视频，新闻，交易，广告，职位，事件，文件，应用程序，餐馆和匹配服务。

　　20.Apache Mahout

　　Apache Mahout提供可扩展的机器学习算法，主要集中在协作过滤，聚类和分类。许多实现使用Apache Hadoop平台，包括成熟的Hadoop MapReduce算法，Scala，Spark和H2O算法。协同过滤：基于用户的协同过滤，基于项目的协同过滤，矩阵分解与ALS，矩阵分解与隐式反馈和加权矩阵分解，SVD + ALS。

回归分析法，即二元一次线性回归分析预测法

先以一个小故事开始本文的介绍。十三多年前，笔者就职于深圳F集团时，曾就做年度库存预测报告，与笔者新入职一台籍高管Edwin分别按不同的方法模拟预测下一个年度公司总存货库存。令我吃惊的是，本人以完整的数据推算做依据，做出的报告结果居然与仅入职数周，数据不齐全的Edwin制定的报告结果吻合度达到99%以上。仍清楚记得，笔者曾用得是标准的周转天数计算公式反推法，而Edwin用的正是本文重点介绍的二元一次线性回归分析法。

二元一次线性回归分析法是一种数据分析模型。

在EXCEL函数公式是FORECAST（英文意思是：预测），其用途是根据一条线性回归拟合线返回一个预测值，此函数使用可对未来销售额、库存需求或未来数据趋势进行预测分析。

要做好库存预测须具备几个条件，首先须具备过去较长的某个时间段的完整整的数据。这里说的时间段最好是上一年度一整年或最近两年的数据。

完整的数库据指的是需要有年度对应每个月的实际库存与营收额或销货成本。

同样我们把库存预测肢解成几个关键步骤。

第一步：数据准备，依要求对EXCEL公式数据输入

先看一组实际的数据，其中蓝色字体是已知具备的数据，黄色则是需要预测的库存数据。预测库存，则至少需要具备的数据是标注蓝色三行数据。为别是：上一年度月营收，上一年度月实际库存，本年度月营收目标。可参照始下截图与视频。

第二步：依KPI目标调整预测数据

假设要求实际目标要求对总体存货周转率提升10%，则总体平均存货库存也减少10%，具体数据如下截图标注粉色行。

第三步：把总库存分解成不同物料形态的库存。这里讲的不同类别可以指的是：

物料形态分类：原材料、半成品、在制品以及成品等。

仓码分类：原材料仓、包装仓、成品仓、重要物资仓、五金仓、配件仓以及辅助物料仓等。

这里我们以第一种物料类型实例说明。须依据上年度不同物料类别占总库存的比率，再计算对应类别库存总额，如下截图。

第四：验证二无一次线性回归分析方法的准确度。

存货周转天数=(（期初库存+期末库存）/2*30）/(营收*物料成本率）=(平均库存*30）/销售成本。

依公式反推预测库存，平均库存=（目标周转天数*营收*物料成本率）/30，前提需要更多的数据信息，包括物料成本率与以往的周转天数做为计划依据。

如下截图，两种不同的方法得出库存预测吻度为97%（或103%）。

企业管理中，要快速地对企业活动做出判断，需要完整的数据管理积累支撑

二元一次回归分析法做库存预测速度快，效率更高。而标准的周转天数计算预法会更准确与准确。到底应当选择哪个方法？不同的时期，不同的方法如何选择则是仁者见仁，没有对或错，只有合适与否。但有肯定的一点，那就是类似二元一次回归分析法管理工具的熟练应用，则一定对会对企业管理起到更好的帮助，在做数据调研时也是个好的选择。

前言

1.“回归”一词的由来

我们不必在“回归”一词上费太多脑筋。英国著名统计学家弗朗西斯·高尔顿（Francis Galton,1822—1911）是最先应用统计方法研究两个变量之间关系问题的人。“回归”一词就是由他引入的。他对父母身高与儿女身高之间的关系很感兴趣，并致力于此方面的研究。高尔顿发现，虽然有一个趋势：父母高，儿女也高；父母矮，儿女也矮，但从平均意义上说，给定父母的身高，儿女的身高却趋同于或者说回归于总人口的平均身高。换句话说，尽管父母双亲都异常高或异常矮，儿女身高并非也普遍地异常高或异常矮，而是具有回归于人口总平均高的趋势。更直观地解释，父辈高的群体，儿辈的平均身高低于父辈的身高；父辈矮的群体，儿辈的平均身高高于其父辈的身高。用高尔顿的话说，儿辈身高的“回归”到中等身高。这就是回归一词的最初由来。

回归一词的现代解释是非常简洁的：回归时研究因变量对自变量的依赖关系的一种统计分析方法，目的是通过自变量的给定值来估计或预测因变量的均值。它可用于预测、时间序列建模以及发现各种变量之间的因果关系。

使用回归分析的益处良多，具体如下：

1) 指示自变量和因变量之间的显著关系；

2) 指示多个自变量对一个因变量的影响强度。

回归分析还可以用于比较那些通过不同计量测得的变量之间的相互影响，如价格变动与促销活动数量之间的联系。这些益处有利于市场研究人员，数据分析人员以及数据科学家排除和衡量出一组最佳的变量，用以构建预测模型。

2.为什么使用回归分析

1）更好地了解

对某一现象建模，以更好地了解该现象并有可能基于对该现象的了解来影响政策的制定以及决定采取何种相应措施。基本目标是测量一个或多个变量的变化对另一变量变化的影响程度。示例：了解某些特定濒危鸟类的主要栖息地特征（例如：降水、食物源、植被、天敌），以协助通过立法来保护该物种。

2）建模预测

对某种现象建模以预测其他地点或其他时间的数值。基本目标是构建一个持续、准确的预测模型。示例：如果已知人口增长情况和典型的天气状况，那么明年的用电量将会是多少？

3）探索检验假设

还可以使用回归分析来深入探索某些假设情况。假设您正在对住宅区的犯罪活动进行建模，以更好地了解犯罪活动并希望实施可能阻止犯罪活动的策略。开始分析时，您很可能有很多问题或想要检验的假设情况。

回归分析的作用主要有以下几点：

1）挑选与因变量相关的自变量；

2）描述因变量与自变量之间的关系强度；

3）生成模型，通过自变量来预测因变量；

4）根据模型，通过因变量，来控制自变量。

回归分析方法

现在有各种各样的回归技术可用于预测，这些技术主要包含三个度量：自变量的个数、因变量的类型以及回归线的形状。

1.回归分析方法

1）线性回归

线性回归它是最为人熟知的建模技术之一。线性回归通常是人们在学习预测模型时首选的少数几种技术之一。在该技术中，因变量是连续的，自变量（单个或多个）可以是连续的也可以是离散的，回归线的性质是线性的。线性回归使用最佳的拟合直线（也就是回归线）建立因变量 (Y) 和一个或多个自变量 (X) 之间的联系。用一个等式来表示它，即：

Y=a+b*X + e

其中a 表示截距，b 表示直线的倾斜率，e 是误差项。这个等式可以根据给定的单个或多个预测变量来预测目标变量的值。

一元线性回归和多元线性回归的区别在于，多元线性回归有一个以上的自变量，而一元线性回归通常只有一个自变量。

线性回归要点：

1）自变量与因变量之间必须有线性关系；

2）多元回归存在多重共线性，自相关性和异方差性；

3）线性回归对异常值非常敏感。它会严重影响回归线，最终影响预测值；

4）多重共线性会增加系数估计值的方差，使得估计值对于模型的轻微变化异常敏感，结果就是系数估计值不稳定；

5）在存在多个自变量的情况下，我们可以使用向前选择法，向后剔除法和逐步筛选法来选择最重要的自变量。

2）Logistic回归

Logistic回归可用于发现 “事件=成功”和“事件=失败”的概率。当因变量的类型属于二元（1 / 0、真/假、是/否）变量时，我们就应该使用逻辑回归。这里，Y 的取值范围是从 0 到 1，它可以用下面的等式表示：

odds= p/ (1-p) = 某事件发生的概率/ 某事件不发生的概率

ln(odds) = ln(p/(1-p))

logit(p) = ln(p/(1-p)) =b0+b1X1+b2X2+b3X3....+bkXk

如上，p表述具有某个特征的概率。在这里我们使用的是的二项分布（因变量），我们需要选择一个最适用于这种分布的连结函数。它就是Logit 函数。在上述等式中，通过观测样本的极大似然估计值来选择参数，而不是最小化平方和误差（如在普通回归使用的）。

Logistic要点：

1）Logistic回归广泛用于分类问题；

2）Logistic回归不要求自变量和因变量存在线性关系。它可以处理多种类型的关系，因为它对预测的相对风险指数使用了一个非线性的 log 转换；

3）为了避免过拟合和欠拟合，我们应该包括所有重要的变量。有一个很好的方法来确保这种情况，就是使用逐步筛选方法来估计Logistic回归；

4）Logistic回归需要较大的样本量，因为在样本数量较少的情况下，极大似然估计的效果比普通的最小二乘法差；

5）自变量之间应该互不相关，即不存在多重共线性。然而，在分析和建模中，我们可以选择包含分类变量相互作用的影响；

6）如果因变量的值是定序变量，则称它为序Logistic回归；

7）如果因变量是多类的话，则称它为多元Logistic回归。

3）Cox回归

Cox回归的因变量就有些特殊，它不经考虑结果而且考虑结果出现时间的回归模型。它用一个或多个自变量预测一个事件（死亡、失败或旧病复发）发生的时间。Cox回归的主要作用发现风险因素并用于探讨风险因素的强弱。但它的因变量必须同时有2个，一个代表状态，必须是分类变量，一个代表时间，应该是连续变量。只有同时具有这两个变量，才能用Cox回归分析。Cox回归主要用于生存资料的分析，生存资料至少有两个结局变量，一是死亡状态，是活着还是死亡；二是死亡时间，如果死亡，什么时间死亡？如果活着，从开始观察到结束时有多久了？所以有了这两个变量，就可以考虑用Cox回归分析。

4）poisson回归

通常，如果能用Logistic回归，通常也可以用poission回归，poisson回归的因变量是个数，也就是观察一段时间后，发病了多少人或是死亡了多少人等等。其实跟Logistic回归差不多，因为logistic回归的结局是是否发病，是否死亡，也需要用到发病例数、死亡例数。

5）Probit回归

Probit回归意思是“概率回归”。用于因变量为分类变量数据的统计分析，与Logistic回归近似。也存在因变量为二分、多分与有序的情况。目前最常用的为二分。医学研究中常见的半数致死剂量、半数有效浓度等剂量反应关系的统计指标，现在标准做法就是调用Pribit过程进行统计分析。

6）负二项回归

所谓负二项指的是一种分布，其实跟poission回归、logistic回归有点类似，poission回归用于服从poission分布的资料，logistic回归用于服从二项分布的资料，负二项回归用于服从负二项分布的资料。如果简单点理解，二项分布可以认为就是二分类数据，poission分布就可以认为是计数资料，也就是个数，而不是像身高等可能有小数点，个数是不可能有小数点的。负二项分布，也是个数，只不过比poission分布更苛刻，如果结局是个数，而且结局可能具有聚集性，那可能就是负二项分布。简单举例，如果调查流感的影响因素，结局当然是流感的例数，如果调查的人有的在同一个家庭里，由于流感具有传染性，那么同一个家里如果一个人得流感，那其他人可能也被传染，因此也得了流感，那这就是具有聚集性，这样的数据尽管结果是个数，但由于具有聚集性，因此用poission回归不一定合适，就可以考虑用负二项回归。

7）weibull回归

中文有时音译为威布尔回归。关于生存资料的分析常用的是cox回归，这种回归几乎统治了整个生存分析。但其实夹缝中还有几个方法在顽强生存着，而且其实很有生命力。weibull回归就是其中之一。cox回归受欢迎的原因是它简单，用的时候不用考虑条件（除了等比例条件之外），大多数生存数据都可以用。而weibull回归则有条件限制，用的时候数据必须符合weibull分布。如果数据符合weibull分布，那么直接套用weibull回归自然是最理想的选择，它可以给出最合理的估计。如果数据不符合weibull分布，那如果还用weibull回归，那就套用错误，结果也就会缺乏可信度。weibull回归就像是量体裁衣，把体形看做数据，衣服看做模型，weibull回归就是根据某人实际的体形做衣服，做出来的也就合身，对其他人就不一定合身了。cox回归，就像是到商场去买衣服，衣服对很多人都合适，但是对每个人都不是正合适，只能说是大致合适。至于到底是选择麻烦的方式量体裁衣，还是选择简单到商场直接去买现成的，那就根据个人倾向，也根据具体对自己体形的了解程度，如果非常熟悉，自然选择量体裁衣更合适。如果不大了解，那就直接去商场买大众化衣服相对更方便些。

8）主成分回归

主成分回归是一种合成的方法，相当于主成分分析与线性回归的合成。主要用于解决自变量之间存在高度相关的情况。这在现实中不算少见。比如要分析的自变量中同时有血压值和血糖值，这两个指标可能有一定的相关性，如果同时放入模型，会影响模型的稳定，有时也会造成严重后果，比如结果跟实际严重不符。当然解决方法很多，最简单的就是剔除掉其中一个，但如果实在舍不得，觉得删了太可惜，那就可以考虑用主成分回归，相当于把这两个变量所包含的信息用一个变量来表示，这个变量我们称它叫主成分，所以就叫主成分回归。当然，用一个变量代替两个变量，肯定不可能完全包含他们的信息，能包含80%或90%就不错了。但有时候我们必须做出抉择，你是要100%的信息，但是变量非常多的模型？还是要90%的信息，但是只有1个或2个变量的模型？打个比方，你要诊断感冒，是不是必须把所有跟感冒有关的症状以及检查结果都做完？还是简单根据几个症状就大致判断呢？我想根据几个症状大致能确定90%是感冒了，不用非得100%的信息不是吗？模型也是一样，模型是用于实际的，不是空中楼阁。既然要用于实际，那就要做到简单。对于一种疾病，如果30个指标能够100%确诊，而3个指标可以诊断80%，我想大家会选择3个指标的模型。这就是主成分回归存在的基础，用几个简单的变量把多个指标的信息综合一下，这样几个简单的主成分可能就包含了原来很多自变量的大部分信息。这就是主成分回归的原理。

9）岭回归

当数据之间存在多重共线性（自变量高度相关）时，就需要使用岭回归分析。在存在多重共线性时，尽管最小二乘法（OLS）测得的估计值不存在偏差，它们的方差也会很大，从而使得观测值与真实值相差甚远。岭回归通过给回归估计值添加一个偏差值，来降低标准误差。

上面，我们看到了线性回归等式：

y=a+ b*x

这个等式也有一个误差项。完整的等式是：

y=a+b*x+e (误差项), [误差项是用以纠正观测值与预测值之间预测误差的值]

=> y=a+y= a+ b1x1+ b2x2+....+e, 针对包含多个自变量的情形。

在线性等式中，预测误差可以划分为 2 个分量，一个是偏差造成的，一个是方差造成的。预测误差可能会由这两者或两者中的任何一个造成。在这里，我们将讨论由方差所造成的误差。岭回归通过收缩参数 λ（lambda）解决多重共线性问题。请看下面的等式：

在这个等式中，有两个组成部分。第一个是最小二乘项，另一个是 β2（β-平方）和的 λ 倍，其中 β 是相关系数。λ 被添加到最小二乘项中用以缩小参数值，从而降低方差值。

岭回归要点：

1）除常数项以外，岭回归的假设与最小二乘回归相同；

2）它收缩了相关系数的值，但没有达到零，这表明它不具有特征选择功能；

3）这是一个正则化方法，并且使用的是 L2 正则化。

10）偏最小二乘回归

偏最小二乘回归也可以用于解决自变量之间高度相关的问题。但比主成分回归和岭回归更好的一个优点是，偏最小二乘回归可以用于例数很少的情形，甚至例数比自变量个数还少的情形。所以，如果自变量之间高度相关、例数又特别少、而自变量又很多，那就用偏最小二乘回归就可以了。它的原理其实跟主成分回归有点像，也是提取自变量的部分信息，损失一定的精度，但保证模型更符合实际。因此这种方法不是直接用因变量和自变量分析，而是用反映因变量和自变量部分信息的新的综合变量来分析，所以它不需要例数一定比自变量多。偏最小二乘回归还有一个很大的优点，那就是可以用于多个因变量的情形，普通的线性回归都是只有一个因变量，而偏最小二乘回归可用于多个因...