大家好我是零级程序员，今天给大家带来一维数组的知识。接下来介绍一下数组吧~~~

看着我坚毅的眼神~~~准备了

数组：同一种类型数据的集合，本身为一个容器

好处：方便操作数据元素，数组中的数据元素

定义数组：

1.数组定义格式

数据类型 [] 变量名=new 数据类型[长度];

例： int [] array=new int [5];

分析数组：

int：数据类型（基本数据类型/引用数据类型）

[]：定义的数组类型

array:变量名

int [] array也可以定义成：int array[]

右边：

new int [5];

new:创建数组对象的关键字

int[5]:数组最多可以存放多少数据元素

数组相关数据类型默认值：

int 0 double 0.0

String null blooean flase

初始化数组：

动态初始化：

数据类型 [] 变量名=new 数据类型[长度]；

变量名[0]=值；

...

静态初始化：

遍历数组：

for（初始值；判断条件；i++）{

}

foreach(元素类型 变量名：要遍历的数组){

依次查询时候只需要输出变量名

注意点： 数组下标从0开始，到n-1结束

接下来我们先搞个示例看看：

图一

图二

我们再来一个示例，遍历数组信息和长度：

图三

图四

再来：

图五

应该理解的差不多了，我们在做一个练习熟练一下吧：

功能要求：

获取数组中的最大值信息： int a[]={12,22,35,89,555};

图六

图七

今天最后一个练习，求和：

获取下列数组数字和信息：int a[]={12,32,45,13,67,23};

最后的结果是192

以上就是今天关于数组的分享，这里只介绍了基础的一维数组，并不是很难吧。下一篇再给大家介绍二维数组。好了，分享到这里，祝你们开心每一天乛乛

文/爱啃骨头的猫咪

一年前我从商务专员转岗到新媒体运营，中间经历了很多特别难熬的时间，很多人都问我如果我想进入互联网行业开始做新媒体运营，那么我要读一些什么书？下面就是我在转岗的时候亲自读过的一些书，可能会对刚入行的你有帮助。

基础篇

1.张亮《从零开始做运营》（入门篇+进阶篇）

对于初入运营的小白来说，这两本书简直是打开了你进入运营大门的板砖。

我在刚刚转到运营岗位的时候，对于运营岗位一点都不了解，从豆瓣上看到网友推荐这本书，然后开始学习运营知识，作为启蒙读本。本书并没有繁重的理论技术讲解，大多都通俗易懂，本书中多是谈论运营工作的内容、分类、目标等等。让我这种菜鸟能对自己的工作有个总体的轮廓外形。知道自己是干什么的。

张亮这本《从零开始做运营》，较为初级的简单的介绍了运营的一些入门法则，做什么和初期怎么做。我刚读完本书，对自己的岗位有了更明确的分类——内容运营：通过创造、编辑、组织、呈现网站内容，从而提高互联网产品的内容价值，制造出对用户的黏着、活跃产生一定的促进作用。说的再简单点，就是你要发布的文章是你的用户所需要并且感兴趣的，他们能从你的网站找到他们想要的，吸引他们驻足，那么你的这篇文章就有价值了。

一个网站的运营推广做的越大，越是加速这个网站的发展或者灭亡。推广活动做的越声势浩大，你的内容，你的核心质量不过关，只不过是让你的用户更快速的知道你有多烂而已。活动运营的前提是必须有高质量的内容才能保证推广的成功，否则只会加速灭亡罢了。

你发布的文章是否能够吸引你想要吸引的用户驻足，你的活动推广程度是否能让潜在用户看到，用户为什么要访问你的网站并进行注册和下载，为什么有的用户进来看看就走了？很多地方都可以收集到数据，之后进行分析。运营数据分析本身不在于数据，而在于分析。不会分析，再有用的数据也仅仅只是一堆数字而已。

其实运营岗位并不是遥远摸不着的岗位。难的是耐心和创意。

3.《周鸿祎自述 : 我的互联网方法论》

先不管网上对这本书的评价，褒贬不一。但就我个人来说，周鸿祎这本书的确是有用的。他给我从宏观上构架了一个大框架，让我有意识的去关注和了解互联网思维，知道进入一个互联网行业从哪里去开始思考。有人说这本书是在讲周鸿祎自己的情怀、鸡汤文，我到觉得，周鸿祎从自己从事十几年的互联网行业实践出发，讲述了他理解的互联网观、产品观和管理思想，在他自己梳理整个互联网的发展方向和趋势的时候也给我们不懂互联网思维刚刚进入互联网行业的小白们一个比较明确的方向和观念。

我读完这本书，对360有了很大的改观，这本书从头到尾的精髓内容一直都在围绕：免费+用户至上+产品极致这三个观点在阐述，而这三个观点对新进入互联网行业的新人建立一种正确的基础性思维和逻辑是非常有帮助的。

传播篇

4.刘海龙《大众传播理论：范式与流派》

作为新闻传播专业的学生，不得不提这本书必读书目。里面全都是在传播学里最最基础最最重要的理论框架，这本书会帮你搭建一个新闻传播的大框架，发生在你身边的所有的传播现象你都能在里面找到最原始的理论基础根源。

作为一名新媒体运营，你要懂得最基本的一些传播的基础知识和手段，我很庆幸我是学新闻传播专业的，这给我做新媒体运营提供了很多便利，可能你会说，光理论不行，实践才是真理。但是，首先你得有方法论，你得有扎实的基础知识，才能知道往哪个方向去实践，才知道遇到的一些问题在本质上就在最基础的理论知识上变换了一种呈现方式罢了。

如果不是新闻传播专业的学生，读起来可能会略有枯燥和难理解，但他对你的整个传播理论体系的搭建是非常有帮助和指导意义的。建议搭配一下郭庆光那本《传播学教程》一起看，会更容易理解。

5.乔纳伯杰《疯传》

如何能让你写的软文、做的产品被疯狂的传播出去？如何能把别人都吸引过来主动转发用你的产品？乔纳伯杰给我们归纳出让一切事物疯传的STEPPS的六个原则：社交货币、诱因、情绪、公共性、实用价值和故事。同时，口碑传播是具有巨大力量的人际传播。这本书深入浅出的分析了产品能够得到大众传播的原因，并给你讲述一些实际的案例顺便教给你一些实用的操作技巧。在你研究新媒体传播的原理的时候，可以先读这本书，作者从具体产品的细节之处分析它能被疯传的原因，受益匪浅。

实例篇

6.王易《微信营销与运营》

个人认为这是最最基本和简单的具体实操书籍。此书只适合微信小白，如果你已经是非常熟悉微信玩法的人，请自动忽略。

如果你是运营小白，从没有开过微信公众号，分不清订阅号和服务号的区别，我强烈建议你读读此书。它在里面用非常具体实操篇幅解读了微信界面、玩法、功能等等，手把手教你玩微信，书里写的一些实战训练和问题思考，都是运营微信公众号最最基础的需要想明白搞清楚的地方。虽然里面讲的内容可能有点老，毕竟微信版本在不断的迭代，而书中讲的还是5.0版的微信。但是有很多功能和逻辑上的点并没有变，万变不离其宗，先掌握玩转一个基本的点再去自己挖掘新的玩法才是我们要做的。

自我调节篇

7.芭芭拉·安吉丽思《内在革命：一本关于成长的书》

做运营的人很容易出现浮躁和自我否定的情绪。因为运营是个很细很杂的工作，并不是今天的付出今天就能看到成绩。“一蹴而就”这几个字是运营的大忌。这是个长期的工作，一刻也不能放松。做互联网运营工作，最忌讳的就是急躁。

当你花了大量的时间去做活动，去写软文，去与用户聊天，却没有得到什么明显的效果，你写的140字微博没人关注，你发的微信文章没有人说好或者不好，没有达到10万+，没有引爆朋友圈，你所有的付出都“付诸东流”了，你就会开始失去信心并且心里有些失衡。

当你开始自我怀疑的时候，你遇到的问题并不是一些微信微博涨粉收效甚微的实操问题，更严重的是你内心的着急、痛苦和自我否定的负面情绪。这是非常危险的，如果不能控制自己不能自我调节，是非常容易钻牛角尖甚至做出一些过激的行为的。

在这本书中，你能找到你想要的答案。

正如书中所说：“最终决定你是谁、提升你身份的，并不是如何处理那些期盼和希望的事物，而是如何应对那些不期待的事，如何挺过哪些没有预料到的事，以及如何走出看不见的地方。”

以上书籍都是我转行到新媒体运营时亲自读过的书，并且觉得对我的运营工作有非常大的帮助。如果你以前没有接触过互联网行业，不知道什么是新媒体运营，不知道从哪开始着手做，可以根据我列的书单来读一读。我不保证你一定会立马学会运营的技能，但最起码你可以通过这些书不那么茫然和费力的转行到新媒体运营这个岗位上。

【完】

作者：爱啃骨头的猫咪

微博读书书评人。

习惯早起，喜欢读书，业余写字，最近又爱上健身。

不吃鱼只啃排骨喝鸡汤的阿喵。

【游戏客栈原创内容 欢迎注明出处的各种形式转载 文/游戏客栈 左一山】百度指数几乎是每一个行业者必用的查询工具，通过百指的数据我们可以细分出一个IP的很多用户属性。关于百度指数的基础数据分析我们在之前已经讲过了，  这里不做赘述，今天主要说一下百度指数的几种曲线变化所传达的不同信息。本篇内容为百度指数解读基础篇，欢迎各位游戏圈达人一起讨论。

  好动漫IP的百度指数一定要有个完美的曲线

动漫IP中最完美的曲线是像《海贼王》一样的百度指数，每周四与周日有两个起伏点。地点是漫画更新高点是动画更新，这说明《海贼王》有一大群忠实用户每周追新番。IP产品这种起伏的时间越久，说明用户的忠诚度越高，《海贼王》的影响力在这里就不用多说了。

像新番动画中MT续作《山口山战记》也是明显的曲线起伏，每周二更新时百度指数必然上涨，图中最高点位是《山口山战记》动画完结的时间，而我们可以看到在完结之后的下一个周二百度A指数依然上涨，这说明很多用户每周二看更新已经成为习惯，用户忠诚度非常好。

从小说IP的百度指数起步看未来成败

网络文学中，因为作者的更新时间和频率完全是看心情决定的，所以不同的阶段、不同的作者都会有不同的百度指数变化。但是对于一部网文来说，百度指数前期的稳定性非常重要，作者需要在前期保持高频率和高质量的更新，这样才能积累早起高质量的种子用户。

我们现在以11月刚上架的《逆鳞》来举例，这部小说基本是每日更新的节奏，经常一日三更，所以百度指数处于一个稳步增长的状态，这说明读者对这部小说在剧情上的认可，粉丝忠诚度正在不断增加。

近期很火的《御天神帝》在上架时的百度指数曲线和《逆鳞》非常相似，虽然《御天神帝》相对来说起伏较大，但是这已经为后期的火爆积攒了足够的种子用户和人气。

《御天神帝》目前的百度指数非常平稳，并且比刚上架时指数增长了接近10倍，说明《御天神帝》已经有了一批忠实的粉丝每天关注小说更新，这也是文学IP转游戏的最高价值。

百度指数发出的危险信号：有些IP看起来很火爆，但粉丝忠诚度却在减少

《龙血战神》也是一部网络人气小说，更新3年百度指数峰值接近40万。然而这华丽的数据下却隐藏了一个很大的不安定因素，作者正在逐渐失去对剧情的控制 力，百度指数从2014年中开始走下坡路，《龙血战神》目前已经更新1626章，并且还在继续。过度灌水的剧情不仅无法让粉丝有动力追更新，更重要的是会 增加对整个IP印象的厌恶感。

简单的说，流失的用户很有可能是一边骂作者灌水一边厌恶的退出了小说粉丝行列。当用户不再喜欢这个IP，那曾经的辉煌就会像泡沫一样的飘散。

《龙血战神》近期的百度指数情况更是惨不忍睹，虽然10万左右的百度指数依然有很大的影响力，但是跟去年同期相比已经不可同日而语了。如果去年这个IP价值500万，那么今年可能只剩下了100万。

相反我们看看同样是上架3年的《雪中悍刀行》，目前更新了300多章，百度指数一直保持着上升的大趋势。这就是一个成熟的作者在写长篇小说时对剧情和粉丝心理的一个把控能力，这样的小说IP所带来的粉丝忠诚度也会更高。

如果一个IP没有百度指数怎么办？

如果一个IP在上架或者上线3个月-6个月中依然没有百度指数出现，那游戏公司在选择IP时基本可以放弃这一类IP。也许IP的持有方会解释说，他们的 产品点击量很高，但是用户都在平台上，不会去百度进行搜索。那一定是在忽悠，因为平台无法限制用户的自由，如果用户对IP产品产生了兴趣，必然会通过百度 进行相关内容的搜索从而产生百度指数。而且如果一个平台的用户连基本的搜索信息行为都不进行，那我们要如何相信这些用户会去玩IP改编的游戏呢？

挖掘网文IP时不要相信屌丝作者可以闲鱼反身

如今，一部小说是否成功，一部分取决于作者本身的能力，更重要的是取决于首发平台对于这部小说的态度。如果平台愿意在首发阶段大力推广和运营一部小说， 那这部小说才具备火起来的基本条件。一个新人作者，一般需要先创作1-2部作品来做为试金石与平台慢慢的磨合，作者积攒了一定的自然用户，平台才愿意在下 一部新作品中进行大力的推广。

国产动画IP可以在漫画阶段挖掘潜力

你们以为《十万个冷笑话》和《尸兄》是忽然火起来的？别开玩笑了，大部分火爆的动画都是在漫画阶段经过血腥拼杀后剩下的胜利者，《十万个冷笑话》和《尸兄》之所以被改 编成了动画是因为他们在漫画阶段就具备足够高的品质。所以，如果你的公司有一定的资本，又想寻找有潜力的动画IP，不如换个角度去寻找一下有潜力的漫画 IP，寻找合作后将漫画进行动画化。如果等待动画火爆后再去洽谈IP，价格水涨船高是小事，被人捷足先登才叫后悔。

选自kdnuggets作者：Matthew Mayo机器之心编译参与：黄小天、吴攀、晏奇、蒋思源

Python 可以说是现在最流行的机器学习语言，而且你也能在网上找到大量的资源。你现在也在考虑从 Python 入门机器学习吗？本教程或许能帮你成功上手，从 0 到 1 掌握 Python 机器学习，至于后面再从 1 到 100 变成机器学习专家，就要看你自己的努力了。本教程原文分为两个部分，机器之心在本文中将其进行了整合，原文可参阅：http://suo.im/KUWgl 和 http://suo.im/96wD3。本教程的作者为 KDnuggets 副主编兼数据科学家 Matthew Mayo。

「开始」往往是最难的，尤其是当选择太多的时候，一个人往往很难下定决定做出选择。本教程的目的是帮助几乎没有 Python 机器学习背景的新手成长为知识渊博的实践者，而且这个过程中仅需要使用免费的材料和资源即可。这个大纲的主要目标是带你了解那些数量繁多的可用资源。毫无疑问，资源确实有很多，但哪些才是最好的呢？哪些是互补的呢？以怎样的顺序学习这些资源才是最合适的呢？

首先，我假设你并不是以下方面的专家：

机器学习Python任何 Python 的机器学习、科学计算或数据分析库

当然，如果你对前两个主题有一定程度的基本了解就更好了，但那并不是必要的，在早期阶段多花一点点时间了解一下就行了。

基础篇

第一步：基本 Python 技能

如果我们打算利用 Python 来执行机器学习，那么对 Python 有一些基本的了解就是至关重要的。幸运的是，因为 Python 是一种得到了广泛使用的通用编程语言，加上其在科学计算和机器学习领域的应用，所以找到一个初学者教程并不十分困难。你在 Python 和编程上的经验水平对于起步而言是至关重要的。

首先，你需要安装 Python。因为我们后面会用到科学计算和机器学习软件包，所以我建议你安装 Anaconda。这是一个可用于 Linux、OS X 和 Windows 上的工业级的 Python 实现，完整包含了机器学习所需的软件包，包括 numpy、scikit-learn 和 matplotlib。其也包含了 iPython Notebook，这是一个用在我们许多教程中的交互式环境。我推荐安装 Python 2.7。

如果你不懂编程，我建议你从下面的免费在线书籍开始学习，然后再进入后续的材料：

Learn Python the Hard Way，作者 Zed A. Shaw：https://learnpythonthehardway.org/book/

如果你有编程经验，但不懂 Python 或还很初级，我建议你学习下面两个课程：

谷歌开发者 Python 课程（强烈推荐视觉学习者学习）：http://suo.im/toMzqPython 科学计算入门（来自 UCSB Engineering 的 M. Scott Shell）（一个不错的入门，大约有 60 页）：http://suo.im/2cXycM

如果你要 30 分钟上手 Python 的快速课程，看下面：

在 Y 分钟内学会 X（X=Python）：http://suo.im/zm6qX

当然，如果你已经是一位经验丰富的 Python 程序员了，这一步就可以跳过了。即便如此，我也建议你常使用 Python 文档：https://python.org/doc/

第二步：机器学习基础技巧

KDnuggets 的 Zachary Lipton 已经指出：现在，人们评价一个「数据科学家」已经有很多不同标准了。这实际上是机器学习领域领域的一个写照，因为数据科学家大部分时间干的事情都牵涉到不同程度地使用机器学习算法。为了有效地创造和获得来自支持向量机的洞见，非常熟悉核方法（kernel methods）是否必要呢？当然不是。就像几乎生活中的所有事情一样，掌握理论的深度是与实践应用相关的。对机器学习算法的深度了解超过了本文探讨的范围，它通常需要你将非常大量的时间投入到更加学术的课程中去，或者至少是你自己要进行高强度的自学训练。

好消息是，对实践来说，你并不需要获得机器学习博士般的理论理解——就想要成为一个高效的程序员并不必要进行计算机科学理论的学习。

人们对吴恩达在 Coursera 上的机器学习课程内容往往好评如潮；然而，我的建议是浏览前一个学生在线记录的课堂笔记。跳过特定于 Octave（一个类似于 Matlab 的与你 Python 学习无关的语言）的笔记。一定要明白这些都不是官方笔记，但是可以从它们中把握到吴恩达课程材料中相关的内容。当然如果你有时间和兴趣，你现在就可以去 Coursera 上学习吴恩达的机器学习课程：http://suo.im/2o1uD

吴恩达课程的非官方笔记：http://holehouse.org/mlclass/

除了上面提到的吴恩达课程，如果你还需要需要其它的，网上还有很多各类课程供你选择。比如我就很喜欢 Tom Mitchell，这里是他最近演讲的视频（一起的还有 Maria-Florina Balcan），非常平易近人。

Tom Mitchell 的机器学习课程：http://suo.im/497arw

目前你不需要所有的笔记和视频。一个有效地方法是当你觉得合适时，直接去看下面特定的练习题，参考上述备注和视频恰当的部分，

第三步：科学计算 Python 软件包概述

好了，我们已经掌握了 Python 编程并对机器学习有了一定的了解。而在 Python 之外，还有一些常用于执行实际机器学习的开源软件库。广义上讲，有很多所谓的科学 Python 库（scientific Python libraries）可用于执行基本的机器学习任务（这方面的判断肯定有些主观性）：

numpy——主要对其 N 维数组对象有用 http://numpy.org/pandas——Python 数据分析库，包括数据框架（dataframes）等结构 http://pandas.pydata.org/matplotlib——一个 2D 绘图库，可产生出版物质量的图表 http://matplotlib.org/scikit-learn——用于数据分析和数据挖掘人物的机器学习算法 http://scikit-learn.org/stable/

学习这些库的一个好方法是学习下面的材料：

Scipy Lecture Notes，来自 Gal Varoquaux、Emmanuelle Gouillart 和 Olav Vahtras：http://scipy-lectures.org/这个 pandas 教程也很不错：10 Minutes to Pandas：http://suo.im/4an6gY

在本教程的后面你还会看到一些其它的软件包，比如基于 matplotlib 的数据可视化库 Seaborn。前面提到的软件包只是 Python 机器学习中常用的一些核心库的一部分，但是理解它们应该能让你在后面遇到其它软件包时不至于感到困惑。

下面就开始动手吧！

第四步：使用 Python 学习机器学习

首先检查一下准备情况

Python：就绪机器学习基本材料：就绪Numpy：就绪Pandas：就绪Matplotlib：就绪

现在是时候使用 Python 机器学习标准库 scikit-learn 来实现机器学习算法了。

scikit-learn 流程图

下面许多的教程和训练都是使用 iPython (Jupyter) Notebook 完成的，iPython Notebook 是执行 Python 语句的交互式环境。iPython Notebook 可以很方便地在网上找到或下载到你的本地计算机。

来自斯坦福的 iPython Notebook 概览：http://cs231n.github.io/ipython-tutorial/

同样也请注意，以下的教程是由一系列在线资源所组成。如果你感觉课程有什么不合适的，可以和作者交流。我们第一个教程就是从 scikit-learn 开始的，我建议你们在继续完成教程前可以按顺序看一看以下的文章。

下面是一篇是对 scikit-learn 简介的文章，scikit-learn 是 Python 最常用的通用机器学习库，其覆盖了 K 近邻算法：

Jake VanderPlas 写的 scikit-learn 简介：http://suo.im/3bMdEd

下面的会更加深入、扩展的一篇简介，包括了从著名的数据库开始完成一个项目：

Randal Olson 的机器学习案例笔记：http://suo.im/RcPR6

下一篇关注于在 scikit-learn 上评估不同模型的策略，包括训练集/测试集的分割方法：

Kevin Markham 的模型评估：http://suo.im/2HIXDD

第五步：Python 上实现机器学习的基本算法

在有了 scikit-learn 的基本知识后，我们可以进一步探索那些更加通用和实用的算法。我们从非常出名的 K 均值聚类（k-means clustering）算法开始，它是一种非常简单和高效的方法，能很好地解决非监督学习问题：

K-均值聚类：http://suo.im/40R8zf

接下来我们可以回到分类问题，并学习曾经最流行的分类算法：

决策树：http://thegrimmscientist/tutorial-decision-trees/

在了解分类问题后，我们可以继续看看连续型数值预测：

线性回归：http://suo.im/3EV4Qn

我们也可以利用回归的思想应用到分类问题中，即 logistic 回归：

logistic 回归：http://suo.im/S2beL

第六步：Python 上实现进阶机器学习算法

我们已经熟悉了 scikit-learn，现在我们可以了解一下更高级的算法了。首先就是支持向量机，它是一种依赖于将数据转换映射到高维空间的非线性分类器。

支持向量机：http://suo.im/2iZLLa

随后，我们可以通过 Kaggle Titanic 竞赛检查学习作为集成分类器的随机森林：

Kaggle Titanic 竞赛（使用随机森林）：http://suo.im/1o7ofe

降维算法经常用于减少在问题中所使用的变量。主成份分析法就是非监督降维算法的一个特殊形式：

降维算法：http://suo.im/2k5y2E

在进入第七步之前，我们可以花一点时间考虑在相对较短的时间内取得的一些进展。

首先使用 Python 及其机器学习库，我们不仅已经了解了一些最常见和知名的机器学习算法（k 近邻、k 均值聚类、支持向量机等），还研究了强大的集成技术（随机森林）和一些额外的机器学习任务（降维算法和模型验证技术）。除了一些基本的机器学习技巧，我们已经开始寻找一些有用的工具包。

我们会进一步学习新的必要工具。

第七步：Python 深度学习

神经网络包含很多层

深度学习无处不在。深度学习建立在几十年前的神经网络的基础上，但是最近的进步始于几年前，并极大地提高了深度神经网络的认知能力，引起了人们的广泛兴趣。如果你对神经网络还不熟悉，KDnuggets 有很多文章详细介绍了最近深度学习大量的创新、成就和赞许。

最后一步并不打算把所有类型的深度学习评论一遍，而是在 2 个先进的当代 Python 深度学习库中探究几个简单的网络实现。对于有兴趣深挖深度学习的读者，我建议从下面这些免费的在线书籍开始：

神经网络与深度学习，作者 Michael Nielsen：http://neuralnetworksanddeeplearning/

1.Theano

链接：http://deeplearning/software/theano/

Theano 是我们讲到的第一个 Python 深度学习库。看看 Theano 作者怎么说：

Theano 是一个 Python 库，它可以使你有效地定义、优化和评估包含多维数组的数学表达式。

下面关于运用 Theano 学习深度学习的入门教程有点长，但是足够好，描述生动，评价很高：

Theano 深度学习教程，作者 Colin Raffel：http://suo.im/1mPGHe

2.Caffe

链接：http://caffe.berkeleyvision.org/

另一个我们将测试驱动的库是 Caffe。再一次，让我们从作者开始：

Caffe 是一个深度学习框架，由表达、速度和模块性建构，Bwekeley 视觉与学习中心和社区工作者共同开发了 Caf fe。

这个教程是本篇文章中最好的一个。我们已经学习了上面几个有趣的样例，但没有一个可与下面这个样例相竞争，其可通过 Caffe 实现谷歌的 DeepDream。这个相当精彩！掌握教程之后，可以尝试使你的处理器自如运行，就当作是娱乐。

通过 Caffe 实现谷歌 DeepDream：http://suo.im/2cUSXS

我并没有保证说这会很快或容易，但是如果你投入了时间并完成了上面的 7 个步骤，你将在理解大量机器学习算法以及通过流行的库（包括一些在目前深度学习研究领域最前沿的库）在 Python 中实现算法方面变得很擅长。

进阶篇

机器学习算法

本篇是使用 Python 掌握机器学习的 7 个步骤系列文章的下篇，如果你已经学习了该系列的上篇，那么应该达到了令人满意的学习速度和熟练技能；如果没有的话，你也许应该回顾一下上篇，具体花费多少时间，取决于你当前的理解水平。我保证这样做是值得的。快速回顾之后，本篇文章会更明确地集中于几个机器学习相关的任务集上。由于安全地跳过了一些基础模块——Python 基础、机器学习基础等等——我们可以直接进入到不同的机器学习算法之中。这次我们可以根据功能更好地分类教程。

第1步：机器学习基础回顾&一个新视角

上篇中包括以下几步：

1. Python 基础技能

2. 机器学习基础技能

3. Python 包概述

4. 运用 Python 开始机器学习：介绍&模型评估

5. 关于 Python 的机器学习主题：k-均值聚类、决策树、线性回归&逻辑回归

6. 关于 Python 的高阶机器学习主题：支持向量机、随机森林、PCA 降维

7. Python 中的深度学习

如上所述，如果你正准备从头开始，我建议你按顺序读完上篇。我也会列出所有适合新手的入门材料，安装说明包含在上篇文章中。

然而，如果你已经读过，我会从下面最基础的开始：

机器学习关键术语解释，作者 Matthew Mayo。地址：http://suo.im/2URQGm维基百科条目：统计学分类。地址：http://suo.im/mquen机器学习：一个完整而详细的概述，作者 Alex Castrounis。地址：http://suo.im/1yjSSq

如果你正在寻找学习机器学习基础的替代或补充性方法，恰好我可以把正在看的 Shai Ben-David 的视频讲座和 Shai Shalev-Shwartz 的教科书推荐给你：

Shai Ben-David 的机器学习介绍视频讲座，滑铁卢大学。地址：http://suo.im/1TFlK6理解机器学习：从理论到算法，作者 Shai Ben-David & Shai Shalev-Shwartz。地址：http://suo.im/1NL0ix

记住，这些介绍性资料并不需要全部看完才能开始我写的系列文章。视频讲座、教科书及其他资源可在以下情况查阅：当使用机器学习算法实现模型时或者当合适的概念被实际应�...

RDD特征概要总结

a、RDD是Spark提供的核心抽象，全称为Resillient Distributed Dataset，即弹性分布式数据集。

b、RDD在抽象上来说是一种元素集合，包含了数据。它是被分区的，分为多个分区，每个分区分布在集群中的不同节点上，从而让RDD中的数据可以被并行操作。

d、RDD通常通过Hadoop上的文件，即HDFS文件或者Hive表，来进行创建；有时也可以通过应用程序中的集合来创建。

e、RDD最重要的特性就是，提供了容错性，可以自动从节点失败中恢复过来。即如果某个节点上的RDD partition，因为节点故障，导致数据丢了，那么RDD会自动通过自己的数据来源重新计算该partition。这一切对使用者是透明的。

f、RDD的数据默认情况下存放在内存中的，但是在内存资源不足时，Spark会自动将RDD数据写入磁盘。

下面我们一起来对其关键特征进行详细分析

分析：

RDD(Resilient Distributed Datasets)弹性分布式数据集，是分布式内存的一个抽象概念。我们可以抽象的代表对应一个HDFS上的文件，但是他实际上是被分区的，分为多个分区撒落在Spark集群中的不同节点上。比如现在我们的一个RDD有40万条数据，并分为4个partition，这4个分区数据分别存储在集群中的节点1、2、3、4中，而每个partition分到10万条数据。如图1所示，这样的一个RDD将数据分布式撒落在集群的一批节点上，每个节点只是存储RDD的部分partition，这就是RDD的分布式结构模型。

分析：

RDD的弹性特征说明，当RDD的每个partition数据都存放到Spark集群节点上时候，默认是都存放在内存中的，但是如果内存放不下这么多的数据时，我们该怎么办呢？这时候RDD的弹性特征就表现出来了。如上图2所示，在节点3内存中最多只能存储6万数据，结果我们需要存放一个partition数据为10万，那么这时就得把partition中的剩余4万数据写入到磁盘上进行保存了。而这种存储的分配针对用户是透明的，我们不用管他怎么存储，虽然这种存储机制是有配置参数提供我们选择的，后续深入讲解时候会介绍到如何选择存储策略，这里就不加深难度了，所以，RDD的这种自动进行内存和磁盘之间权衡和却换的机制，就是RDD的弹性特征所在。

分析：

最后我们来看看RDD被分散的存放在集群的各个节点上了，那假如某个节点运行时候出现问题，数据该怎么办呢？这里Spark的RDD支持了强大的容错机制，如上图3，在运行节点n时候出现了问题，这时候就需要重新获取数据进行计算，那RDD将启动容错机制，尝试寻找上游依赖数据源节点3来重新获取数据进行计算，这里深入分析将会提出另外一个概念来了，那就是DAG(有向无环图)、进一步了解RDD的依赖关系，与底层逻辑关系了，期待分析的时候您能光临。

希望对你我他有用

有不足之处请多多指教

欢迎留言评论！！！

欢迎转发关注大数据之谜

前言书要读懂，先求不懂。 因为很多人私信问我大数据应该读什么书比较好，所以小编特意找了二十本大数据实战可依赖的书籍，想要转职或者深入学习大数据的朋友可以注意了，点赞收藏加转发，鼓励一下小编的良苦用心

1、互联网大规模数据挖掘与分布式处理

作者：Jure Leskovec，Anand Rajaraman，Jeffrey David Ullman

译者：王斌

书号：978-7-115-39525-2

定价：79

页数：388

畅销书全新升级，新增影响与同质性、社交媒体推荐和行为分析等超实用内容

涵盖解决数据挖掘核心问题所用算法，及实际应用数据挖掘所需知识，理论与实现并重

斯坦福大学数据挖掘方向专家Jure Leskovec、Anand Rajaraman、Jeffrey David Ullman重磅力作

http://ituring/book/1561

2、数据挖掘导论（完整版）

作者：Jure Leskovec，Anand Rajaraman，Jeffrey David Ullman

译者：范明 范宏建

书号：978-7-115-24100-9

定价：69

页数：480

本书全面介绍了数据挖掘的理论和方法，旨在为读者提供将数据挖掘应用于实际问题所必需的知识。

本书涵盖五个主题：数据、分类、关联分析、聚类和异常检测。除异常检测外，每个主题都包含两章：前面一章讲述基本概念、代表性算法和评估技术，后面一章较深入地讨论高级概念和算法。目的是使读者在透彻地理解数据挖掘基础的同时，还能了解更多重要的高级主题。此外，书中还提供了大量示例、图表和习题。

http://ituring/book/83

3、数据科学实战

作者：Cathy O’Neil，Rachel Schutt

译者：王群锋 冯凌秉

书号：978-7-115-38349-5

定价：69

页数：312

英文原版数据挖掘和算法类畅销书，随机模型类No.1

谷歌、微软、eBay数据科学家通过实际案例分享算法、方法与模型

MIT数学博士后Cathy O’Neil，前谷歌高级统计师、哥伦比亚大学讲师Rachel Schutt力作

http://ituring/book/1193

4、命令行中的数据科学

作者：Jeroen Janssens

译者：王晓伟 刘峰

书号：978-7-115-39168-1

定价：49

页数：188

本书讲解众多实用的命令行工具。无论使用Windows、OS X，还是Linux，都可以安装包含80多个命令行工具的“数据科学工具箱”，迅速创建自己的数据分析环境。

http://ituring/book/1539

5、重新设计互联网

作者：徐立冰

书号：978-7-115-31150-4

定价：59.00

页数：312

“弯曲评论”网站“拨云见日”系列热文加量10倍的强烈之书首次完整呈现。

云计算时代，网络面临怎样的挑战？大数据之下，网络设计应着眼何处？虚拟化的最后1000米你该如何冲刺？OpenFlow、FCoE、LISP、FabricPath、VN-Tag、VPLS、VXLAN

……当所有这一切结合到一起，你将面临怎样的情形？

是时候，重新设计互联网。

通过阅读本书，读者将清楚地了解到如何在云计算与大数据时代构建安全、可靠、高速与灵活的网络。

http://ituring/book/966

5、机器学习入门第一书

作者：杉山将

译者：许永伟

书号：978-7-115-38802-5

定价：49

页数：240

最简单的机器学习入门书，187张图轻松入门

覆盖机器学习中最经典、用途最广的算法

提供可执行的Matlab程序代码

本书用丰富的图示，从最小二乘法出发，对基于最小二乘法实现的各种机器学习算法进行了详细的介绍。第Ⅰ部分介绍了机器学习领域的概况；第Ⅱ部分和第Ⅲ部分分别介绍了各种有监督的回归算法和分类算法；第Ⅳ部分介绍了各种无监督学习算法；第Ⅴ部分介绍了机器学习领域中的新兴算法。书中大部分算法都有相应的MATLAB程序源代码，可以用来进行简单的测试。

http://ituring/book/1371

7、机器学习系统设计

作者：Willi Richert，Luis Pedro Coelho

译者：刘峰

书号：978-7-115-35682-6

定价：49

页数：224

微软Bing核心团队成员推出

聚焦算法编写和编程方式

结合大量实例学会解决实际问题

本书将向读者展示如何从原始数据中发现模式，首先从Python与机器学习的关系讲起，再介绍一些库，然后就开始基于数据集进行比较正式的项目开发了，涉及建模、推荐及改进，以及声音与图像处理。通过流行的开源库，我们可以掌握如何高效处理文本、图片和声音。同时，读者也能掌握如何评估、比较和选择适用的机器学习技术。

http://ituring/book/1192

8、机器学习实战

作者：Peter Harrington

译者：李锐 李鹏等

书号：978-7-115-31795-7

定价：69

页数：332

最畅销机器学习图书

介绍并实现机器学习的主流算法

面向日常任务的高效实战内容

全书通过精心编排的实例，切入日常工作任务，摒弃学术化语言，利用高效的可复用Python代码来阐释如何处理统计数据，进行数据分析及可视化。通过各种实例，读者可从中学会机器学习的核心算法，并能将其运用于一些策略性任务中，如分类、预测、推荐。另外，还可用它们来实现一些更高级的功能，如汇总和简化等。

http://ituring/book/1021

9、R语言入门

作者：Richard Cotton

译者：刘军

书号：978-7-115-35170-8

定价：69

页：360

语言幽默，通俗易懂

完美讲述R 核心组件

示例丰富，快学快用

“这本书读起来感觉棒极了，示例完整清晰，内容通俗易懂，是目前市面上介绍R核心组件最优秀的图书之一。”

——Rebecca Smith，TDX 公司分析经理

http://ituring/book/1187

10、R语言实战

作者：Robert I. Kabacoff

译者：高涛 肖楠 陈钢

书名：978-7-115-29990-1

定价：79

页数：408

本书从解决实际问题入手，尽量跳脱统计学的理论阐述来讨论R语言及其应用，讲解清晰透澈，极具实用性。通读本书，你将全面掌握使用R语言进行数据分析、数据挖掘的技巧，并领略大量探索和展示数据的图形功能，从而更加高效地进行分析与沟通。

http://ituring/book/857

11、Hadoop基础教程

作者：Garry Turkington

译者：张治起

书号：978-7-115-34133-4

定价：65

页数：324

本书着重讲解如何应用Hadoop和相关技术搭建工作系统并完成任务。本书从Hadoop的基本概念和初始设置入手，讲述了如何开发Hadoop程序，如何在数据规模增长的时候维持系统运行，涵盖有效使用Hadoop处理实际问题所需用到的全部知识。

http://ituring/book/1168

12、Hadoop实战

作者：Chuck Lam

译者：韩冀中

书号：978-7-115-26448-0

定价：59

页数：268

经典畅销书，广受赞誉

揭开云计算的神秘面纱

深入分析，追本溯源

本书分为3个部分，深入浅出地介绍了Hadoop框架、编写和运行Hadoop数据处理程序所需的实践技能及Hadoop之外更大的生态系统。

http://ituring/book/733

13、Mahout实战

作者：Sean Owen，Robin Anil等

译者：韩冀中 吴海星 段菲

书号：978-7-115-34722-0

页数：340

Apache基金会官方推荐

Mahout核心团队权威力作

大数据时代机器学习的实战经典

Mahout作为Apache的开源机器学习项目，把推荐系统、分类和聚类等领域的核心算法浓缩到了可扩展的现成的库中。使用Mahout可以在自己的项目中应用亚马逊、Netflix等公司的机器学习技术。

http://ituring/book/862

14、Storm源码分析

作者：李明 王晓鹏

书号：978-7-115-37126-3

定价：79

页数：484

微软搜索技术部门高级研发工程师实战经验分享

从源代码的角度深入剖析Storm设计与实现

学习如何实现和高效利用“实时的Hadoop”

“本书从源代码角度深入浅出地分析了Storm的设计及实现，一方面可以使读者更好地了解并用好Storm技术，另一方面可以让读者学习如何设计大规模分布式系统，相信读者一定会受益匪浅。”

——于伟，微软资深开发总监

http://ituring/book/1507

15、Elasticsearch服务器开发

作者：Rafal Kuc，Marek Rogozinski

译者：蔡建斌

书号：978-7-115-38032-6

定价：59

页数：292

Elasticsearch百科全书式著作，用户权威指南

所有示例和功能基于Elasticsearch服务器1.0版

在云计算平台上建立稳定、可靠、方便快速的实时搜索技术

Elasticsearch是一个基于Lucene构建的开源、分布式、RESTful风格的搜索引擎。它被设计用于云计算中，具有实时搜索、稳定、快速、安装使用方便等优点。本书是关于Elasticsearch的百科全书式著作，介绍了Elasticsearch这个优秀的全文检索和分析引擎从安装和配置到集群管理的方方面面知识。

http://ituring/book/1447

16、Openstack部署实践

作者：张子凡

书号：978-7-115-34679-7

定价：59

页数：284

从研究D版以来，我在各个群中回答了很多新手在OpenStack系统安装部署方面碰到的各类问题，虽然在博客中公布了很多，但仍比较零散，我也一直盼望能有一本较为系统的书给新手提供帮助。看到本书后我非常高兴，对于OpenStack初学者和在公司内使用OpenStack部署私有云的系统运维工程师来说，此书将会帮助大家解决很多问题，同时更有助于大家灵活地运用OpenStack系统。

——北京-YZ（博客http://xiaoyinzei），

KVM虚拟化群群主（93146027）

一线高手实践总结

实例讲解使用OpenStack建设企业私有云系统

有效降低企业IT 成本

http://ituring/book/1356

17、Docker开发实践

作者：曾金龙，肖新华，刘清

书号：978-7-115-39519-1

定价：59

页数292

出自国内最强云加速+ 云存储“迅雷云”团队

基础篇：原理、操作全面解析；案例篇：带你一步步构建复杂应用；高级篇：网络、安全、API 实战、kubernetes集群实战

“腾讯的互娱的开发节奏，只有Docker跟得上！如果你想你的团队加快开发速度，那么我推荐你使用Docker，而本书从基础、案例到高级话题，都有很全面的覆盖。”

——易剑，腾讯互动娱乐事业群高级架构师

http://ituring/book/1631

18、非技术读本 《精益数据分析》

作者：Alistair Croll， Benjamin Yoskovitz

书号：978-7-115-37476-9

定价：79

页数：356

精益系列丛书，《精益创业》作者埃里克·莱斯主编

本书围绕精益创业展开讨论，融合了精益创业法、客户开发、商业模式画布和敏捷/持续集成的精华。本书汇聚了100多位创始人、投资人、内部创业者和创新者的成功创业经验，呈现了30多个极具价值的案例分析，可以为各阶段的创业者提供行为准则。

http://ituring/book/1125

19、非技术读本《大数据的冲击》

作者：城田真琴

译者：周自恒

书号：978-7-115-31787-2

定价：49

页数：268

本书是日本最畅销的大数据商业应用指南。书中结合野村综合研究独家披露的调查数据，网罗了美国、日本标杆企业与政府的应用案例，总结了大数据的商业模式，以及在大数据应用中需要注意的隐私问题，并就如何为大数据时代做好准备展开了深入的探讨，提出了诸多有益的建议。

http://ituring/book/1128

20、非技术读本《有趣的统计》

作者：Bruce Frey

译者：邹澍

书号：978-7-115-35621-5

定价：59

页数：292

本书介绍的实用技巧运用了统计学原理，还借鉴了教育学和心理学上的测量和实验研究方法。这些技巧可以帮你解决商业、游戏以及日常生活中的各类问题。利用统计推断的各种工具，揭开概率的神秘面纱、发现相关性，预测事件。

http://ituring/book/1094

小兵接触SPSS统计软件差不多有十年时间了，在此期间阅读和学习了十余本相关书籍，系统化地学习过程让我从中获益匪浅，虽然当下视频教学甚为流行，不过小兵一直认为学习SPSS统计软件，纸书是必不可少的，而且要先系统化学习，待打下基础之后，再行参阅视频及其他资料。

纸书之中，我最为推荐张文彤主编的《SPSS11统计分析教程》（基础篇和高级篇）。

一知识完整

作者按照读者的不同层次，将《SPSS11统计分析教程》分为基础和高级两册书，共31章，内容以SPSS11软件为准，包括了全部10个模块的所有功能。

基础篇涵盖常用的统计分析方法，入门部分强调文字轻松愉快，同时体现出SPSS操作上最具特色的功能和操作技巧。基础统计部分则充分考虑到非统计人员的特点，将统计理论融入软件介绍之中，力求深入浅出。

高级篇中的统计模块介绍以统计学理论为准绳，立足于应用实例将统计方法、界面操作与结果解释结合讲述，使读者学后能真正掌握相应方法，而不是只明白了对话框的中文含义。

如果你想系统化深入学习SPSS统计软件，建议从基础篇开始夯实基础，然后再学习高级篇，循序渐进。

二案例详实

作者主要从事医学统计和市场研究统计分析，两本书中大量罗列这两个领域的实例，读起来贴近生活和工作场景，易于理解和推演到其他行业。并且随书赠送案例数据光盘，供读者对照课本操作练习。

三全程图解

在介绍每个统计方法时，均做到全程图解，包括菜单操作详细步骤、对话框图示、参数选项图示、结果图示详解等，尤其适于新手自学，可以对照书中图解，按步骤动手实践。小兵在博客中多处提及，学习SPSS统计最好的办法就是对照案例亲自动手操作练习，参与其中，在实践中总结知识点和经验。

四精妙提示语

全书还有一个亮点，也是这套书区别于其他书籍的特色之处，书中随处可见作者精妙的提示语，每章节首先会配一段提纲挈领的文字，关键知识点讲解后，配上一段警示语或者注意事项，简练得当，直击核心，命中要点，让学习者时刻能保持一个清醒的思路来理解SPSS统计，可以说每一段提示语都是入木三分，充分显示出作者多年统计研究及应用的功底，每一句都凝结着文彤老师的经验和心血。

小兵在这里强烈建议读者在时间允许的情况下，反复研读此书的提示语，必定能获益。

五权威参考

SPSS统计在国内的推广和普及，文彤老师的贡献卓著。百度百科公开资料显示，张文彤博士，数据挖掘、市场研究、统计软件开发/教学/应用领域专家，在国内权威期刊及国外SCI期刊发表论文十余篇，主持国家自然科学基金一项，获复旦大学“世纪之星”称号。精通各种统计软件，主编SPSS、SAS、Stata等统计软件教材6本，因深入浅出、文笔流畅而广受读者欢迎，特别是其出版的SPSS系列书籍，出版多年来始终位居同类书籍的读者销售和评价排行榜前列。

是国内统计软件教学和统计学网络教学，特别是SPSS软件教学的开拓者，2001年以来协助SPSS中国公司一手建立了其国内的培训体系，是国内最为知名的SPSS培训师之一。张文彤博士在复旦大学任教期间，同时保持着与统计应用相关业界各前沿领域的密切接触，在数据挖掘应用、市场研究应用等领域经验丰富。市场研究方面，曾为知名跨国公司完成了中国城市女性市场细分模型、销量预测模型、商圈选址模型等项目，数据挖掘方面则在基因数据分析、医疗费用数据分析、公共卫生应急预警系统等方面进行了深入研究，并协助完成多项IT、电信、税务、银行等行业的数据挖掘项目。

《SPSS11统计分析教程》同时还作为复旦大学研究生用教材（见书前言内容），编委多是复旦大学卫生统计与社会医学教研室统计教师，也充分体现这套书的权威性。

我曾接触过大批初学者，在学习的过程中，他（她）们会发现不同的教材在个别统计方法应用中有不同的见解，到底哪个才是最为准确的呢？个人以为可以用文彤老师的这套书作为主要参考依据。

唯一的遗憾是，这本书是基于SPSS11版本编写的，这个版本的软件还是英文界面，所有对话框仍然是英文，现在最新的SPSS软件已经是中文界面，对于初学者来说，英文界面可能会增加学习的难度，但如果你熟悉了经典英文界面，实际上对后续的统计学习也是有极大帮助的。

（全文结束）

DataViz是一款在线数据可视化分析软件(BI)，它可以提供数据可视化分析与数据自助式分析服务，可连接Excel、Oracle等多种文本数据源或者业务数据库，可进行可视化图表制作与动态图表生成，并支持多主题多图表自由切换。无需数据分析师和IT人员的帮助，业务人员只需通过拖拽式操作即可完成数据可视化分析工作。

如何用dataviz做好数据可视化分析呢？只需花费1分钟阅读，本篇使用指南令你轻松入门。

步骤一建项目

登陆东软平台云(cloud.neusoft)账号，体验dataviz。

开始建项目，填好项目名称，单击项目名称进入项目。

步骤二 建数据

目前支持以下数据源，选择熟悉的数据源操作吧。

步骤三 建数据集

拖动图中圈中的几个表到右侧区域，表间会自动关联（也支持手动关联，也支持SQL模式），然后保存（ctrl+S），填写数据集相关信息。

步骤四 建图表

选择数据集，进行多维的数据透视分析。

在这里，您可以切换其他系列的精美图表。

Dataviz内含多系列样式精美的超酷炫图表，比如这样，戳此处偷偷看看。https://cloud.neusoft/pages/download/download_dataviz_1/download_dataviz_1）

步骤五 数据下钻、上卷与钻透

拖拽维度层次分组到堆积柱形图的分类中，右击图表可出现菜单，点击下钻到省份、城市、最后看详细信息，再逐层上卷回到顶层。

步骤六 建图册

返回项目，点击建图册按钮，拖拽左侧任意图表到中间区域。

支持单页添加多个图表，添加非图表外的其他元素，标题、文本、图片等。

步骤七 美化图册

图册增加多页，可以设置切换主题，设置背景色以及背景图。

设置联动交互（选中一个图表，设置筛选器）。保存之后，点击播放按钮，逐页全屏播放。

怎么样，是不是感觉您的数据可视化分析结果，更加的高端洋气上档次了呢！

亲自操作体验一下吧。

随着时代的发展社会的进步，大数据的发展越来越好，越来越多的人选择大数据，有同学问小编：“我想要从事大数据实时分析都要学习哪些课程？”，下面小编就给大家介绍一下从事大数据实时分析需要学习的课程。

一、基础篇大数据实时分析需要学习的课程

任何高楼大厦都离不开一个稳固的地基，想要从事大数据实时分析也是如此，首先打好基础，那么需要学习哪些知识呢，首先需要掌握一门基础语言，Java是非常学习大数据基础语言之一，我们还需要熟练掌控Linux系统的命令，还有要学一些数据库，Mysql这些,学习这些需要花费很长的时间，不要焦躁，要静下心来，打好基础才能把大楼盖上云霄，也相信你这时的付出会换取你将来的回报。

二、进阶篇

当你打好基础后就可以登堂入室了，来一见大数据的真容，这个阶段你需要学习的东西也非常的多其中包括Hadoop（包含 大数据的概述，hadoop集群的搭建，HDFS基础概念介绍，HDFS API案例，YARN资源调度框架介绍，Mapreduce介绍，Mapreduce案例），zookeeper，hbase，hive，学完这些还有一些比较难理解的就是python，spark，flume，kafka这些，这些可以说是学习大数据的第三阶段，学习完之后你完全可以去做大数据的任何工作，不过一些高端的工作是需要开发经验的，当你从事大数据几年之后我相信你也会走向这些高端工作，走向人生的高峰。

三、spark实时分析

如果你学会了上面的内容那么恭喜你，你已经成为了一名合格的大数据开发工程师，相信无论走到哪里都不用去担心工作和薪资的问题，如果你想做实时分析那么也是非常容易的，因为你已经学会了spark，可以做实时和离线分析。

四、总结

想学习任何的东西，都需要扎实的基础，都需要漫长的时间去学习，宝剑锋从磨砺出，梅花香自苦寒来，相信你今天的汗水化作明天别人的仰望。

前言

之前在给公司的程序员培训机器学习专题实战的时候，发现他们听的认真，也非常想学，但是每当问他们有哪里不懂的时候，他们总是回答不出哪里不懂，识懂非懂的状态，后来我总结了一下原因，1.机器学习领域跟程序开发的区别非常大，机器学习属于一个交叉学科，即需要数学也需要计算机学，难度相对与单学科要大些，2.机器学习领域有很多专业词汇与术语，之前程序员都没听说过和接触过，即使当时讲解的时候讲的非常细，也很难接触的过来，需要有个消化过程。

本篇文章将着重介绍机器学习与数据挖掘领域常用的专业术语，希望能在机器学习路上的你带来帮助，假如你正准备学机器学习或数据挖掘建议你先了解该篇文章后在去学习。

一．基础

1.数据集（DataSet）

数据集，又称为资料集、数据集合或资料集合，是一种由数据所组成的集合。

程序员可以简单的理解成数据库表。

2.变量（variable）

变量来源于数学，是计算机语言中能储存计算结果或能表示值抽象概念。变量可以通过变量名访问。

可以理解为字段。

3.向量（Vector）

在数学中，向量（也称为欧几里得向量、几何向量、矢量），指具有大小（magnitude）和方向的量。它可以形象化地表示为带箭头的线段。

4.X变量（Independent variable）

又称自变量，自变量一词来自数学。在数学中，y=f（x） 。在这一方程中自变量是x，因变量是y。将这个方程运用到心理学的研究中，自变量是指研究者主动操纵，而引起因变量发生变化的因素或条件，因此自变量被看作是因变量的原因。如在比较男女性白细胞数的实验中，性别被称为了自变量，而白细胞数则为因变量。

可以理解成我们在机器学习中需要分析的变量叫做X变量。

5.Y变量（dependent variable）

又称因变量，可以理解为结果变量，如我们在金融贷款项目中预测某人是否可以放款，是否可以放款这个变量就叫做因变量。

6.连续变量

在统计学中，变量按变量值是否连续可分为连续变量与离散变量两种。在一定区间内可以任意取值的变量叫连续变量，其数值是连续不断的，相邻两个数值可作无限分割，即可取无限个数值。如:年龄、体重等变量。

7.离散变量

离散变量的各变量值之间都是以整数断开的，如人数、工厂数、机器台数等，都只能按整数计算。离散变量的数值只能用计数的方法取得。

8.二元变量

通常可以理解成哑变量或虚拟变量，虚拟变量 ( Dummy Variables) 又称虚设变量、名义变量或哑变量，用以反映质的属性的一个人工变量，是量化了的自变量，通常取值为0或1。

9.定性变量

统计学概念，定性变量（qualitative variable）又名分类变量 ( categorical variable ): 观测的个体只能归属于几种互不相容类别中的一种时，一般是用非数字来表达其类别，这样的观测数据称为定性变量。可以理解成可以分类别的变量，如学历、性别、婚否等。

10.均值

即平均值，平均数是表示一组数据集中趋势的量数，是指在一组数据中所有数据之和再除以这组数据的个数。

11.中位数

对于有限的数集，可以通过把所有观察值高低排序后找出正中间的一个作为中位数。如果观察值有偶数个，通常取最中间的两个数值的平均数作为中位数。

12.缺失值

它指的是现有数据集中某个或某些属性的值是不完全的。

13.缺失率

某属性的缺失率=数据集中某属性的缺失值个数/数据集总行数

14.异常值

异常值（outlier）是指一组测定值中与平均值的偏差超过两倍标准差的测定值，与平均值的偏差超过三倍标准差的测定值，称为高度异常的异常值。

15.度量

度量（metric）亦称距离函数，是度量空间中满足特定条件的特殊函数，一般用d表示。度量空间也叫做距离空间，是一类特殊的拓扑空间。弗雷歇（Fréchet，M.R.）将欧几里得空间的距离概念抽象化，于1906年定义了度量空间。

16.矩阵

在数学中，矩阵（Matrix）是一个按照长方阵列排列的复数或实数集合，最早来自于方程组的系数及常数所构成的。

矩阵是高等代数学中的常见工具，也常见于统计分析等应用数学学科中。

即可以看成一个方便用来计算的数组。

17.方差

（variance)是在概率论和统计方差衡量随机变量或一组数据时离散程度的度量。概率论中方差用来度量随机变量和其数学期望（即均值）之间的偏离程度。统计中的方差（样本方差）是每个样本值与全体样本值的平均数之差的平方值的平均数。在许多实际问题中，研究方差即偏离程度有着重要意义。

方差是衡量源数据和期望值相差的度量值。

18.标准差

标准差（Standard Deviation） ，中文环境中又常称均方差，是离均差平方的算术平均数的平方根，用σ表示。标准差是方差的算术平方根。标准差能反映一个数据集的离散程度。平均数相同的两组数据，标准差未必相同。

19.皮尔森相关系数

皮尔森相关系数（Pearson correlation coefficient）也称皮尔森积矩相关系数(Pearson product-moment correlation coefficient) ，是一种线性相关系数。皮尔森相关系数是用来反映两个变量线性相关程度的统计量。相关系数用r表示，其中n为样本量，分别为两个变量的观测值和均值。r描述的是两个变量间线性相关强弱的程度。r的绝对值越大表明相关性越强。

20.相关系数

相关系数是最早由统计学家卡尔·皮尔逊设计的统计指标，是研究变量之间线性相关程度的量，一般用字母 r 表示。由于研究对象的不同，相关系数有多种定义方式，较为常用的是皮尔逊相关系数。

21.特征值

特征值是线性代数中的一个重要概念。在数学、物理学、化学、计算机等领域有着广泛的应用。设 A 是n阶方阵，如果存在数m和非零n维列向量 x，使得 Ax=mx 成立，则称 m 是A的一个特征值（characteristic value)或本征值（eigenvalue)。非零n维列向量x称为矩阵A的属于（对应于）特征值m的特征向量或本征向量，简称A的特征向量或A的本征向量。

22.特征向量

矩阵的特征向量是矩阵理论上的重要概念之一，它有着广泛的应用。数学上，线性变换的特征向量（本征向量）是一个非简并的向量，其方向在该变换下不变。该向量在此变换下缩放的比例称为其特征值（本征值）。

23.求导

求导是微积分的基础，同时也是微积分计算的一个重要的支柱。物理学、几何学、经济学等学科中的一些重要概念都可以用导数来表示。如导数可以表示运动物体的瞬时速度和加速度、可以表示曲线在一点的斜率、还可以表示经济学中的边际和弹性。

24.MSE(Mean Square Error 均方误差）

均方误差（mean-square error, MSE）是反映估计量与被估计量之间差异程度的一种度量。设t是根据子样确定的总体参数θ的一个估计量，(θ-t)2的数学期望，称为估计量t的均方误差。它等于σ2+b2，其中σ2与b分别是t的方差与偏倚。反映估计量与被估计量差异程度。

25.LMS(LeastMean Square 最小均方)

最小均方算法，简称LMS算法，是一种最陡下降算法的改进算法， 是在维纳滤波理论上运用速下降法后的优化延伸，最早是由 Widrow 和 Hoff 提出来的。 该算法不需要已知输入信号和期望信号的统计特征，“当前时刻”的权系数是通过“上一 时刻”权系数再加上一个负均方误差梯度的比例项求得。 其具有计算复杂程度低、在信号为平稳信号的环境中收敛性好、其期望值无偏地收敛到维纳解和利用有限精度实现算法时的平稳性等特性，使LMS算法成为自适应算法中稳定性最好、应用最广的算法。

26.LSM(Least Square Methods 最小二乘法)

最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。

27.MLE(MaximumLikelihood Estimation最大似然估计)

最大似然估计(maximum likelihood estimation, MLE)4一种重要而普遍的求估计量的方法。最大似然法明确地使用概率模型，其目标是寻找能够以较高概率产生观察数据的系统发生树。最大似然法是一类完全基于统计的系统发生树重建方法的代表。

28.QP(Quadratic Programming 二次规划)

二次规划是非线性规划中的一类特殊数学规划问题，在很多方面都有应用，如投资组合、约束最小二乘问题的求解、序列二次规划在非线性优化问题中应用等。在过去的几十年里，二次规划已经成为运筹学、经济数学、管理科学、系统分析和组合优化科学的基本方法。

最大似然法明确地使用概率模型，其目标是寻找能够以较高概率产生观察数据的系统发生树。最大似然法是一类完全基于统计的系统发生树重建方法的代表。该方法在每组序列比对中考虑了每个核苷酸替换的概率。

29.CP(Conditional Probability条件概率)

条件概率是指事件A在另外一个事件B已经发生条件下的发生概率。条件概率表示为：P（A|B），读作“在B条件下A的概率”。条件概率可以用决策树进行计算。条件概率的谬论是假设 P(A|B) 大致等于 P(B|A)。数学家John Allen Paulos 在他的《数学盲》一书中指出医生、律师以及其他受过很好教育的非统计学家经常会犯这样的错误。这种错误可以通过用实数而不是概率来描述数据的方法来避免。

30. JP(Joint Probability 联合概率)

联合概率是指在多元的概率分布中多个随机变量分别满足各自条件的概率。假设X和Y都服从正态分布，那么P{X<4,Y<0}就是一个联合概率，表示X<4,Y<0两个条件同时成立的概率。表示两个事件共同发生的概率。A与B的联合概率表示为 P(AB) 或者P(A,B),或者P（A∩B）。

31.MP(Marginal Probability边缘概率)

边缘概率 Marginal Probability 是某个事件发生的概率，而与其它事件无关。边缘概率是这样得到的：在联合概率中，把最终结果中不需要的那些事件合并成其事件的全概率而消失（对离散随机变量用求和得全概率，对连续随机变量用积分得全概率）。

这称为边缘化（marginalization）。A的边缘概率表示为 P(A)，B 的边缘概率表示为 P(B)。

32. Bayesian Formula(贝叶斯公式)

贝叶斯定理由英国数学家贝叶斯 ( Thomas Bayes 1702-1761 ) 发展，用来描述两个条件概率之间的关系，比如 P(A|B) 和 P(B|A)。按照乘法法则，可以立刻导出：P(A∩B) = P(A)*P(B|A)=P(B)*P(A|B)。如上公式也可变形为：P(B|A) = P(A|B)*P(B) / P(A)。

贝叶斯的统计学中有一个基本的工具叫贝叶斯公式、也称为贝叶斯法则， 尽管它是一个数学公式，但其原理毋需数字也可明了。如果你看到一个人总是做一些好事，则那个人多半会是一个好人。这就是说，当你不能准确知悉一个事物的本质时，你可以依靠与事物特定本质相关的事件出现的多少去判断其本质属性的概率。 用数学语言表达就是：支持某项属性的事件发生得愈多，则该属性成立的可能性就愈大。

L1 /L2Regularization(L1/L2正则，以及更多的，现在比较火的L2.5正则等)

L1范数正则化（ L1 regularization 或 lasso ）是机器学习（machine learning）中重要的手段，在支持向量机（support vector machine）学习过程中，实际是一种对于成本函数(cost function)求解最优的过程，因此，L1范数正则化通过向成本函数中添加L1范数，使得学习得到的结果满足稀疏化(sparsity)，从而方便人们提取特征。

GD(GradientDescent 梯度下降)

梯度下降法是一个最优化算法，通常也称为最速下降法。最速下降法是求解无约束优化问题最简单和最古老的方法之一，虽然现已不具有实用性，但是许多有效算法都是以它为基础进行改进和修正而得到的。最速下降法是用负梯度方向为搜索方向的，最速下降法越接近目标值，步长越小，前进越慢。

可以用于求解非线性方程组。

34. SGD(Stochastic Gradient Descent 随机梯度下降)

随机并行梯度下降算法（stochastic parallel gradient descent algorithm），简称SPGD算法。作为一种无模型优化算法，比较适用于控制变量较多，受控系统比较复杂，无法建立准确数学模型的最优化控制过程。

35.QR-decomposition(QR分解)， 矩阵分解

矩阵分解 (decomposition, factorization)是将矩阵拆解为数个矩阵的乘积，可分为三角分解、满秩分解、QR分解、Jordan分解和SVD（奇异值）分解等，常见的有三种：1)三角分解法 (Triangular Factorization)，2)QR 分解法 (QR Factorization)，3)奇异值分解法 (Singular Value Decomposition)。

36.Quantile (分位数)， 分位数

分位数（Quantile），亦称分位点，是指将一个随机变量的概率分布范围分为几个等份的数值点，常用的有中位数（即二分位数）、四分位数、百分位数等。

37.协方差

协方差（Covariance）在概率论和统计学中用于衡量两个变量的总体误差。而方差是协方差的一种特殊情况，即当两个变...