R语言介绍与点评

简介：R是用于统计分析、绘图的语言和操作环境。R是属于GNU系统的一个自由、免费、源代码开放的软件，它是一个用于统计计算和统计制图的优秀工具。R是一套完整的数据处理、计算和制图软件系统。其功能包括：数据存储和处理系统；数组运算工具（其向量、矩阵运算方面功能尤其强大）；完整连贯的统计分析工具；优秀的统计制图功能；简便而强大的编程语言：可操纵数据的输入和输出，可实现分支、循环，用户可自定义功能。

点评：优点是R开源免费，研究机构与大学很流行，并且简单易学，功能也很丰富。缺点是对数据量较大的处理不太理想，安全性比较薄弱。

R语言特点

生态系统

R语言的优势主要体现在其软件包生态系统上。“庞大的软件包生态系统无疑是R语言最为突出的优势之一是如果某项统计技术已经存在，那么几乎必然存在着一款R软件包与之对应。”

功能齐全

“其中内置有大量专门面向统计人员的实用功能，R语言具备可扩展能力且拥有丰富的功能选项，帮助开发人员构建自己的工具及方法，从而顺利实现数据分析，他进一步解释称。“随着时间的推移，越来越多来自其它领域的用户也被吸引到了R身边来，”其中包括生物科学乃至人文学科等。

便于扩展

“人们能够在无需申请权限的前提下对其进行扩展。”事实上，Peng回忆称多年之前R的使用方式就已经给相关工作带来了巨大便利。“当R语言刚刚诞生之时，它最大的优势就是以自由软件的姿态出现。其源代码以及所有一切都可供我们直接查看。”

图形处理

Adams也表示，R语言在图形及图表方面的一切能够都是“无与伦比”的。其dplyr与ggplot2软件包分别用于进行数据处理与绘图。

机器学习

在机器学习方面，R语言的优势则体现在与学术界的强大联动效应，Adams指出。“在这一领域的任何新型研究成果可能都会马上以R软件包的形式体现出来。因此从这个角度看，R语言始终站在技术发展的尖端位置，”他表示。“这种接入软件包还能够提供良好的途径，帮助我们利用相对统一的API在R语言环境下实现机器学习研究。”Peng进一步补充称，目前已经有众多主流机器学习算法以R语言作为实现手段。 劣势：内存管理 R语言当然也存在着一定不足。“内存管理、速度与效率可能是R语言面临的几大最为严峻的挑战，”Adams指出。“在这方面，人们仍然需要努力推动——而且也确实正在推动——其进展与完善。

劣势：安全性

安全等相关功能并没有被内置在R语言当中，Peng指出。此外，R语言无法被嵌入到网络浏览器当中，Peng表示。“我们不能利用它开发Web类或者互联网类应用程序。”再有，我们基本上没办法利用R语言当作后端服务器执行计算任务，因为它在网络层面缺乏安全性保障。

基础入门篇对于打好基础对职业发展非常重要，切忌只学不动手，需多实践。这里搭配了快速动手实践的与详细讲解R语言的，根据实际情况学习，软件安装环境配置等入门必备知识都有讲解。

【重点】大数据的统计学基础 15课

【重点】R语言初级快速入门 5课

【重点】R语言入门之数据统计与R语言 8课

【重点】炼数成金 R语言进阶数据展现 14课

【补充】基础数据分析与R语言 12课

【补充】R语言安装使用以及优势特点 5课

中级进阶篇重点在提升R语言技术同时，通过实际案例，实例来融会贯通，内容都是实际工作中常见问题得处理办法，对初入职场或即将踏入职场的同学很有帮助！

【重点】基于实例的R语言数据分析与展现 15课

【重点】R语言实战与金融大数据处理 10课

【重点】R语言进阶快速学习 6课

【重点】R语言绘图ggplot2应用实战

高级实战篇详细讲解了R语言高级扩展包的应用，包括类似爬虫，BI、数据建模等高级技术，对未来从事数据挖掘提前打好基础。

【重点】R语言七种武器之数据加工厂plyr 3课

【重点】R语言七种武器之数据展现包GGplot2 5课

【重点】R语言七种武器之网络爬虫RCurl 3课

【重点】R语言七种武器之交互化展示包shiny 3课

【重点】R语言七种武器之金融数据分析quantmod 3课

【随用随学】R语言建模可视化学习 5课

【知识补充】R语言公开课 5课

搜“一起自学吧”

上一篇文章《爬取11088个知乎专栏，打破发现壁垒》里提到，知乎官方没有搜素专栏的功能，于是我通过爬取几十万用户个人主页所专注的专栏从而获取到11088个知乎专栏。

本回筛选出其中涉及：编程、python、爬虫、数据分析、挖掘、ML、NLP、DL等关键词的专栏，按照排名、关注人数、专栏名称、专栏简介等顺序，罗列出史上最全专栏合集，以供大家顺藤摸瓜、前去观摩和学习。

筛选出来的专栏数据和全部11088个专栏数据，评论区有获取方式。对其他主题的专栏感兴趣的可自行去搜寻，有兴致搞出个“专栏”搜索功能的小伙伴也可以尝试下！

另外已开始对11088个专栏里的数据进行进一步爬取，之后会继续相关分析和资源分享。

TOP29系列，1万+关注：

No.1, 157960, 数据冰山, https://zhuanlan.zhihu/hemingke

（No.2, 112088，学习编程，莫道君行早，更有早行人。全心敲代码，天道自酬勤）（不小心漏了TOP2专栏，简直蠢哭）

No.2, 62106, 行为与认知神经科学, https://zhuanlan.zhihu/ibrain

No.3, 50136, 机器之心, https://zhuanlan.zhihu/jiqizhixin

No.4, 37234, 企业分析, https://zhuanlan.zhihu/company-research

No.5, 35642, 挖掘知乎里有趣的东西, https://zhuanlan.zhihu/grapeot

No.6, 34389, 智能单元, https://zhuanlan.zhihu/intelligentunit

No.7, 31283, Python中文社区, https://zhuanlan.zhihu/zimei

No.8, 28949, Python之美, https://zhuanlan.zhihu/python-cn

No.9, 24053, 地图、地理与区域, https://zhuanlan.zhihu/geo-space

No.10, 21719, Moneycode, https://zhuanlan.zhihu/ricequant

No.11, 21586, vn.py, https://zhuanlan.zhihu/vn-py

No.12, 21581, 黑客与画家, https://zhuanlan.zhihu/hacker-and-painter

No.13, 21522, 面向工资编程, https://zhuanlan.zhihu/auxten

No.14, 21042, 编程语言与高级语言虚拟机杂谈（仮）, https://zhuanlan.zhihu/hllvm

No.15, 18786, 深度学习大讲堂, https://zhuanlan.zhihu/dlclass

No.16, 17957, BitTiger.io, https://zhuanlan.zhihu/bittiger

No.17, 16257, 一起学习python网络爬虫, https://zhuanlan.zhihu/gooseeker

No.18, 15751, 数据分析侠, https://zhuanlan.zhihu/dataman

No.19, 14847, 做游戏，学编程（C语言）, https://zhuanlan.zhihu/c2game

No.20, 14792, 数据时光机, https://zhuanlan.zhihu/washu

No.21, 12908, 不宜公开, https://zhuanlan.zhihu/xiaoliangshan

No.22, 12606, Jiang的金融窝, https://zhuanlan.zhihu/quantjiang

No.23, 12131, 无痛的机器学习, https://zhuanlan.zhihu/hsmyy

No.24, 11635, 新一线城市研究所, https://zhuanlan.zhihu/therisinglab

No.25, 11629, Crossin的编程教室, https://zhuanlan.zhihu/crossin

No.26, 11012, 一个数据分析师的自我修养, https://zhuanlan.zhihu/data-analyst-improvement

No.27, 10932, Hello 陈然！, https://zhuanlan.zhihu/chenran

No.28, 10619, 爬虫之从入门到精通, https://zhuanlan.zhihu/pachong

No.29, 10254, Data Science with R&Python, https://zhuanlan.zhihu/rdatamining

5千+关注：

No.30, 9969, 集智, https://zhuanlan.zhihu/c_81843036

No.31, 9127, PRML, https://zhuanlan.zhihu/prml-paper-reading

No.32, 8568, 量化哥, https://zhuanlan.zhihu/uqer2015

No.33, 8515, AI学人, https://zhuanlan.zhihu/aixueren

No.34, 8114, 数据驱动业务增长, https://zhuanlan.zhihu/growingio

No.35, 7820, 前端周刊, https://zhuanlan.zhihu/feweekly

No.36, 7790, Analytics at Work, https://zhuanlan.zhihu/analyticsatwork

No.37, 7745, R语言中文社区, https://zhuanlan.zhihu/rshequ

No.38, 6957, Python 与 机器学习, https://zhuanlan.zhihu/carefree0910-pyml

No.39, 6944, 超智能体, https://zhuanlan.zhihu/YJango

No.40, 6842, 大数据分析挖掘, https://zhuanlan.zhihu/hellobi

No.41, 6823, 技术备忘录, https://zhuanlan.zhihu/mathNote

No.42, 6775, Hic Rhodus, hic salta, https://zhuanlan.zhihu/HicRhodushicsalta

No.43, 6753, 机器学习算法与自然语言处理, https://zhuanlan.zhihu/qinlibo-ml

No.44, 6700, 科技蟹, https://zhuanlan.zhihu/kejixie

No.45, 6641, 某熊的全栈之路, https://zhuanlan.zhihu/wxyyxc1992

No.46, 6559, 风险狗的数据分析之路, https://zhuanlan.zhihu/loan-analytics

No.47, 6328, Joe's Studio & Cafe, https://zhuanlan.zhihu/hijoe

No.48, 6222, 菜鸟学数据挖掘, https://zhuanlan.zhihu/datanalysis

No.49, 5438, Python之禅, https://zhuanlan.zhihu/pythoneer

No.50, 5391, 混沌巡洋舰, https://zhuanlan.zhihu/c_29122335

No.51, 5241, R语言数据分析与可视化, https://zhuanlan.zhihu/EasyCharts-R

No.52, 5224, 数据分析网, https://zhuanlan.zhihu/afenxi

No.53, 5218, Python高薪训练营, https://zhuanlan.zhihu/c_111369541

No.54, 5171, 福山·雅·致, https://zhuanlan.zhihu/heziyin

No.55, 5100, 晓雷机器学习笔记, https://zhuanlan.zhihu/xiaoleimlnote

No.56, 5072, AI Insight, https://zhuanlan.zhihu/ai-insight

No.57, 5064, PYTHON挖掘机, https://zhuanlan.zhihu/python-excavator

No.58, 5051, Hello, Flask!, https://zhuanlan.zhihu/flask

1千+关注：

No.59, 4882, 机器学习 & 金融量化分析, https://zhuanlan.zhihu/jjscience

No.60, 4754, 自学游戏开发, https://zhuanlan.zhihu/studygame

No.61, 4674, 前端之巅, https://zhuanlan.zhihu/qianduanzhidian

No.62, 4609, 集智·人工智能招聘, https://zhuanlan.zhihu/qiuneitui

No.63, 4600, Python爬虫实战, https://zhuanlan.zhihu/pythoncrawl

No.64, 4566, Python Hacker, https://zhuanlan.zhihu/python-hacker

No.65, 4494, 炼丹实验室, https://zhuanlan.zhihu/easyml

No.66, 4445, LeanReact, https://zhuanlan.zhihu/leanreact

No.67, 4410, 深度炼丹, https://zhuanlan.zhihu/c_94953554

No.68, 4217, 简快Excel之PowerBI建模分析, https://zhuanlan.zhihu/leigongzi

No.69, 4132, [运筹帷幄]大数据和人工智能时代下的运筹学, https://zhuanlan.zhihu/operations-research

No.70, 4067, 深度学习:从入门到放弃, https://zhuanlan.zhihu/startdl

No.71, 4001, 天善智能, https://zhuanlan.zhihu/tianshansoft

No.72, 3937, 数据化管理, https://zhuanlan.zhihu/dataware

No.73, 3934, 开始学习机器人, https://zhuanlan.zhihu/learn-robotics

No.74, 3886, 强化学习知识大讲堂, https://zhuanlan.zhihu/sharerl

No.75, 3796, 浅墨的游戏编程, https://zhuanlan.zhihu/game-programming

No.76, 3747, 莫烦, https://zhuanlan.zhihu/morvan

No.77, 3745, 高中文综实验室, https://zhuanlan.zhihu/liberart-Lab

No.78, 3738, Data Science, https://zhuanlan.zhihu/gongwenjia

No.79, 3685, 建筑可视化设计, https://zhuanlan.zhihu/uzing

No.80, 3673, MySQL, https://zhuanlan.zhihu/mysql

No.81, 3599, 备战考研, https://zhuanlan.zhihu/SunLifeDreamer

No.82, 3590, Python程序员, https://zhuanlan.zhihu/pythoncxy

No.83, 3575, 从零开始写Python爬虫, https://zhuanlan.zhihu/Ehco-python

No.84, 3564, 灵的随笔记, https://zhuanlan.zhihu/ZeitMark

No.85, 3532, 萌新的学习日记, https://zhuanlan.zhihu/linjichu

No.86, 3526, 李彬教你考注会, https://zhuanlan.zhihu/c_77735210

No.87, 3517, 钢笔爱好者, https://zhuanlan.zhihu/v2bber

No.88, 3449, 管中窥豹, https://zhuanlan.zhihu/whiteheart

No.89, 3402, 智能水桶, https://zhuanlan.zhihu/smartspew

No.90, 3399, 数据是个锤子, https://zhuanlan.zhihu/datahammer

No.91, 3346, Python学习之路, https://zhuanlan.zhihu/python-kivy

No.92, 3302, 数据分析师的成长之路, https://zhuanlan.zhihu/datamap

No.93, 3221, Runtime, https://zhuanlan.zhihu/chenjiadong

No.94, 3220, 点点墨, https://zhuanlan.zhihu/junmo520

No.95, 3202, TOMsInsight, https://zhuanlan.zhihu/tomsinsight

No.96, 3170, 什么值得爬, https://zhuanlan.zhihu/c_80099524

No.97, 3118, 半个量化交易员, https://zhuanlan.zhihu/semi-quant-trader

No.98, 3104, 日积跬步, https://zhuanlan.zhihu/improve365

No.99, 3102, gluon, https://zhuanlan.zhihu/gluon

No.100, 3071, 蛇之魅惑, https://zhuanlan.zhihu/python-dev

No.101, 3058, Linux, https://zhuanlan.zhihu/LearningLinux

No.102, 3050, 马志峰的编程笔记, https://zhuanlan.zhihu/mazhifeng

No.103, 3036, DT新纪元, https://zhuanlan.zhihu/dteratech

No.104, 3012, 原点实验室, https://zhuanlan.zhihu/cndatalab

No.105, 2912, 分布式笔记, https://zhuanlan.zhihu/b-tree

No.106, 2876, 2gua的编程生活, https://zhuanlan.zhihu/guagua

No.107, 2827, 写点Python, https://zhuanlan.zhihu/something-python

No.108, 2811, 撩撩数据吧, https://zhuanlan.zhihu/jiago

No.109, 2805, 非凸优化学习之路, https://zhuanlan.zhihu/optimization

No.110, 2786, Revit 专栏, https://zhuanlan.zhihu/RevitForum

No.111, 2755, VV Data Science, https://zhuanlan.zhihu/vieplivee

No.112, 2740, DαΓαSciεηce, https://zhuanlan.zhihu/datascience

No.113, 2700, 友盟专栏, https://zhuanlan.zhihu/umeng

No.114, 2685, 无人机日常, https://zhuanlan.zhihu/uavsdaily

No.115, 2668, 有意思的数据挖掘, https://zhuanlan.zhihu/data-mining

No.116, 2668, DT财经, https://zhuanlan.zhihu/dtcaijing

No.117, 2654, 人工智能学习笔记, https://zhuanlan.zhihu/c_80412427

No.118, 2553, Still的数据分析笔记, https://zhuanlan.zhihu/DataScientist

No.119, 2548, 人工智能应用系列, https://zhuanlan.zhihu/ai4application

No.120, 2464, 清雨的 Data Science 笔记, https://zhuanlan.zhihu/TsingJyuData

No.121, 2396, 帆软数据应用研究院, https://zhuanlan.zhihu/fanruan

No.122, 2383, 数据黑板, https://zhuanlan.zhihu/data-factory

No.123, 2299, 诸葛io, https://zhuanlan.zhihu/zhugeio

No.124, 2255, golang数据结构内部实现, https://zhuanlan.zhihu/goroutine

No.125, 2236, 数据可视化, https://zhuanlan.zhihu/datavis

No.126, 2206, Python高手之路, https://zhuanlan.zhihu/mingxinglai

No.127, 2181, Excel图表之道, https://zhuanlan.zhihu/ExcelPro

No.128, 2162, 设计与人工智能, https://zhuanlan.zhihu/designintelligence

No.129, 2157, 机器人开发的那些事, https://zhuanlan.zhihu/c_32667517

No.130, 2145, 不动点高校现充部, https://zhuanlan.zhihu/fixpoint-high-school

No.131, 2144, Swift, https://zhuanlan.zhihu/swift

No.132, 2132, 大数据技术与实践, https://zhuanlan.zhihu/hadoop

No.133, 2121, 缪斯夫人, https://zhuanlan.zhihu/msmueses

No.134, 2120, 小X的互联网投资, https://zhuanlan.zhihu/thanksalot

No.135, 2108, 计算主义, https://zhuanlan.zhihu/pillgrim

No.136, 2080, 深海遨游, https://zhuanlan.zhihu/deeplearning-surfing

No.137, 2032, 我的JA♂VA日记, https://zhuanlan.zhihu/JAVAShinNippori

No.138, 2022, Python库学习之路, https://zhuanlan.zhihu/pystudy

No.139, 2005, 人工智能+机器学习+深度学习技术文章精选, https://zhuanlan.zhihu/c_86691882

No.140, 1990, 边城的编程, https://zhuanlan.zhihu/cold-code

No.141, 1987, 写给妹子的深度学习教程, https://zhuanlan.zhihu/dlgirls

No.142, 1942, 机器有颗玻璃心, https://zhuanlan.zhihu/wjdml

No.143, 1936, 信号处理与机器学习, https://zhuanlan.zhihu/aresmiki

No.144, 1933, 中低频量化交易与AI, https://zhuanlan.zhihu/quantwithAI

No.145, 1894, 文因互联, https://zhuanlan.zhihu/c_45652868

No.146, 1889, 文艺码农之家, https://zhuanlan.zhihu/elegant

No.147, 1859, 一图一书, https://zhuanlan.zhihu/yituyishu

No.148, 1858, 一周一paper, https://zhuanlan.zhihu/one-paper-a-week

No.149, 1845, Python 爬虫实战日记, https://zhuanlan.zhihu/Waking-up

No.150, 1838, 片上神经网络, https://zhuanlan.zhihu/DNN-on-Chip

No.151, 1832, Take AI Seriously, https://zhuanlan.zhihu/aifirst

No.152, 1798, Python开发微信公众号, https://zhuanlan.zhihu/sufaith

No.153, 1725, excel讲堂, https://zhuanlan.zhihu/excelskills

No.154, 1721, 贩卖集装箱的汽车大师, https://zhuanlan.zhihu/cantonax

No.155, 1719, 面试常见算法80题, https://zhuanlan.zhihu/80algorithms

No.156, 1703, 理论与机器学习, https://zhuanlan.zhihu/theoretical-machine-learning

No.157, 1703, 无线技术大讲堂, https://zhuanlan.zhihu/dot11

No.158, 1688, 网络高并发编程, https://zhuanlan.zhihu/yedongfu

No.159, 1658, Python数据采集处理分析挖掘可视化应用实例, https://zhuanlan.zhihu/boken

No.160, 1655, Scratch编程, https://zhuanlan.zhihu/scratch

No.161, 1642, 小石头的码疯窝, https://zhuanlan.zhihu/burness-DL

No.162, 1620, 「数据科学」思维导图笔记, https://zhuanlan.zhihu/woaielf

No.163, 1614, 机器人的那些事, https://zhuanlan.zhihu/cobot

No.164, 1592, 数据结构与算法, https://zhuanlan.zhihu/DataStructureAndAlgorithm

No.165, 1588, 纽扣数据, https://zhuanlan.zhihu/niucodata

No.166, 1586, AI+设计, https://zhuanlan.zhihu/AIdesign

No.167, 1572, 我的java学习之路及习惯, https://zhuanlan.zhihu/c_120823325

No.168, 1564, 杠杆游戏, https://zhuanlan.zhihu/gangganyouxi

No.169, 1559, 飞总的IT世界面面观, https://zhuanlan.zhihu/feizong

No.170, 1554, 数据应用学院, https://zhuanlan.zhihu/c_60877174

No.171, 1548, 上善若水——游戏公司财务档案, https://zhuanlan.zhihu/hai1900

No.172, 1536, xTechDay, https://zhuanlan.zhihu/xTechDay

No.173, 1478, 简单易懂的Python, https://zhuanlan.zhihu/easypython

No.174, 1471, 机器不学习, https://zhuanlan.zhihu/zhaoyeyu

No.175, 1429, 神经网络与强化学习, https://zhuanlan.zhihu/c_101836530

No.176, 1424, DL(Deep Learning)小记, https://zhuanlan.zhihu/Charles-Wang

No.177, 1413, 娱乐硬糖, https://zhuanlan.zhihu/yuleyingtang

No.178, 1401, 数据科学沉思录, https://zhuanlan.zhihu/data-science-meditation

No.179, 1395, 前端小记, https://zhuanlan.zhihu/qianduan

No.180, 1386, 高斯世界下的Machine Learning, https://zhuanlan.zhihu/gpml2016

No.181, 1368, 声学与人工智能, https://zhuanlan.zhihu/chenxl

No.182, 1362, 机器鼓励师手册, https://zhuanlan.zhihu/Stark

No.183, 1361, Udacity | 优达学习笔记, https://zhuanlan.zhihu/youdanote

No.184, 1361, 诸事无常，唯死亡与税永恒, https://zhuanlan.zhihu/c_86275978

No.185, 1348, 山人.七-深度学习, https://zhuanlan.zhihu/shanren7

No.186, 1338, 大数据Spark, https://zhuanlan.zhihu/bigdata-spark...

数据分析师看世界杯的正确姿势是什么？

约上老友，豪饮冰啤。

利用大数据，借助好工具，来一个数据分析视角下的冠军预测。

这才是数据分析师看世界杯的正确姿势。

今晚23:00，对全球的球迷来说都是个期盼已久的时刻，俄罗斯世界杯终于来了。

对于没有时间看球的加班党来说，不能和其他球迷一起感受激动人心的进球惊喜，总可以猜猜比赛的结果吧？

所以，首场俄罗斯对阵沙特阿拉伯，谁会赢？

像这样的令人跃跃欲试的猜测，能够持续31天、64场比赛。

到底谁能在7月15日的卢日尼基体育场完美上演冠军表现呢？不同主队的球迷可能有着完全不同的答案。

那么，作为一个球迷，当你看到下面这张图的时候，你最先看到的是哪面国旗？

你第一眼看到的国旗大概就是你心里的答案了。

当然你心里的答案也不是空穴来风，可能是源于对某个球星的疯狂热爱，也可能是因为你对各届世界杯的了如指掌，每个人都有自己判断的依据。

一、几种猜测方法

笔者总结了网上流行的几种预测方式，帮你成为“预言帝”

1.归纳演绎法

这应该是忠实球迷最常用的方式了。主要是基于个人对于球队、球员个人能力、阵容分析、历史战绩、球队主帅等历史信息进行判断。

以德国为例：德国队共参加过18次世界杯，13次晋级四强，8次杀入世界杯决赛，获得过4次冠军、4次亚军、4次季军，是世界杯的传统豪强。

而在上届世界杯中，德国以5胜1平的不败战绩闯入决赛，与梅西领衔的阿根廷争夺大力神杯。双方在常规时间内战成0-0平，格策替补登场，在加时赛中打入制胜球绝杀阿根廷，第四次夺得世界杯冠军。

以此方式对比各个球队的实力，通过小组赛抽签结果判断出死亡之组，然后分析能够出线的球队。再以此为基础判断后续的1/8、1/4、决赛结果。

根据这种方法，某球迷给出的他认为的夺冠热门球队是德国、巴西、法国、葡萄牙。

2.地域判断法

从世界杯近百年的历史来看，每一届的冠军都来自欧洲和南美洲。因此，综合历史和实力考虑，绝大多数的球迷都认为，今年的冠军依然会在这两个大洲中产生。

毕竟，非欧美国家在世界杯历史上取得的最好成绩是2002年打入四强的韩国。

至于这一届的冠军是来自欧洲还是南美？力挺欧洲国家的球迷给出了两个理由：

（1）历史结果

细数以往的世界杯，从2006年世界杯以后，随着意大利、西班牙和德国的连续夺冠，不少人觉得南美洲的球队大势已去。

哪怕是四强范围内，欧洲球队在进几届世界杯中也有着显著的优势。

2006年世界杯，四强分别为意大利、法国、德国、葡萄牙，2010年西班牙、荷兰、德国包揽了前三。到上一届的时候，虽然巴西和阿根廷都杀入了四强，但在半决赛中都分别输给了荷兰与德国。

（2）地理位置优势

因为时差、饮食、气候、文化等因素的原因，在同一大洲参与比赛的球队有着天然的优势。

不信你看，在欧洲举行的世界杯基本是欧洲国家队夺冠，在美洲举行的基本都是南美国家队夺冠，不在欧洲的日韩和南非世界杯，巴西和西班牙各下一城。

至于南美球队称霸欧洲举办的世界杯，历史上同样只发生过一次：1958年瑞典世界杯，17岁的贝利横空出世，开启了巴西足球四届三夺冠的伟大篇章。

3.游戏预测法

在众多球迷喜欢玩的游戏里，足球经理（Football Manager，简称 FM）这款游戏一定再适合不过了，因为这个游戏拥有庞大的数据库，而且玩家可以设置战术、选择球员，充分模拟比赛场景，为预测提供了有力的支持。

前不久一位国外的知名游戏主播用该游戏模拟了100次俄罗斯世界杯的进程，并且统计出了各个团队荣誉及个人荣誉的分布情况。

而他利用游戏模拟出最多次夺得世界杯冠军的球队是：比利时。

纵观以上的三种方法，不难发现，不论是归纳演绎法还是地域判断法，都是基于以往的数据+个人观点作出的判断，而游戏预测法可能更加偏向于机器根据以往数据作出的判断。

也就是说，我们是可以完全按照数据分析的方法进行预测的。

二、大数据如何预测？

1.Opta 的结论

Opta Sports 是一家总部位于伦敦的体育数据提供商，他们为此做出了自己的预测。当然预测并不是凭空而来的，需要有一些具体的参考条件。

Opta 在数据模型的建立中，会根据球队以往表现的数据来计算他们的进攻和防守能力，判断出每场比赛可能的潜在结果（胜平负）。

（1）历史比赛数据

在 Opta 参考的以往表现的数据中，包含的是世界杯之前的四年中所有的官方比赛结果得出的，包括世界杯预选赛、联盟锦标赛及预选赛、友谊赛、以及国际足联的联合会杯的比赛，当然也包括2010年以及2014的世界杯比赛。

（2）主场优势

他们计算了两个“主场优势”：第一个是关于东道主的，第二个是其他所有的球队，另外对于那些自1970年起赢得过世界杯冠军的球队（具有冠军血统的球队）也算做一个优势。

（3）未考虑到的因素

但是这些统计预测并没有算上一些球员的特殊情况，比如说某位球星明天如果受伤了，那么他的球队可能会因此受到影响。

（4）还有哪些影响因素？

对于以上预测所考虑的范围，很多人觉得维度太少，很难服众。那么，对最终的比赛结果能够产生影响的因素可能还有以下几个：主教练能力、球员大赛经验、心理素质、两队阵型、两队首发、裁判的执法风格、天时（天气、季节）、地利（场地海拔、向阳背阳）等等。除了以上这些，你觉得还会有什么影响因素呢？

此图由 Yonghong Z-Suite 球迷小分队制作

当然，Opta 最终的分析结果显示，最有可能在俄罗斯世界杯夺得冠军的球队是巴西（13.2%），紧随其后的是德国（10.7%）以及阿根廷（10.1%）。

另外值得一提的是，英格兰（2.1%）夺冠的概率还不及日本（2.2%）。

2.维克多的 AI 预测

维克多是俄罗斯彼尔姆国立大学物理系的大四学生，他制造出的能够预测世界杯结果的人工智能系统。并且，彼尔姆国立大学认为该预测的准确度超过80%。

维克多建立的这个人工智能神经网络，采用了对影响比赛结果的几条标准进行分析，标准包括天气、裁判、球员心情、球员状态、伤病情况，同时参考了过去几届的世界杯数据资料，得出了非常详尽的结论。

该 AI 预测出德国队会是冠军，亚军和季军分别是巴西队和阿根廷队。实力较弱的东道主俄罗斯会在32支球队中排名27。也就是说，该 AI 甚至不认为俄罗斯队能从小组赛晋级。自家人打自家人的脸，这个 AI 还是挺诚实的。

随着人工智能的进一步发展，这个结果可能会越来越准，到时候猜球可能就不仅仅只是靠运气，更多的可能会变成一项数据分析能力的比拼。可能未来会有一台人工智能的机器被赋予章鱼“保罗”的名字。

那么，你觉得这届世界杯谁最终能捧起大力神杯？赢得球迷的尖叫和眼泪呢？

Reference：

《喵？英格兰夺冠概率不如日本》 作者/Helen

《世界杯冠军的N种猜想》 作者/羽则

- End -

他们都在用Yonghong服务

美的 |格力|联迪 |海天 |科达

泰康保险|佰仟金融|华夏银行

宝宝树 |艾瑞集团|猎聘|伊美尔

浙江电力| 太原电力 |锦程物流

人人都是数据分析师专区

BI可视化和分析可视化入门教程

从入门到精通，数据分析师必看的14篇文章

可视化图表入门教程|三步制作一张动态报表

本文作者未明学院数据分析方向老师王老师

正如2012年《哈佛商业评论》中指出的：数据科学家是21世纪最性感的职业，而熟练的进行数据分析、数据挖掘则是一名数据科学家必备的基础技能之一。正所谓工欲善其事，必先利其器，在进行数据分析之前，我们需要掌握一项能够用来进行数据分析的技能。

数据分析从上世纪60年代发展至今，已经出现了很多成熟的方法论，同时也有了很多成熟的商业工具、软件，如SPSS、SAS、MATLAB等。然而这些工具软件过于庞大、昂贵，不适合进行日常的数据分析操作。除却这些昂贵的商业工具之外，我们还有更好的选择，多亏了开源社区，我们可以使用Python以及R语言等工具。

Python以及R语言是目前在数据科学家社区中最流行的两门语言，是目前为止最适合用来进行数据分析的工具。因此，如果我们想要入行数据科学家，想要从事数据分析，Python与R是必备的两项技能。也许有人要问我：Python与R两门语言必须同时掌握吗？我的答案是肯定的。这两门语言虽然都能够进行数据分析，但是在很多细分领域还是有很大差别的。同时学习两门语言能够博采众长，知道何时采用何种工具能够最精确、快速的解决问题才是我们的目的所在。

当然，我知道很多同学没有足够多的时间同时学习Python与R两门语言，因此接下来我将对Python以及R语言进行比较，同学们可以根据自己的需要择一进行学习。当然，如果同学们能够同时学习Python以及R两门语言，当然是最好的。

简介

Python 是由 Guido van Rossum 在八十年代末和九十年代初，在荷兰国家数学和计算机科学研究所设计出来的。经过近三十年的发展，Python语言具有易于学习、易于阅读、易于维护、可移植、可扩展、可嵌入等特点。尤其是随着机器学习、人工智能的发展，Python作为一门人工智能语言备受青睐。

R是一门用于统计计算和作图的语言，受S语言影响发展而来。R语言最初由新西兰奥克兰大学统计系的Robert Gentleman和Ross Ihaka合作编写。自1997年开始，R语言开始由一个核心团队开发，团队成员来自世界各地的大学和研究机构。

语言特点对比

1） Python和R在数据分析和数据挖掘方面都有比较专业和全面的模块，很多常用的功能，比如矩阵运算、向量运算等都有比较高级的用法；

2） Python和R两门语言有多平台适应性，linux、window都可以使用，并且代码可移植性强；

3） Python和R比较贴近MATLAB以及minitab等常用的数学工具；

4） 数据结构方面，由于是从科学计算的角度出发，R中的数据结构非常的简单，主要包括向量(一维)、多维数组(二维时为矩阵)、列表(非结构化数据)、数据框(结构化数据)。而 Python 则包含更丰富的数据结构来实现数据更精准的访问和内存控制，多维数组(可读写、有序)、元组(只读、有序)、集合(唯一、无序)、字典(Key-Value)等等。

5） Python与R相比速度要快。Python可以直接处理上G的数据，R不行，R分析数据时需要先通过数据库把大数据转化为小数据(通过groupby)才能交给R做分析，因此R不可能直接分析行为详单，只能分析统计结果。

6） Python是一套比较平衡的语言，各方面都可以，无论是对其他语言的调用，和数据源的连接、读取，对系统的操作，还是正则表达和文字处理，Python都有着明显优势。而R是在统计方面比较突出。

7）Python的pandas借鉴了R的dataframes，R中的rvest则参考了Python的BeautifulSoup，两种语言在一定程度上存在互补性，通常，我们认为Python比R在计算机编程、网络爬虫上更有优势，而 R 在统计分析上是一种更高效的独立数据分析工具。所以说，同时学会Python和R这两把刷子才是数据科学的王道。

应用场景

通过上面的介绍，读者应该能够清楚的明白Python以及R语言都是能够用来进行日常的数据分析任务的，然而这两者还是有一定区别的。正如Python与R语言的官网对这两门语言进行的介绍：

Python is aprogramming language that lets you work quickly and integrate systems more effectively.

R is a free software environment for statistical computing and graphics.

Python更多的是一门编程语言，其运用场景相较于R则更为广泛，如Python可以用于Web开发、操作系统管理、服务器运维的自动化脚本、科学计算、桌面软件开发、服务器软件（网络软件）开发、游戏开发、机器学习等。

R语言相比起Python而言，其应用场景相对狭小，专注于统计计算、机器学习等领域。这也与R语言的历史有关，R语言是由统计学家合作编写的，其最初的目的是用于统计分析，为统计服务的。

学习成本及路径

R语言入门较为简单，初学者不需要对编程有任何事先的了解，只需要简单的几行代码，R语言就能进行常用的数据分析操作并构建绚丽的图表；然而，R语言的学习曲线较为陡峭，R语言从入门到精通的路程比较漫长，需要读者慢慢摸索。

Python的学习曲线刚好与R语言相反，Python是作为一门编程语言存在的，如果读者在之前有学习过任何一门类C语言，则掌握Python也是很简单的。当然，即使读者没有任何的编程基础，只需要根据网上的教程，一步一步的从基础学起Python，最终不仅可以利用Python进行数据分析，更可以利用Python进行机器学习、人工智能。

下图为数据科学家成长路径图，其中对于R以及Python的学习路径也有所提及，有兴趣的读者可以参照该学习路径图定制自己的学习路径。

总结

在现在的大数据时代，数据分析已经成为一名从业者的必备技能，而掌握Python以及R语言则是进行数据分析的基础工具。

经过上面的叙述，相信读者对于Python以及R语言已经有了自己的一些理解，能够自行选择需要的语言进行学习。而笔者则在最后赘述一句，两门语言无所谓优劣，读者需博采众长，在适当的问题环境下采用适当的语言快速、准确地解决问题才是最为重要的，千万不要局限于一门语言，效率往往比工具更为重要。

SEM从入门到精通只要15天。

其实入门SEM并不难，难的是优化提升和数据分析。

要学会利用搜索推广效果转化漏洞进行分析账户的问题，要学会利用百度统计、CNZZ等统计工具监控推广数据定期进行数据分析。要利用二八原则、SWOT、四象限法则、热力图对于推广账户数据、网站落地页面以及营销活动进行优化。

SEM只是网络推广中一个很小的一部分，而网络推广则是运营推广中的一部分，而运营的范围确包含了产品运营、活动运营、数据运营、内容运营、用户运营。对于Semer来说，只懂得SEM已经远远不够了，企业需要的是你多才多艺，既要会SEM、SEO、信息流，又要会数据分析、文案策划、新媒体、自媒体运营、甚至需要你会前端、java、python这些编程语言，还希望你会平面设计……但是工资只给你6-8K……这时候你真的想爆粗口。

无论怎样，技多不压身，我认为既然选择了网络推广这个行业，就要全面发展，其实也未尝不可考虑以后做产品经理，当然需要更多的学习才行。

2018年真的是大起大落的一年，经济跌落谷底，各行业都受到了很大的冲击，如果你想学习SEM从入门到精通，并不用太久，给自己15天的时间，期待你的加入。

本文介绍的学习路线使用的是当下主流数据分析挖掘编程语言Python来掌握数据挖掘的实际工作能力与认识水平。按照 1）基础理论→2）编程能力→3）挖掘应用→4）大数据实践 的学习流程来设置，完全适合小白从零基础学习并成为合格的数据挖掘工程师。就业方向适用于金融、保险、证券以、互联网以及人工智能等对数据应用需求度高的行业。

适合从事数据分析、挖掘零基础的同学，对于Python数据分析、挖掘感兴趣的同学。

第一阶段. 首先要了解统计学与挖掘算法的基础，建议用8天的时间去学习。

学习重点:统计学基础与算法基础是做数据挖掘的理论基础，需要具备对理论的理解与各种统计方法、数据结构、算法的掌握，统计学掌握聚类、回归、方差、正态分布、条件假设与随机变量等。算法需掌握常用数据结构，栈，队列，链表，树，举证与图等。

01.统计学基础理论 27课

02.算法导论视完整版 15课

第二阶段.接下来要熟悉Python编程基础，并熟练运用，建议用10天时间去学习。

学习重点:掌握Python数据变成基础，对于python的安装配置，开发环境的搭建，需要掌握windows与linux两个系统的环境搭建，理解并掌握python的数据结构、函数、面向对象编程。对于python的文本操作，数据库操作。了解python常用扩充包，提高开发效率。

01.Python编程基础 23课

02.Python进阶之入门到精通 22课

第三阶段.重点在数据分析与挖掘编程上实战练习，建议用15天的时间去学习。

学习重点:Python语言在对于数据处理，数据挖掘算法实现上有着很大优势，重点掌握如何使用python语言来是现实抽样、邻近度聚类、回归、预测分析等数据挖掘中常见的应用，并理解课程中实际案例：天气预测、信用评级与风险管理等。对于数据挖掘在量化交易中的应用以及文本挖掘中的应用，是常见的应用场景，需要掌握其技术实现方法与建模。

01.Python数据分析和数据挖掘实战 12课

02.数据挖掘量化交易实战演练 10课

03.数据挖掘之文本挖掘与自然语言处理 12课

第四阶段.大数据数平台数据挖掘应用,建议用10天的时间去学习

学习重点:在实际工作中，公司往往是提供大数据云计算平台，在现有的大数据平台基础上进行数据挖掘，所以会要求数据挖掘工作者具备大数据平台的实操经验，所以有必要学习了解常见的hadoop、rapidminer、mahout、hive数据仓库这样的大数据环境，并能使用大数据平台提供的数据挖掘工具来完成项目实现公司决策支持需求。

01.深入浅出大数据挖掘技术 5课

02.RapidMiner大数据挖掘平台应用 14课

03.hadoop家族Mahout数据挖掘平台应用 28课

我们知道，数据库极易受噪声、缺失值和不一致数据的侵扰，因为数据库太大，并且多半来自多个异种数据源。低质量的数据将导致低质量的挖掘结果。因此数据预处理的环节十分必要，其最重要的目的就是为了提高数据的质量。一般情况下，我们通过以下几个方面去评价数据的质量：

数据的完整性，即数据是否有缺失的情况；数据的合理性，即数据是否在合理正常的范围内；数据的一致性，即数据前后的业务逻辑关系是否合理。

此外，在模型建立的过程中，过多的变量进行建模得到的模型效果也不佳（如会产生异方差、多重共线性等等问题使模型的系数统计检验上出现差错等），因此，要对变量（指标）进行筛选，选择出合适的变量进行建模，提高模型的准确度与稳定性。那么如何实现数据的完整性、合理性与一致性，并实现在高质量的数据中进行深入挖掘分析呢？接下来的三期中，我们将分别通过介绍数据预处理的三大核心内容：数据稽核（data auditing）、数据预处理（data preprocessing）、指标筛选（index screening），带领大家实现数据预处理从入门到精通！

数据稽核体系（data auditing）

由于大数据的高维、异构、多变和强随机性，使得大数据存在复杂性和不确定性，数据结构复杂性包括结构、半结构和非结构的数据形式。数据来源包括企业自有的信息系统产生的数据和与企业相关的互联网数据，数据存储可能是数据库管理系统、NoSQL、图数据库、格式化文本或者网页数据。大数据的高维度带来噪声累加、伪关联和偶然同质性（National Science Review，2014），也带来巨大的计算代价和算法的不稳定性。大数据的低质特性是指不完整、不一致、不精确、时效错误等，以及压缩和加密导致的低质性。低质特性对大数据应用造成了较大影响，如知识发现过程的影响、数据准确应用的影响、数据转化交叉应用的影响等。

我们总结传统的数据稽核技术，并形成一套较为适用的数据稽核体系，包括数字化探索、可视化探索、描述统计探索等，结合大数据规模性、时效性要求，扩展并规范数据稽核的方法，进一步形成不同行业直接通用的标准流程，并固化至系统中可灵活高效的完成数据结合工作。

数字化探索

变量概览规划：分类数据（categorical data）、顺序数据（rank data）、数值型数据（metric data）、观测数据和实验数据、横截面数据和时间序列数据；

数据缺失值识别：在任何规模的项目中，数据都可能由于未作答问题、设备故障或误编码数据的缘故而不完整；

数据相关性分析：变量之间相互关系大致可分为两种类型，即函数关系和相关关系。函数关系是指变量之间存在的相互依存关系，它们之间的关系可以用某一方程(函数) y=f(x)表达出来；相关关系是指两个变量的数值变化存在不完全确定的依存关系，它们之间的数值不能用方程表示出来，但可用某种相关性度量来刻划。相关关系是相关分析的研究对象, 而函数关系则是回归分析的的研究对象；

指标分布统计：离散指标的贝努利分布binom（1,p）、二项分布binom（n,p）、泊松分布pois(λ)等，连续指标的均匀分布unif(a,b)、正态分布/高斯分布binom(μ,σ)、指数分布exp(λ)等，比如质量控制中，为了控制实验中的测量（或实验）误差，常以μ作为上、下警戒值，以σ作为上、下控制值，其依据是正常情况下测量（或实验）误差服从正态分布。

2.可视化探索

常用的可视化图表规范包括直方图、累计分布图、箱型图、点阵图、条形图、饼图等。以适用箱型图观测离群点为例，箱型图（又称盒须图）通过绘制连续型变量的五数总括，即最小值、下四分位数（第25百分位数）、中位数（第50百分位数）、上四分位数（第75百分位数）以及最大值，描述了连续型变量的分布，箱型图能够显示出可能为离群点的观测。

3.统计描述探索

统计描述探索分为对集中趋势的度量规范，如均值、中位数、众数等，以及离散程度的度量，如极差、四分位数、方差、标准差、四分位数极差等。

数据稽核是数据挖掘中数据准备过程的重要一环，是数据探索的前提。我们常说，“Garbage in, Garbage out”，即无用输入，无用输出，没有可信的数据，数据挖掘构建的模型将是空中楼阁。因此，强大的数据稽核将为数据挖掘的实习打下坚实的地基，同时数据预处理能够有效的提高数据质量，节约大量的时间和成本，只有形成一套完整的数据稽核体系，强化对底层数据的审计和核查，才能在后续的数据分析与处理过程中挖掘高质量的数据，从而最终释放出数据的巨大价值。

在前面写了《聊聊我的R语言学习路径和感受》一文，很多朋友在公众号后台给我留言，问如何学习数据分析、如何转行数据分析、如何快速的掌握数据分析技能等等类似的问题。为了回答这些问题，就在这里跟大家聊聊我个人从事数据分析行业后的一些感受和建议。也欢迎各位看官提出你自己的想法和经验，帮助到其他同行的朋友。

感受1：SQL很重要

SQL很重要！SQL很重要！SQL很重要！重要的事说三遍，数据库查询对于一个数据分析师来说真的是必备技能。没有它，你的工作真的非常难找，往往在面试的时候，对方都会出一些数据库相关的问题。数据库之所以重要，那是因为你工作中所需要分析的数据基本都是来自于数据库，如果你不会从数据库查询，就等同于“巧妇难为无米之炊”。

学习建议

数据库目前在市面是有很多种，如Oracal、SQL Server、MySQL、Hive等，并不是都要一一学个遍，因为它是结构化的查询语言，各种数据库的语法都非常相似，可以说是一通百通。如果你想从事数据分析岗，但又没有接触过数据库（学生或准备换行的朋友），建议你下载一个MySQL的社区版本（https://dev.mysql/downloads/mysql/），然后买一本相对实战且基础的书籍（《SQL必知必会》）进行学习。这本书一共介绍了30个章节的内容，你只需重点吸收数据库的查询、修改、删除、插入、存储过程等知识点，我认为通过这些知识点的吸收和应用，基本上可以满足数据分析岗的面试要求了。当然对于老手来说，这本书里面也有很多其他值得学习和实战的例子（如存储过程、游标、事件、性能等）。

感受2：可视化显水平

数据可视化的技能，也是数据分析师的必备要求，因为枯燥的数据表肯定不如一张张图更吸引眼球，更何况这些报表更多的是给那些业务繁忙的Boss看。那报表的展现方式总不能每次发一个PPT给对方吧，如何让对方随时随地的查看到你的报表呢？Tableau！

它有两个强大的版本，一个是DeskTop版，即分析人员的可视化设计版本；另一个是Server版，即通过DeskTop将设计好的可视化报表上传至服务器，实现随时查阅报表的功能，而这两个版本的结合就能恰到好处的满足随时随地查报表。最大的好处是你无需编程即可完成高质量的可视化任务，只需通过简单的托拉拽，就让数据可视化想怎么玩就怎么玩。目前越来越多的企业，在招聘时，都会要求或注明有Tableau的使用经验。

学习建议

这里推荐《Tableau数据可视化从入门到精通》一书，这也是我看的众多Tableau书籍中比较好的一本，而且该书籍在售书平台上的评价也非常棒。该书一共16个章节，从基础的工具简介、数据读取、字段操作、函数使用到可视化实操，讲到了很多细节方面的内容，最后还以两个案例作为压轴戏，分别是“网上超市运营分析”和“网站流量统计分析”。这两个主题抓的非常贴切，一个从电商运营角度来思考常见的可视化问题；另一个则从网站运营角度来分析有哪些核心指标可供选择和及对应的展现方式。这两个角度都顺应了互联网时代下的需求，我相信当你读完并操作完数里面的案例，会对你的可视化能力有一个质的提升，也是进入数据分析行业的加分项。

感受3：Excel很普及

作为一个数据分析师或BI，其实很多工作内容都可以通过SQL提数和Excel的加工就可以任务完成，困难的是如何梳理好SQL的提数逻辑和灵活的应用Excel减轻你的工作量。之所以说它应用很普及，是因为它不仅仅是个装数据的容器，更多的是会借助于强大函数、可视化等帮你完成工作。

各式各样的字符串函数（LEFT、RIGHT、MID、LEN、REPLACE、TRIM、FIND、SEARCH、CONCATENATE、REPT等）、数值函数（ABS、EXP、LOG、POWER、SQRT、CEILING、FLOOR、MOD、ROUND、SIGN等）、日期函数（DATE、YEAR、MONTH、DAY、WEEKDAY、WORKDAY、TODAY等）、统计函数（MIN、MAX、AVERAGE、MEDIAN、VAR.S、SUM、SUMIFS、COUNT、SKEW、NORM.DIST等）、匹配函数（ROWS、COLUMNS、MATCH INDEX、VLOOKUP）等可以让你在数据处理过程中变的非常简单而轻松；强大的可视化功能（如饼图、条形图、柱状图、折线图、面积图、散点图、气泡图、雷达图等）也会为你的数据分析助一臂之力，但面对大数据量时就显得非常捉急，这也是无法跟Tableau媲美的；灵活的宏功能，可以避免我们不断的做重复性工作，从而节约时间，提高我们的工作效率，宏语句是由一系列的命令和函数组织起来的，尽管它在工作中用的并不是那么的频繁，但一有机会，你去用它来开发报表或表计算的话，会大大提高你的成就感，当然，我希望你能够会一些宏语句，这样你身边的朋友或同事都会觉得你很了不起呢！

学习建议

这里向大家推荐《Excel函数与公式速查手册》和《Excel2016宝典》两本书。第一本书涵盖了近600个函数的讲解，而且这些函数都是借助于一个个实例来完成的，有助于读者的操作和理解，可以说，读完这本关于函数的书就可以在工作中使用函数时显得游刃有余；第二本光从书名就知道是一本知识点比较全面的书籍，该书涉及Excel的公式和函数、图表可视化以及Excel的各种设置。个人建议可以把这两本书当作工具来使用，没必要系统的过一遍，当你需要某个知识点时，从目录去查找相关关键词，然后操作几遍就记得如何使用了。

数据挖掘秀肌肉

我相信，当你找数据分析相关的工作岗位时，基本上都会看见对方要求你会数据挖掘或数据建模方面的能力，同时也会附上一条熟练使用Python、R等工具。此时你会掂量掂量自己，这方面的技能我会吗？工具使用的熟悉程度能够达到对方的预期吗？我有哪些相关的建模经验？

在面试或工作中比较常见的数据挖掘算法有四类，分别是预测、分类、聚类和关联，个人觉得前两类的使用频率会更高一些。这里提几个重要的挖掘算法：线性回归、Logistic回归、决策树、贝叶斯、SVM、随机森林、K均值和关联规则。希望不熟或不会数据挖掘的朋友可以先从这几个着手学习，而且学习的时候先通过代码完成落地，然后再去慢慢研究其理论知识。

学习建议

如果你是统计学或经济学等类似专业的朋友，建议你去学习R语言，而如果你是计算机专业或理工科的朋友，则建议你去学习Python。因为这两个工具的思维有一点点差异，毕竟R语言是由统计学家创建的（偏向于函数概念），而Python是由计算机学家创建的（偏向于类概念）。而且又有一些相似性，同时学习的话会比较容易混淆。如果你选择R语言的话，这里推荐《R语言实战》和《机器学习与R语言》这两本书，前一本书偏向于语法编程，同时也会含有案例来说明统计学方面的知识点，后一本则通过实战的方式来介绍常用的数据挖掘技术，能够助你快速的进入R语言的挖掘状态；如果你选择Pythond的话，同样介绍两本书，即《利用Python进行数据分析》和《Python数据分析与挖掘实战》，第一本更多的是介绍数据分析方面的Python库，如numpy、pandas和matplotlib，这也是一本基础书，第二本则是教你如何按部就班地完成每一个实战案例，具有代入感，让读者学习起来很顺畅；如果你还想补一补数据挖掘的理论知识，则推荐《数据挖掘概念与技术》，个人看了好几遍，不是很难，有比较好的操作性。

OK，如上就是我从事数据分析岗位的一些学习经验和感悟，希望对各位读者有一点点的帮助。学习是一种投资，需要耐得下性子，坐得住板凳，敲得住键盘，同时，还要不断的坚持。只有这样，我相信一定会成为数据分析或挖掘的强者。

End.

作者：刘顺祥（中国统计网特邀认证作者）

点击下面链接 查看历史文章

一文综述数据科学家必备的10大统计技术：线性回归、分类、无监督学习...

【漫画版】12星座程序员写代码

怎样成为知乎大V？爬取张佳玮138w+知乎关注者：数据可视化

一步一步教你分析消费者大数据

什么是数据分析?数据分析是指用适当的统计分析对收集来的大量数据进行分析，提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。在实用中，数据分析可帮助人们作出判断，以便采取适当行动。数据分析的目的是什么?数据分析的目的是把隐没在一大批看来杂乱无章的数据中的信息集中、萃取和提炼出来，以找出所研究对象的内在规律。在实用中，数据分析可帮助人们作出判断，以便采取适当行动。数据分析是组织有目的地收集数据、分析数据，使之成为信息的过程。在产品的整个寿命周期，包括从市场调研到售后服务和最终处置的各个过程都需要适当运用数据分析过程，以提升有效性。在企业里面，数据分析可以帮助我们掌握企业的运营状况，商品的出售情况，用户的特征、产品的粘性、等等。数据分析的步骤?

数据分析的步骤1.首先明确分析的思路和目的：数据分析一定的带着某种业务目的的。它可能是要追踪一个新产品上线之后的用户使用情况;也可能是观察用户在某段时间的留存情况，还有可能是运营某种优惠券是否有效。带着一定的目的，确定要从哪几个角度进行分析。然后找到能够说明目的的指标。比如想要验证运营最近的一批优惠券是否有效。我们可以从优惠券的领取情况和优惠券的使用情况两个方面分析，而优惠券的领取情况的指标可以细化为领取率;使用情况可细化为：使用率、客单价等。2.数据的收集：在确定了此次数据分析的核心指标后，就要针对数据指标做数据收集。有些企业的数据准备非常充分，数据仓库、数据集市等早早就建设好。有一些企业在数据分析上比较落后，那就需要我们自己做前期大量的数据收集工作。比如使用一些自己公司的或者第三方的数据分析工具进行埋点，拿到日志。或者使用数据库中的现有数据，比如订单数据、基础的用户信息等等。3.数据处理：数据提取出来之后，要剔除脏数据(清洗)，然后数据转化。在进行最基本的数据汇总、聚合之后，我们就可以拿到比较简单的字段相对丰富的数据宽表。4.数据分析：数据分析是用适当的分析方法及工具，对处理过的数据进行分析，提取有价值的信息，形成有效结论的过程。一般公司所需要观察的数据大致分为如下几类：商业数据：付费金额，付费用户数，付费率客单价运营数据：新增用户数，日活、周活、月活(AARRR模型)产品数据：关键页面的pv、uv(漏斗模型)用户数据：用户生命周期、用户留存、用户客单价、用户类型(RFM模型…)商品数据：商品售卖情况，毛利分析….随着数据的重要性的凸显，越来越多的公司已经认识到数据对于公司的经营是十分重要的。所以绝大部分企业都有专门的BI部门进行初步的数据加工、分析，以周报表的形式汇总给管理层做为日常数据所需以及企业决策使用。在这里主要介绍两个简单的数据分析模型：AARRR模型：Acquisition(获取)、Activation(活跃)、Retention(留存)、Revenue(收益)、Refer(传播)

AARRR模型获取用户(Acquisition)如何获取用户?线上通过网站通过SEO,SEM，app通过市场首发、ASO等方式获取。还有运营活动的H5页面，自媒体等方式。线下通过地推和传单进行获取用户。提高活跃度(Activation)来了用户后，通过运营价格优惠、编辑内容等方式进行提高活跃度。把内容做多，商品做多，价格做到优惠，但需要控制在成本至上的有生长空间。这样的用户是最有价值进行活跃。产品策略上，除了提供运营模块和内容深化。进行产品会员激励机制成长体制进行活跃用户。不仅商品优惠的，VIP等标示的ICON，对于长业务流程，进行流程激励体制，产品策略更具多元化。提高留存率(Retention)提高活跃度的，有了忠实的用户，就开始慢慢沉淀下来了。运营上，采用内容，相互留言等社区用户共建UCG，摆脱初期的PCG模式。电商通过商品质量，O2O通过优质服务提高留存。这些都是业务层面的提高留存。产品模式上，通过会员机制的签到和奖励的机制去提高留存。包括app推送和短信激活方式都是激活用户，提高留存的产品方式。通过日留存率、周留存率、月留存率等指标监控应用的用户流失情况，并采取相应的手段在用户流失之前，激励这些用户继续使用应用。获取收入(Revenue)获取收入其实是应用运营最核心的一块。即使是免费应用，也应该有其盈利的模式。收入来源主要有三种：付费应用、应用内付费、以及广告。付费应用在国内的接受程度很低，包括Google Play Store在中国也只推免费应用。在国内，广告是大部分开发者的收入来源，而应用内付费目前在游戏行业应用比较多。前面所提的提高活跃度、提高留存率，对获取收入来说，是必需的基础。用户基数大了，收入才有可能上量。自传播(Refer)以前的运营模型到第四个层次就结束了，但是社交网络的兴起，使得运营增加了一个方面，就是基于社交网络的病毒式传播，这已经成为获取用户的一个新途径。这个方式的成本很低，而且效果有可能非常好;唯一的前提是产品自身要足够好，有很好的口碑。从自传播到再次获取新用户，应用运营形成了一个螺旋式上升的轨道。而那些优秀的应用就很好地利用了这个轨道，不断扩大自己的用户群体。漏斗模型：

用户访问的路径

漏斗模型漏斗模型广泛应用于流量监控、产品目标转化等日常数据运营工作中。之所以称为漏斗，就是因为用户(或者流量)集中从某个功能点进入(这是可以根据业务需求来自行设定的)，可能会通过产品本身设定的流程完成操作。按照流程操作的用户进行各个转化层级上的监控，寻找每个层级的可优化点;对没有按照流程操作的用户绘制他们的转化路径，找到可提升用户体验，缩短路径的空间。运用漏斗模型比较典型的案例就是电商网站的转化，用户在选购商品的时候必然会按照预先设计好的购买流程进行下单，最终完成支付。需要注意的是：单一的漏斗模型对于分析来说没有任何意义，我们不能单从一个漏斗模型中评价网站某个关键流程中各步骤的转化率的好坏，所以必须通过趋势、比较和细分的方法对流程中各步骤的转化率进行分析：趋势(Trend)：从时间轴的变化情况进行分析，适用于对某一流程或其中某个步骤进行改进或优化的效果监控;比较(Compare)：通过比较类似产品或服务间购买或使用流程的转化率，发现某些产品或应用中存在的问题;细分(Segment)：细分来源或不同的客户类型在转化率上的表现，发现一些高质量的来源或客户，通常用于分析网站的广告或推广的效果及ROI。5.数据展现：数据可视化-基本的图表数据可视化是关于数据视觉表现形式的科学技术研究。其中，这种数据的视觉表现形式被定义为，一种以某种概要形式抽提出来的信息，包括相应信息单位的各种属性和变量。图表是”数据可视化”的常用手段，其中又以基本图表—-柱状图、折线图、饼图等等—-最为常用。

数据可视化-图表有人觉得，基本图表太简单、太原始，不高端，不大气，因此追求更复杂的图表。但是，越简单的图表，越容易理解，而快速易懂地理解数据，不正是”数据可视化”的最重要目的和最高追求吗?所以，请不要小看这些基本图表。因为用户最熟悉它们，所以只要是适用的场合，就应该考虑优先使用。5.1柱状图(Bar Chart)柱状图是最常见的图表，也最容易解读。

柱状图它的适用场合是二维数据集(每个数据点包括两个值x和y)，但只有一个维度需要比较。年销售额就是二维数据，”年份”和”销售额”就是它的两个维度，但只需要比较”销售额”这一个维度。柱状图利用柱子的高度，反映数据的差异。肉眼对高度差异很敏感，辨识效果非常好。柱状图的局限在于只适用中小规模的数据集。通常来说，柱状图的X轴是时间维，用户习惯性认为存在时间趋势。如果遇到X轴不是时间维的情况，建议用颜色区分每根柱子，改变用户对时间趋势的关注。

柱状图上图是英国足球联赛某个年度各队的赢球场数，X轴代表不同球队，Y轴代表赢球数。5.2 折线图(Line Chart)数据折线图适合二维的大数据集，尤其是那些趋势比单个数据点更重要的场合。

折线图它还适合多个二维数据集的比较。

折线图上图是两个二维数据集(大气中二氧化碳浓度，地表平均气温)的折线图。5.3 饼图(Pie Chart)饼图是一种应该避免使用的图表，因为肉眼对面积大小不敏感。

饼图

柱状图上图中，左侧饼图的五个色块的面积排序，不容易看出来。换成柱状图，就容易多了。一般情况下，总是应该用柱状图替代饼图。但是有一个例外，就是反映某个部分占整体的比重，比如贫穷人口占总人口的百分比。

饼图5.4 散点图(Scatter Chart)散点图适用于三维数据集，但其中只有两维需要比较。

散点图上图是各国的医疗支出与预期寿命，三个维度分别为国家、医疗支出、预期寿命，只有后两个维度需要比较。为了识别第三维，可以为每个点加上文字标示，或者不同颜色。

散点图5.5 气泡图(Bubble Chart)气泡图是散点图的一种变体，通过每个点的面积大小，反映第三维。

气泡图上图是卡特里娜飓风的路径，三个维度分别为经度、纬度、强度。点的面积越大，就代表强度越大。因为用户不善于判断面积大小，所以气泡图只适用不要求精确辨识第三维的场合。如果为气泡加上不同颜色(或文字标签)，气泡图就可用来表达四维数据。比如下图就是通过颜色，表示每个点的风力等级。

气泡图5.6 雷达图(Radar Chart)雷达图适用于多维数据(四维以上)，且每个维度必须可以排序(国籍就不可以排序)。但是，它有一个局限，就是数据点最多6个，否则无法辨别，因此适用场合有限。下面是迈阿密热火队首发的五名篮球选手的数据。除了姓名，每个数据点有五个维度，分别是得分、篮板、助攻、抢断、封盖。

雷达图画成雷达图，就是下面这样。

雷达图面积越大的数据点，就表示越重要。很显然，勒布朗·詹姆斯(红色区域)是热火队最重要的选手。需要注意的时候，用户不熟悉雷达图，解读有困难。使用时尽量加上说明，减轻解读负担。总结

1、深入浅出数据系列书籍

深入浅出数据分析

入门级别，比较简单，但基本的内容涉及全面，讲解的比较清晰，最后谈到了R语言。以下两本是同一系列。

深入浅出统计学

深入浅出SQL

2、资料之美：优雅资料解决方案的幕后秘籍

知识普及性的书籍，集结了39位数据处理领域的翘楚，现身说法，分享他们如何开发各种简约而优雅的解决方案克服各种挑战，每章都解决一个具体问题，对理解数据分析的应用领域和具体做法很有帮助。

3、R 语言实战

全面而细致的R指南，高度概括了该软件和它的强大功能，展示了使用的统计示例，且对于难以用传统方法处理的凌乱、不完整和非正态的数据给出了优雅的处理方法。

4、数据之魅-基于开源工具的数据分析

包含大量的模拟过程及结果展示，并通过实例来阐述如何使用开源工具来进行数据分析。通过本书的阅读，读者可以清楚地了解这些方法的实际用法及用途。

5、数据挖掘技术:应用于市场营销、销售与客户关系管理

如何利用最新的数据挖掘方法和技术来解决常见的业务问题。

比如提高营销活动的响应率，识别新的客户群并估算信用风险。此外，它涵盖更多高级主题，如准备分析数据以及为公司数据挖掘创建必要的基础架构。

6、Python数据科学手册

每章介绍一到两个Python数据科学中的重点工具包。适合有编程背景，并打算将开源Python工具用作分析、操作、可视化以及学习数据的数据科学研究人员。对于需要处理大量数据的人而言，这是一本非常有价值的工作书，可以有效率地处理每天面对的问题，像是操作、转换，以及清理数据、可视化不同形式的数据，建立统计学或机器学习的模型等等。

7、用数据讲故事

通过大量案例研究介绍数据可视化的基础知识，以及如何利用数据创造出吸引人的、信息量大的、有说服力的故事，进而达到有效沟通的目的。如何充分理解上下文，如何选择合适的图表，如何消除杂乱，如何聚焦受众的视线，如何像设计师一样思考，以及如何用数据讲故事。

8、利用Python进行数据分析

提供了大量的实践案例研究，展示如何使用Python库（如NumPy，pandas，matplotlib, IPython等）有效解决一系列数据分析问题。

9、机器学习实战

用简单的语言把复杂难懂的机器学习算法解释清楚了，它将机器学习的基础理论与日常数据分析的实际工具相结合。使用灵活的Python编程语言来构建实现数据分类、预测、建议以及汇总和简化等更高级功能的算法的程序。

10、机器学习系统设计

比较简单，使用Python进行机器学习并开始构建自己的机器学习项目。本书适用于机器学习初学者的Python程序员，但希望学习机器学习。

最后，花时间将这些中外文书籍吃透，数据分析理论部分就基本入门了，实践方面就需要根据企业业务需求来进行系统的练习和学习！