以下是一位在数据分析领域打滚了N年后，写下的一些体会，一定能给新人一些借鉴的地方。（总结的不错，大家可以借鉴学习哦）

一、数据分析师有哪些要求？

　　1、理论要求及对数字的敏感性，包括统计知识、市场研究、模型原理等。

　　2、工具使用，包括挖掘工具、数据库、常用办公软件（excel、PPT、word、脑图）等。

　　3、业务理解能力和对商业的敏感性。对商业及产品要有深刻的理解，因为数据分析的出发点就是要解决商业的问题，只有理解了商业问题，才能转换成数据分析的问题，从而满足部门的要求。

　　4、汇报和图表展现能力。这是临门一脚，做得再好的分析模型，如果不能很好地展示给领导和客户，成效就大打折扣，也会影响到数据分析师的职业晋升。

二、请把数据分析作为一种能力来培养

　　从广义来说，现在大多数的工作都需要用到分析能力，特别是数据化运营理念深入的今天，像BAT这样的公司强调全员参与数据化运营，所以，把它作为一种能力培训，将会让你终生受益。

三、从数据分析的四个步骤来看清数据分析师需具备的能力和知识：

　　数据分析的四个步骤（这有别于数据挖掘流程：商业理解、数据理解、数据准备、模型搭建、模型评估、模型部署），是从更宏观地展示数据分析的过程：获取数据、处理数据、分析数据、呈现数据。

　　（一） 获取数据

　　获取数据的前提是对商业问题的理解，把商业问题转化成数据问题，要通过现象发现本质，确定从哪些纬度来分析问题，界定问题后，进行数据的采集。此环节，需要数据分析师具备结构化的思维和对商业问题的理解能力。

　　推荐书籍：《金字塔原理》、麦肯锡三部曲：《麦肯锡意识》、《麦肯锡工具》、《麦肯锡方法》

　　工具：思维导图、mindmanager软件

　　（二） 处理数据

　　一个数据分析项目，通常数据处理时间占70%以上，使用先进的工具有利于提升效率，所以尽量学习最新最有效的处理工具，以下介绍的是最传统的，但却很有效率的工具：

　　Excel：日常在做通报、报告和抽样分析中经常用到，其图表功能很强大，处理10万级别的数据很轻松。

　　UltraEdit：文本工具，比TXT工具好用，打开和运行速度都比较快。

　　ACCESS：桌面数据库，主要是用于日常的抽样分析（做全量统计分析，消耗资源和时间较多，通常分析师会随机抽取部分数据进行分析），使用SQL语言，处理100万级别的数据还是很快捷。

　　Orcle、SQL sever：处理千万级别的数据需要用到这两类数据库。

　　当然，在自己能力和时间允许的情况下，学习新流行的分布式数据库及提升自身的编程能力，对未来的职业发展也有很大帮助。

　　分析软件主要推荐：

　　SPSS系列：老牌的统计分析软件，SPSS Statistics（偏统计功能、市场研究）、SPSS Modeler（偏数据挖掘），不用编程，易学。

　　SAS：老牌经典挖掘软件，需要编程。

　　R：开源软件，新流行，对非结构化数据处理效率上更高，需编程。

　　随着文本挖掘技术进一步发展，对非结构化数据的分析需求也越来越大，需要进一步关注文本挖掘工具的使用。

　　（三） 分析数据

　　分析数据，需要用到各类的模型，包括关联规则、聚类、分类、预测模型等，其中一个最重要的思想是对比，任何的数据需要在参照系下进行对比，结论才有意义。

　　推荐的书籍：

　　1、《数据挖掘与数据化运营实战，思路、方法、技巧与应用》，卢辉着，机械出版社。这本书是近年国内写得最好的，务必把它当作圣经一样来读。

　　2、《谁说菜鸟不会数据分析（入门篇）》和《谁说菜鸟不会数据分析（工具篇）》，张文霖等编着。属于入门级的书，适合初学者。

　　3、《统计学》第五版，贾俊平等编着，中国人民大学出版社。比较好的一本统计学的书。

　　4、《数据挖掘导论》完整版，[美]Pang-Ning Tan等着，范明等翻译，人民邮电出版社。

　　5、《数据挖掘概念与技术》，Jiawei Han等着，范明等翻译，机械工业出版社。这本书相对难一些。

　　6、《市场研究定量分析方法与应用》，简明等编着，中国人民大学出版社。

　　7、《问卷统计分析实务—SPSS操作与应用》，吴明隆着，重庆大学出版社。在市场调查领域比较出名的一本书，对问卷调查数据分析讲解比较详细。

（四） 呈现数据

　　该部分需要把数据结果进行有效的呈现和演讲汇报，需要用到金字塔原理、图表及PPT、word的呈现，培养良好的演讲能力。

　　推荐书籍：

　　1、《说服力让你的PPT会说话》，张志等编着，人民邮电出版社。

　　2、《别告诉我你懂ppt》加强版，李治着，北京大学出版社。

　　3、《用图表说话》，基恩。泽拉兹尼着，马晓路等翻译，清华大学出版社。

　　（五） 其他的知识结构

　　数据分析师除了具备数学知识外，还要具备市场研究、营销管理、心理学、行为学、产品运营、互联网、大数据等方面的知识，需要构建完整广泛的知识体系，才能支撑解决日常遇到的不同类型的商业问题。

　　推荐书籍：

　　1、《消费者行为学》第10版，希夫曼等人着，江林等翻译，中国人民大学出版社，现在应该更新到更高的版本。

　　2、《怪诞行为学》升级版，艾瑞里着，赵德亮等翻译，中信出版社

　　3、《营销管理》，科特勒等着，梅清豪翻译，格致出版社和上海人民出版社联合出版

　　4、《互联网思维—独孤九剑》，赵大伟主编，机械出版社

　　5、《大数据时代—生活、工作与思维的大变革》，舍恩伯格等着，周涛等翻译，浙江人民出版社

四、关于数据分析师的职业发展：

　　1、数据分析师通常分两类，分工不同，但各有优势。

　　一类是在专门的挖掘团队里面从事数据挖掘和分析工作的。如果你能在这类专业团队学习成长，那是幸运的，但进入这类团队的门槛较高，需要扎实的数据挖掘知识、挖掘工具应用经验和编程能力。该类分析师更偏向技术线条，未来的职业通道可能走专家的技术路线。

　　另一类是下沉到各业务团队或者运营部门的数据分析师，成为业务团队的一员。他们工作是支撑业务运营，包括日常业务的异常监控、客户和市场研究、参与产品开发、建立数据模型提升运营效率等。该类型分析师偏向产品和运营，可以转向做运营和产品。

　　2、数据分析师的理想行业在互联网，但条条大道通罗马，走合适你的路线。

　　从行业的角度来看：

　　1）互联网行业是数据分析应用最广的行业，其中的电商企业，更是目前最火的，而且企业也更重视数据分析的价值，是数据分析师理想的成长平台。

　　2）其次是咨询公司（比如专门的数据挖掘公司Teradata、尼尔森等市场研究公司），他们需要数据分析人才，而且相对来说，数据分析师在咨询公司成长的速度更快，专业也会更全面。

　　3）再次是金融行业，比如银行和证券等行业，该行业对数据分析的依赖需求，越来越大。

　　4）最后是电信行业（中国移动、联通和电信），它们拥有海量的数据，在严峻的竞争下，也越来越重视数据分析，但进入这些公司的门槛比较高。

五、什么人适合学习数据分析？

　　这个问题的答案跟“什么人适合学功夫”一样，毫无疑问，功夫是适合任何人学习的（排除心术不正的人），因为能够强身健体。而功夫的成效，要看习武者的修炼深浅。常常有人争论，是咏春拳厉害，还是散打厉害，其实是颠倒了因果，应该看哪个人练习得比较好，流派之间没有高低，只有人修炼的厚薄。

　　实际上，问题的潜台词是“什么人学习数据分析，会更容易取得成功（比如职业成功）”，这个要视乎你的兴趣、付出和机遇。但要做到出类拔萃，除了上面三点，还需要一点天赋，这里的机遇是指你遇到的职业发展平台、商业环境、导师和同事。

　　借用管理大师德鲁克的话“管理是可以习得的”，管理并非是天生的，而数据分析能力，也可以后天提升。或许做到优秀，只需要你更加的努力+兴趣，而这个努力的过程，也包括你寻找机遇的部分。

六、关于如何学习：

　　学习方法千万种，关键是找到适合自己的，最好能够结合你的工作遇到的问题来学习。

　　1、搜集书籍、案例库和视频，先弄懂理论，然后学会软件操作，自己制作属于自己的教程。

　　比如，你学习聚类分析模型。1）搜集相关的聚类分析模型的书籍、案例和教学视频，了解聚类分析的原理，主要有哪几种算法（划分、层次、密度、网格）、模型适用的范围和前提、如何评估模型的精确度等。

　　2）自己学会用软件来实现。

　　3）总结整理成一份PPT和制作操作视频，成为自己的学习教程，不断完善。

　　4）学习到一定程度后，可以在博客、微信等渠道分享，授人与渔，而自己也会有所收获。

　　2、关注名人、名博、网站，多渠道学习。

　　1）关注专业的数据分析、咨询公司网站和论坛，特别强调，统计软件公司的网站如SPSS的官网有很多案例库，值得关注。

　　SPSS的案例库，可在官网上搜索各类案例：http://ibm/developerwork … 8zhangzy/index.html

　　另外，你最好建一个自己的网址导航目录，提升你的学习效率

　　2）关注名人名博，最好能加他们的微博、微信和微信公众号，看牛人的博客和微信等内容，还是能得到很多引导，这个你懂的。

　　3）加入一些有共同爱好的QQ群，互相学习交流。通常群里有人会提出一些真实的运营问题，然后大家用不同的方法去解决，对思路很有启发。

　　4）碎片化学习，最大化你的时间价值。为了把零散的时间利用起来，通常我会把一些资料上载到网盘，在零碎的时间里通过手机进行视频、文档学习等。目前使用百度云盘和360网盘。百度云盘应用比较广，通常在网络上搜索“关键词+百度云”后，搜到结果可以直接保存在云盘上，搜索保存速度极大提升。360网盘则空间比较大，可以到达40T，同时有保险箱加密功能，安全性高一些。

　　手机上安装一些APP，随时随地学习。

七、最后的建议

　　请再次问问自己，是否真的喜欢数据分析，能否忍受处理数据时的寂寞？如果是，那就开始学习，给你几条建议。

　　1、把数据分析作为一种能力培养，让自己在现在的团队中展现出良好的数据分析能力，为你以后内部转岗做好准备。如果内部转岗不成，你可以考虑跳槽到我之前分析的行业中，但我强烈建议你还是需要把系统开发的编程能力学习好，并且对商业智能系统（BI和CRM）有一定了解，这也许是应聘数据分析的优势。如果没有数据分析经验去应聘，相对会难一些，用人单位会考你统计和数据挖掘模型方面的知识，以及工具使用情况。

　　2、在公司里找一些有共同爱好的同事一起学习数据分析，平时多请教数据分析做得好的同事，它山之石，可以攻玉。

　　3、扎实学好一、两门数据挖掘软件，基于你有编程的基础，建议你可以学SAS或者R，同时辅助学习SPSS Modeler。如果没编程基础或者希望短期能够取得成效，那也可以先学习SPSS。SAS+SPSS，基本能够满足很大部分企业的需求，三者都会，那更好。

　　4、要了解公司是如何运营，产品是如何开发的，如何做客户研究锁定客户需求，如何做产品营销，这些需要不断工作积累和广泛的阅读。

　　5、开始学习时，先读几本有趣的数据分析类的书，然后系统学习一下统计知识（建议教材用《统计学》第五版，贾俊平等编着），接着网上快速搜集软件操作视频和案例，然后逐个分析模型进行学习和总结归纳，学习最好能够结合实际工作中的问题进行。

　　6、学习到一定程度时，参加一些数据分析师的职业认证，进一步梳理知识结构，同时认识一些志同道合的朋友和老师，也是对你有很大帮助。

　　希望你能够成为你想成为的人！

End.

来源：36大数据

本文主要讲述数据挖掘分析领域中，最常用的四种数据分析方法：描述型分析、诊断型分析、预测型分析和指令型分析。

当刚涉足数据挖掘分析领域的分析师被问及，数据挖掘分析人员最重要的能力是什么时，他们给出了五花八门的答案。

其实我想告诉他们的是，数据挖掘分析领域最重要的能力是：能够将数据转化为非专业人士也能够清楚理解的有意义的见解。

使用一些工具来帮助大家更好的理解数据分析在挖掘数据价值方面的重要性，是十分有必要的。其中的一个工具，叫做四维分析法。

简单地来说，分析可被划分为4种关键方法。

下面会详细介绍这四种方法。

1. 描述型分析：发生了什么？

这是最常见的分析方法。在业务中，这种方法向数据分析师提供了重要指标和业务的衡量方法。

例如，每月的营收和损失账单。数据分析师可以通过这些账单，获取大量的客户数据。了解客户的地理信息，就是“描述型分析”方法之一。利用可视化工具，能够有效的增强描述型分析所提供的信息。

2. 诊断型分析：为什么会发生？

描述性数据分析的下一步就是诊断型数据分析。通过评估描述型数据，诊断分析工具能够让数据分析师深入地分析数据，钻取到数据的核心。

良好设计的BI dashboard能够整合：按照时间序列进行数据读入、特征过滤和钻取数据等功能，以便更好的分析数据。

3. 预测型分析：可能发生什么？

预测型分析主要用于进行预测。事件未来发生的可能性、预测一个可量化的值，或者是预估事情发生的时间点，这些都可以通过预测模型来完成。

预测模型通常会使用各种可变数据来实现预测。数据成员的多样化与预测结果密切相关。

在充满不确定性的环境下，预测能够帮助做出更好的决定。预测模型也是很多领域正在使用的重要方法。

4. 指令型分析：需要做什么？

数据价值和复杂度分析的下一步就是指令型分析。指令模型基于对“发生了什么”、“为什么会发生”和“可能发生什么”的分析，来帮助用户决定应该采取什么措施。通常情况下，指令型分析不是单独使用的方法，而是前面的所有方法都完成之后，最后需要完成的分析方法。

例如，交通规划分析考量了每条路线的距离、每条线路的行驶速度、以及目前的交通管制等方面因素，来帮助选择最好的回家路线。

结论

最后需要说明，每一种分析方法都对业务分析具有很大的帮助，同时也应用在数据分析的各个方面。

原文链接：http://kdnuggets/2017/07/4-types-data-analytics.html

转载请注明出自：葡萄城控件

关于葡萄城

葡萄城是全球控件行业领导者，世界领先的企业应用定制工具、企业报表和商业智能解决方案提供商，为超过75%的全球财富500强企业提供服务。

这篇文章将带你重回那些疯狂又让心惊胆战的编程者求职面试现场。

也许你大学或者研究生刚毕业，正面临第一次求职面试，又或者你是个软件工程老鸟，已经有些年没有想过求职面试这种事了。

不管你属于哪种情况，求职面试的第一步都是在网上浏览一堆面试指南（尤其是涉及到你感兴趣的公司），并和好朋友们聊聊他们的面试经验（不仅包括作为求职者还包括作为面试官的经验）。

在这第一步“探究性”阶段所学到的有关面试流程的信息，很可能会指导你如何开展下一步的准备工作。

以下干货将告诉你准备这类面试的正确打开方式，敲黑板！

大多数面试指南都是从一家公司的角度出发的。A公司可能非常注重程序开发效率，而B公司可能更看重解决高层次问题的能力。如果已你经把目标瞄准了A公司，那就得好好研究他们的看重什么了。

人在不经意的时候会心口不一。在写面试指南的时候，公司可能会说他们不在乎编程语言，或者会希望你试着还原你的思考过程，即使说得可能不太对也没关系。但是事实他们的标准可能并不是他们说的那样。也不是说那些技术公司是穷凶极恶的骗子，要恶意误导求职者。有时，人们在毫无意识的情况下可能会产生难以察觉的偏见。

很多你从朋友或熟人那里听来的“秘籍”可能完全不属实。很多人认为面试很短代表没戏了。同样，当他们认为“我和那个面试官很聊得来，我肯定会进入下一轮面试”的时候，他们会觉得面试时间很长。之前我们已经说到了人们经常会误判自己的面试表现。这一次，我们就来直观地看看像面试时间长短这种指标是否真的能说明什么吧。

我们公司（interviewing.io）独家推出了一种基于数据的方法来评估技术型面试和面试结果之间的关系。我们有一个平台可以供人们在上面匿名地练习技术型面试。不出意外的话，人们可以解锁并随时匿名练习像优步、Lyft（优步在北美的主要竞争对手）和Twitch（北美的一个游戏直播平台）这些顶级公司的技术型面试。

更厉害的是，面试模拟训练和真正的面试都能在我们的interviewing.io的生态中进行。所以，我们可以对收集到的大量面试数据进行分析，从而更好地理解技术型面试，如面试中哪些信号是有效的哪些是无效的、以及面试中哪些方面可能真正对结果产生影响。

不论是真实或者模拟面试，每一场我们都会确保求职者和面试官在一个可协作的编程环境里，通过语音、文字和白板进行交流，期间穿插着技术型问答。

你很可能会遇到在后端软件工程师的电话面试里经常出现的那种技术问题。

我们收集了面试中出现的所有数据，包括语音记录的文字版本，求职者编写并运行的程序数据、元数据，以及求职者和面试官各自对这场面试和对对方及这场面试的反馈意见。

如果对此感兴趣的话，你可以看到下面求职者和面试官各自的反馈表 — 除了设置是/否这样单选问题，我们还设置了一些用1-4的梯度来衡量面试表现的问题。

除此外，我们还对求职者设置了一些附加题，但这些问题不对面试官开放，其中一个问题是：求职者以前是否见到过这些题。

结果

注意，下面的结论都是基于观察数据，也就是说我们不能下很确切的定论…但我们还是想分享我们观察到的一些有意思情况，看完后相信你自己可以得出相应的结论。

以前见过同样的面试题——

“我们谈论的是训练！”Allen Iverson ( 阿伦·艾弗森前美国职业篮球运动员，司职后卫（双能卫）)

首先，众所周知，想要在面试中做得更好，最好的方法之一就是进行面试训练。网上有非常丰富的渠道和资源可以帮助你训练，我们就是其中之一。面试训练最主要的一个好处就是它可以帮你减少你碰上从来没见过问题的可能性。如果你事先练习过一两遍，平衡二叉搜索树问题会变得远没有那么可怕。

回顾我们收集的3000+的面试案例，对比以前见过面试题的求职者与没见过那些题的求职者的面试结果，得到以下结果。

标题：见过面试题的对面试结果影响

横轴：求职者是否见过面试题

纵轴：成功率

果不其然，见过面试题的求职者被面试官认可的可能性比没有见过的高出16.6%。这个区别在统计学上十分显著——这篇文章的所有误差线都是95%的置信区间内的情况（95%置信区间就是总体参数在这个范围的可能性大概是95%,或者说总体参数在这个范围,但其可信程度只有95%）。

你用什么语言编程很重要吗？

“不爱自己母语的人，无论是谁，卑贱堪比禽兽和臭鱼”——荷西·黎萨（菲律宾近代反抗西班牙统治的民族英雄）。

你可能会以为用不同的编程语言会有更好的面试结果。例如，也许更易读的Python会助力你的面试。或者觉得特定语言能有简洁的方法处理数据结构，使普通的面试问题更简单。我们想用统计学的方法知道面试表现和使用不同的面试语言之间是否有足够大的区别。

为了研究，我们根据不同的面试语言将我们平台上的面试进行了分组，并剔除了面试使用次数低于五次的编程语言（这只排除了个别几个面试）。之后，我们得到了面试结果与使用的编程语言之间的变化函数。

分析结果如下表。任意非重叠的置信区间代表了统计学上很大的区别，显示了在不同的面试语言情况下，求职者有多大几率可以“通过”面试。

虽然我们没有对这些编程语言进行成对对比。总的来讲，以下数据显示，就求职者遇到不同语言的情况下的面试成功率之间，并没有明显的统计学上的区别。（我们的平台上列出了更多编程语言，但越小众的语言我们能收集到的数据就越少。例如，用Brainf***语言面试保证你百分之百成功，开个玩笑。）

面试时使用的编程语言与面试成功率之间的关系

纵轴：面试成功率

横轴：所使用的编程语言

我们观察到的一个最常见的问题是求职者会选择自己并不熟悉的编程语言，然后在一些很基本的问题上出错，例如，查询数组长度，迭代数组，实例化哈希表等等。

当求职者有意选择一个看起来很“高端”的编程语言，想要给面试官留下深刻印象的时候，都会让面试官感到很失望。相信我们，在每一次面试时，都请使用自己熟悉的语言尽情发挥，而不是去用你并不熟悉的“高端”语言炫技。

即使编程语言无关紧要……那如果我选择所面试公司使用的编程语言会有优势吗？

“上帝帮帮我，我是原住民”– Margaret Blaine

注：暗指求职者使用的编程语言所面试的公司也在用，是想要让面试官认为自己已具备成为公司一员的能力。

普遍来说，面试时所使用的语言与面试表现之间似乎没有特别的关联。但是，大家可能还是会认为如果面试时使用对方公司习惯的编程语言会对面试结果产生一定的影响，比如Ruby Shop招聘时可能会说，“我们只招Ruby的开发人员，如果你在面试时使用的是Python，我们很可能不会录用你。”

另一方面，如果一个公司所有的代码都是用Python完成的，那么他们在面试时对于Python的要求会十分苛刻，因为他们对这门编程语言里里外外都很清楚。同时，他们也会在面试中评估对求职者的所有非Python相关的能力。

下面的图表与之前展示面试成功率的差异（根据面试官是否愿意雇佣求职者来衡量的）与在面试时使用不同编程语言之间的关系的图表类似（C++，Java，Python）。无论如何，这个图表也说明了面试表现与所面试公司是否使用某种语言之间并没有必然联系。

我们将分析范围限定在C++，Java和Python，因为我们可以基于这三种语言构建一个良好的面试组合，有些公司使用这三种语言，有些公司不用。调查的结果并不一致，当面试时使用的编程语言为Python或者C++时，所求职公司是否使用这种语言与面试成功率之间并没有统计学上显著差异。然而，当所求职公司是使用Java的，那么面试时使用Java更可能面试成功。（P=0.037）

为什么所求职公司使用Java对于面试成功率有正向影响，而使用Python和C++却没有呢？一个可能的原因是使用特定语言（如Java）的组织对于该编程语言的历史实施经验有较高的认可度。根据这些规则，如果面试官所在公司使用Java，那么他们在面试时更可能围绕Java自身已有的知识体系进行提问。

面试成功率与所使用的编程语言的相关性

纵轴：面试成功率

横轴：编程语言

图例：公司使用某种语言，公司不使用某种语言

你使用的编程语言和面试官对你的沟通能力的评价有什么关系呢？

熟练的掌握一种语言，就像是练习一种唤醒巫术一样。- Charles Baudelaire （夏尔·皮埃尔·波德莱尔，法国十九世纪最著名的现代派诗人，象征派诗歌先驱，代表作有《恶之花》）

即使使用哪种语言对于面试表现没有大的影响（除了使用Java的公司），我们仍然很好奇选择不同的编程语言对于其他面试考察点而言，是否会有不同的结果。

例如，如果求职者选择的是可读性很强的编程语言，例如Python，面试官可能会对他的沟通能力有很高的期待。如果使用的是比较底层的语言，例如C++，那么他可能在技术能力方面会获得更高的分数。

此外，可读性很强的语言和底层语言可能影响这两项分数的相关性。（例如，使用C++的求职者所编写的代码的执行效率可能很高，但却不能清楚地解释他（她）在做什么）。下面的图表说明对于使用不同语言的求职者的技术能力和沟通能力的评估结果，二者间并没有显著性差异。

使用不同编程语言的人的沟通能力和编码能力的对比分析

横轴：编码能力

纵轴：沟通能力

图例：通过面试的百分比

此外，从图表中看来不论是使用什么语言，如果编码能力差的人，很可能沟通能力也很差。而编程能力很强沟通能力弱的人相对很少（反之亦然）。这在很大程度上（也很幸运地）揭穿了工程师都讲话语无伦次，语速很快，而且看起来很笨拙的谣言。

（我见过的最好的工程师不仅非常擅长将复杂的概念进行分解，并且能够讲解给非专业人士听。不是很懂为什么总会有那些关于工程师都具有社交恐惧，是语无伦次的技术宅这样的传言。）

面试时长

我们都有过面试完后觉得自己表现不太好的经历。通常，这种不好的感觉源于我们给自己或听别人反复说的攻略的心理暗示。你可能会想，“为什么这次面试时间这么短，这是一个不好的信号……”或者，“这次面试我好像什么都没写，肯定会被淘汰了”。通过数据分析，我们想知道这些攻略对于求职者的面试表现是否有受用。

首先，我们来看面试时长。一个很短的面试是否意味着你的能力很弱所以面试官决定提前结束？或者是否是因为面试官这次只有比较短的时间进行面试，或者他（她）是否已经在很短的时间内就认定你是一个优秀的求职者？下图显示了成功通过面试和面试失败的求职者的面试时长（以分钟计时）的分布情况。

一眼就可以看出，顺利通过者和面试失败者的面试时长分布并没有很大不同。顺利通过者的平均面试时长是51分钟，面试失败者的平均面试时长是49.95分钟，这两个数据并没有显著的差异。

（对于本篇文章中的所有分布的对比，我们都将使用Fisher-Pitman排列检验法来对比分布的平均值的差异。）

标题：面试时长和面试结果是否相关

横轴：面试时长（分钟）

纵轴：面试数量

图例：面试官愿意雇佣、面试官不会雇佣

编写代码的长度

“言以简为贵” – 威廉 莎士比亚（英国诗人、作家）

很多人可能都经历过面试时僵住的情况。面试官问了一个你不太懂的问题，然后你问回他（她）“使用二分法查询什么？”，而且在整个面试中你可能一句代码都没有写。但你还是想灵机一动，展现出很好的问题解决能力，从而成功通过面试。为了评估这是否有效，我们分析了求职者最终提交的代码的字符长度。下图显示了面试成功者和面试失败者的字符长度的分布情况。快速地浏览下就可以看出这两种方式的不同，面试失败者最终所提交的代码长度会更短。有两种可能的情况与之相关，第一种，面试失败的求职者在一开始就只写了很少的代码；第二种，他们很可能在代码没有运行成功或者运行后没有返回预期结果时删除了大段的代码。

标题：代码的长度和面试结果是否相关

横轴：最终提交的代码长度（字符数）

纵轴：面试数量

图例：面试官愿意雇佣、面试官不会雇佣

成功的求职者最终提交代码的平均长度是2045个字符，而面试失败者最终提交的代码的平均长度是1760个字符，二者间有很大不同！这个结果在统计学上是有很大的差异的，也是我们意料之中的。

代码模块化

一个成熟的程序员的标志是，当意识自己花时间写的代码没有意义时，就将它抛弃。

除了求职者编写的代码长度，我们还调研了代码类型。

业内公认的观点是好程序员不会重复写同样的代码 — 他们写那些可以被重复利用很多次的模块化代码。

我们想知道这种行为是否也能在面试中获得青睐。于是，我们看了那些考察Python5的面试，并且在面�...

人的一生，匆匆而过，从呱呱坠地到去世，经历过幼儿，少年，青年，壮年，老年。那在这一生中又有那么多时间在睡觉，吃饭，喝水，走路，看书等。人的一生是怎么样的呢？我们用数据分析一下。

各种生命活动时间累计起来是惊人而有趣的，不妨统计一下，以使自己在物资配备与精力投入上有所侧重。因生活习惯、地域、气候、工作性质、遗传基因等方面原因，人的寿命有长有短。有高达八九十岁的长寿者，有六七十岁就辞世的人。这里取一个平均值——70岁，看看你自己70年里生命活动时间是怎样分配的。

人一生站立的时间最长，在不知不觉中站了30年。可要准备几双好鞋子哟!

睡卧的时间居第二位——23年，为此，不要忽视你的床榻、休息环境与条件。

准备一把舒适的椅子吧，坐着的时间居第三位，人一生要坐17年。

看来鞋子至关重要，因为走路还要消耗你生命中的16年。

尽管劳动是生活的必需，可人用于工作的时间总共才10～12年。

人补充能量的时间竟是工作时间的一半——一生中要在饭桌上度过6年。

等车的滋味难受吗?人一生花在等车上的时间要用3～6年，这要由家到工作单位的远近而定。以等一次车10分钟计算，人一生要在站点上度过170个昼夜。

长嘴就要说话，人一生用于交谈的时间需要2年。

看电视已是当代生活的一部分。且不说那些整天泡在电视机前的人，仅以《新闻联播》开始时间计算，至正常的就寝时止，人一生就要在电视机前度过2128天(昼夜)，约6年多。

其余的内容我们以天计数，一天当然是24小时。

图片来自网络

人一生要笑——623天。　做饭——560天。　感冒——500天。　　调情——504天。　　学习——440天。而且，这440昼夜是指学校以外的学习。　接受中小学义务教育——405天。　　节日活动、家庭聚会、学友联谊——375天。　　书信往来、填写各类表格——305天。　书报阅览——250天。　打电话——180天。　女性一生用于穿戴打扮的时间约531天;男性大为逊色——177天。　刮胡子是男人的“专利”，一生要为它付出140天的时间。　　在洗澡的时间分配上亦是男女有别：男人一辈子用在洗澡上的时间是117天;女人则多得多——531天。　　正常的性生活对于夫妻来说时间应是均等的，它要占据一生中的110天。这当然也是净时积累。而且，既不包括梦遗，也不算“第三者插足”之能事。　　梳头——108天。　　刷牙——92天。　流泪——50天。　时不时会有人轻叩你的房门，他们或许是物业管理人员来收小区管理费;或许是查电表的;或许是收水费的;或许是收缴煤气费的;若你开个小买卖，也许是来收税的……总之在你的一生中，你的房门不间断地被敲响了3～6天。

记得上学的时候有一句名言。我们不能改变时间的长度，但可以左右时间的宽度。愿你的人生充满幸福，短短人生，一定要珍惜！

如果大数据能够如此诡异地了解到我个性的方方面面，我只想问：为什么Facebook一直想让我花80元买双拖鞋？

如果大数据能够如此诡异地了解到我个性的方方面面，我只想问：为什么Facebook一直想让我花80元买双拖鞋？

我上Facebook或Instagram时几乎总会看到一则标价过高的帆布便鞋广告。我怀疑自己迄今从没买过超过25元的拖鞋，我也不太可能在马莎百货(Marks and Spencer)以外的地方买这类东西。我从来没在网上搜索过拖鞋二字，也想不出我上网时哪些举动会暗示出我喜欢“新潮”的拖鞋。（实际上，这款拖鞋有种难看的可拆户外鞋底，所以人们多半会说我是个穿拖鞋出门溜达的“中年大叔”，而不会说我“新潮”，如果我买了它的话。）

对那些数据科学天才们来说，公平地讲，Facebook并不总是给我推销天价拖鞋。有时它也向我推销天价耳塞，或购买一款正念app的机会。照说，我们应该相信，建立在数据抓取和机器学习基础上的复杂算法现在比我们最亲密的朋友还了解我们。然而，在我们公司，不用15分钟你就能了解，我这个人不太可能花80元去买拖鞋，也不会破费购买什么正念app。

这些广告还会根据浏览历史来投放。我明白为什么我在浏览过某个城市的旅游景点后会看到爱彼迎(Airbnb)的招租广告。在一个数据被认为无所不知的时代，令我困惑的是，为什么我在订完房后还能看到广告。总是如此。有谁没在网购后的六周接连不断地收到同一个商品的广告推送？去年，我们买了台电子琴送给儿子当生日礼物。几个月后，我仍会收到相同型号产品的广告。要么是数据分析师们不知道我们已经下了单，要么是他们认为我们是电音组合“宠物店男孩(Pet Shop Boys)”，一台电子琴不够使。

在我看来，这些广告不像是来自别有用心的数据天才，它们更像出自一位上了年纪的大爷之手，他记得你小时候爱吃夹心饼干，所以即使你都过完45岁生日了，他还在给你买。

很明显，还有更多原因。如果不值当的话，像Facebook和谷歌(Google)这种企业才不会做这么麻烦的事。我们必须假设，密集的数据挖掘会带来更有针对性的广告，从而为客户提供更优质的筛选结果，也会给平台带来更高的回报。

我只想提一个忠告。不管这些公司掌握了我多少数据，在有针对性地推送消息上，他们显然还得再接再厉。我每天大部分时间都耗在网上，访问那些被Facebook搜索的网站，并通过Chrome浏览器将我的一举一动反馈给谷歌。我大致的生活状况不难了解，然而，它们还在给我推送金拖鞋。我想这意味着Facebook将我界定为国际精英阶层，但更有可能的是，我被归入了“钱多人傻”一族。

定向广告的价值显而易见。给巴黎某个对麸质过敏的人推销一家伦敦的面包店毫无意义，但夸大算法的能力却符合每个人的利益。

一种合理的解释也许是，这些平台尚未将它们掌握的有关我的海量数据整合为有用的行动。目前，它们仅需胜过其它媒介，如报纸和电视。虽然它们可能还没有很好地将自身掌握的大量数据投入使用，但有理由相信它们会越来越擅长利用这些资源。这也许就是为什么如今监管机构应该认真考虑限制数据采集的规模。

还有另一种解释。也许它们非常了解我，以至于还没等我自己意识到，它们就知道我需要这些华而不实的高价货。它们知道，私下里我就是那种把脚套进80英镑的居家鞋的人。也许大数据革命就像许多人宣称的那样高深莫测，而且比我本人更了解我自己。或许我只需要屈服，它让我买啥我就买啥。噢，金拖鞋；噢，金拖鞋。

转载自百家号作者：超说未来

大数据在全球范围内的IT就业市场占有越来越重要的影响。根据Gartner公司提供的数据，截至到2015年将有440万的IT工作来支持大数据，仅美国就会有190万的IT工作产生。看看我们列出的排名前20位的大数据职位及其职责列表。

首席数据官Chief DataOfficer

职责：

a. 与行政人员，数据所有者和数据管理员共同为内部和外部的客户创建数据管理策略并且实现数据的准确性和制定工作流程的需求目标。

b. 引导EIM程序，业务数据管理员和数据服务供应商提供数据管理活动。

c. 建立数据政策，标准，组织并且督促EIM概念的组织成立。

d. 监督组织内的数据质量工作的监管，并且为不能被数据治理委员会解决的数据管理问题提供几种治理。

e. 建立数据供应商管理策略，并通过CIO/CTO和IT组织的协调来监督完善EIM项目。

f. 领导创建程序的业务定义，数据管理目标和EIM计划执行的原则。

g.负责企业的信息/数据管理预算和数据相关的系统活动。

数据分析师Data analyst

职责：

a. 协调客户和员工之间的关系，提供所有的数据分析和支持。

b. 对所有结果进行数据分析，并为客户准备演讲。

c. 对数据进行审核并且为客户解决业务相关的问题。

d. 与工程和产品管理团队进行协调，并确定所有交接的准确性，并准备好总结。

e. 进行数据分析并且传递给终端客户。

f. 监督所有的客户问题，并为经理和主管的协调和交接提供帮助。

g. 监督和管理所有和客户发票并且对所有的支付问题进行及时的评价。

h. 管理客户发票的所有数据，并提供公司的指标。

i. 监督并解决所有客户的发票数据问题，并和各供应商协调和管理所有以前的平衡合作关系。

j. 管理所有的数据消耗异常状态，确定数据的漏洞后准备相应的决议。

k. 监督流程管理工具，并确保遵守所有周期的指导方针。

l. 维护和管理发票文档库，并解决所有问题。

m. 执行内部设计和准备所有的发票，并确定更进流程的质量。

大数据观察员Big DataVisualizer

职责：

a.通过可视化软件给商务提供价值增值分析来指导分析和借鉴分析带来的影响，综合成清晰的沟通。

b.理解数据如何在不同的系统中运作来提供有关要求来确定正确的数据输入组织报告/分析。

c.与数据质量团队之间紧密合作，以确保数据的完整性。

d.发展业务需求为报告流程去推动功能规范化。

e.在业务和跨职能团队的合作下，完整地记录报告流程和系统。

f.收购，管理和文档的数据（包括地理空间数据）。

g.与客户/客户服务团一起进行工作计划，并进行数据分析。

h.参与提案撰写，客户交付成果和研究论文。

i.对数据、GIS数据分析创建可视化从而列入建议书，报告，论文和多媒体项目数据。

大数据解决方案架构师Big DataSolutions Architect

职责：

a.对Hadoop解决方案的整个生命周期进行引导，包括需求分析，平台选择，技术架构设计，应用设计和开发，测试和部署。

b.在一个团队中，设计并卡发开创性大规模集群的数据处理系统提供了技术和管理的领导。

c.帮助Xtremeinsights客户指定战略，最大限度地发挥数据的价值。

d.帮助Xtremeinsights在大数据空间通过促进白皮书，技术评论对社区建立思想领导。

大数据工程师Big DataEngineer

职责：

a.收集和处理大规模的原始数据（包括脚本编写，网页获取，调用APIs，编写SQL查询等）。

b.和我们的工程团队密切合作，并以惊人的创新和算法与我们的生产系统相结合。

c.将非结构化数据处理成适合分析的一种形式，然后进行分析。

d.根据所需要的和专案分析商业决策。

大数据研究员Big DataResearcher

职责：

a.从多种关系数据库中提取数据，操作，使用定量，统计和可视化工具研究数据。

b.告知适当的建模技术的选择，以确保使用严格的统计过程的测试模型进行开发。

c.建立和维持有效的流程来验证并更新预测模型。

d.分析，建模，预测卫生服务的利用模式/趋势和创造能力来为医疗保健服务模式模拟假设的情景。

e.与内部业务，分析和数据战略合作伙伴共同合作，从而提高效率，为核心的软件产品增加预测模型的适用性

f.帮助管理分析的创新性，形成的见解，主张整合新概念到现有的客户端工具中，帮助翻译即席分析到可扩展的软件解决方案。

数据仓库管理员Data warehousemanager

职责：

a指定并实施信息管理策略。

b.协调和管理的信息管理解决方案

c.多个项目的范围，计划和优先顺序安排

d.管理仓库的各个方面，比如数据外包，移动，质量，设计和实施。

数据架构师Data architect

职责：

a.通过采用最佳实践和工具，包括SOL,SSIS,SSRS和OLAP来设计数据库，数据模型，ETL过程，数据仓库应用和商业智能（BI）报告。

b.根据现有的标准和准则来提供高品质（DA）的相关结果，包括ETL过程，数据仓库设计和数据系统的改进。

c.通过提供对数据仓库的方法和途径的建议解决程序（DA）的相关问题与业务分析师和技术团队。

d.分析（DA），相关业务需要，可与项目工作人员对（DA）的发展未来做出决定和建议。

数据库管理员Database manager

职责：

a.提高数据库工具和服务的有效性

b.确保所有的数据符合法律规定

c.确保信息得到保护和备份

d.与工作团队做定期报告

e.监控数据库性能

f.改善使用的技术

g.建立新的数据库

h.检测数据录入程序

i.故障排除

商业智能分析员Businessintelligence analyst

职责：

a.就工具，报告或者元数据增强来进行传播信息。

b.进行或协调测试，以确保情报的定义与需求相一致。

c.使用商业智能工具来识别或监测现有和潜在的客户。

d.综合目前的商业只能和趋势数据，来支持采取行动的建议。

e.维护或更新的商业智能工具，数据库，仪表板，系统或方法。

f.及时的管理用户流量的商业情报。

数据仓库分析员Data warehouseanalyst

职责：

a.了解企业用户的需求信息，并将其传送到数据仓库团队的其他成员。

b.指导并实施面试任务。

c.指导并收集采访资料。

d.协助DW数据分析师分析现有的报告并确定整合指标。

e.指导数据库需求文件的准备。

f.协助数据分析师测绘任务。

g.分析现有的报告。

h.引导业务指标的鉴定和文献。

i.在合适的资源系统专家的指导下确定系统的记录。

j.帮助识别潜在的数据来源，数据库。

k.负责数据采集过程的试验和实施。

l.担任ETL和前端程序员的顾问。

数据建模师Data modeler

职责：

a.为标准命名约定和编码实践指定最佳的训练方案，以确保数据模型的一致性。

b.推荐在新环境中的数据模型的重复使用机会。

c.对数据库和SQL脚本执行的物理数据模型进行逆向工程。

d.评估数据模型和物理数据库的差异和矛盾。

e.验证业务数据对象的准确性和完整性。

f.分析数据相关的系统的挑战，并提出相应的解决方案。

g.根据公司标准制定标准的数据模型。

h.对系统分析员，工程师，程序员和其他人在项目的限制和能力，性能要求和接口进行指导。

i.审查修改现有软件，以提高效率和性能。

数据库开发员Databasedeveloper

职责：

a.设计，开发和实施基于客户需求的数据库系统。

b.优化数据库系统的性能效率。

c.准备设计规范和功能单证的分配数据库的项目。

d.对数据库系统进行空间管理和容量规划。

e.建立数据库表和字典。

f.参与数据库设计和架构，以支持应用程序开发项目。

g.执行数据备份和档案上定期。

h.测试数据库，并进行错误修正。

i.及时解决数据库相关的问题。

j.制定安全程序，以保护数据库免受未经授权的使用。

k.评估现有的数据库，并提出改进建议的执行效率。

l.开发用于数据库设计和开发活动的最佳实践。

门户网站管理员Portaladministrator

职责：

a.制定所有门户网站的布局和维护网站的所有功能。

b.监督所有页面内容，并提供给所有工作人员和外部组织的帮助。

c.整合新的技术体系为门户和网络管理员的协调工作。

d.维持对所有门户项目的现状，并协助解决新的和现有渠道的所有问题和自动化的所有进程。

e.在所有配置进行测试和升级过程中，实现所有的目标，并保持对所有门户环境的新技术维护。

f.确定网站的所有长期目标，并根据指引，建议改进所有内容。

g.保持高效的门户网站的文档系统，并协助安装所有Web中心互动系统。

h.分析所有系统的升级和应用程序，并确保遵守所有计划要求，设计了新的门户网站所有的解决方案，并协助解决所有的生产问题。

i.监测和分析所有门户网站的系统指标，并保持最佳性能。

j.与管理人员和社区成员协调落实各项业务活动，并确定所有的web服务器配置。

k.管理和配置所有的门户应用程序。

l.保留所有门户网站的市场和不断变化的行业知识。

m.对全业务运营提供支持，并确保所有的利润优化。

数据库管理员Databaseadministrator

职责：

a.选择合适的软件和硬件

b.管理数据安全和隐私

c.管理数据完整性

d.数据备份

e.数据库恢复

f.优化数据库性能

g.提高查询处理性能

首席数据分析师Chief DataAnalyst

职责：

a.为一部分的基础整体研究程序员开发新的分析项目

b.团队的其他成员来提供技术投入研究项目的发展。

c.为分析员提供大型调查的收集，编制和分析。

d.在适当的时候使用Excel，SPSS或者STATA和先进的技术进行统计分析。

e.对政策专家，相关的投资方和学者进行基础的增长。

业务系统分析员Business SystemAnalyst

职责：

a.确定通过研究业务职能业务目；收集信息；评估输出要求和格式。

b.设计通过分析要求的新的计算机程序；构建工作流程图和示意图；研究系统的能力；书写规范。

c.提高通过研究当下实践系统进行设计修改。

d.通过识别问题来对控制提出建议，提高写作流程。

e.通过定义项目里程碑，阶段和要素来形成项目团队，建立项目预算。

数据挖掘分析师Data mininganalyst

职责：

a.对优先考虑的账户进行统计分析，从而最大限度的成功化。

b.与主管或客户端沟通行动计划，并找出需要改进的地方。

c.执行战略数据分析和研究，以支持业务需求。

d.找准机会从而通过复杂的统计建模提高生产率。

e.浏览数据来认准机会并提高业务成效。

f.指定业务流程，目标和战略的理解，以提供分析和解释。

g.通过内部讨论的理解，在适当情况下获得业务需求和必要的分析。

数据策略师Data strategist

职责：

a.定义大数据战略，包括设计多阶段实施路线图。

b.独立工作，或作为一个团队的一部分，设计和开发的大数据解决方案。

c.异构数据的数据错误，探索和发现新的见解。

d.知道分析，架构，设计以及数据仓库和商业只能解决方案的发展。

c.指导年轻的团队成员。

f.协助业务开发团队提供售前活动和招标书。

g.帮助评估和计划项目。

业务数据分析师Business DataAnalyst

职责：

a.与关键投资者的业务分析师和高级管理人员紧密合作，了解他们的经营策略和问题，确定研究需求，帮助设计实验，并根据结果提出建议。

b.通过客户细分，从多个来源的定量和定性派生的发展和应用进行影响的决定。

c.调整利益相关者和分析师对如何使用研究和分析的想法，以支持业务计划和战略的优先试图（分析路线图）。

d.传动复杂的分析项目，需要分析或利益相关者从开始到结束之间的多团队协作。

e.有效地管理多个在建设的项目，确保目标和时间获得满足。确定在短期和长期间的权衡和平衡所有投资者的需求。

f.领导和参与业务讨论，提供意见，需要的时候进行一些变革。

g.关键指标与解释器的讨论，推测并提出行动。

h.与业务伙伴的投资者在制定和优先的业务问题上考虑短期和长期的潜在影响，解释结果，量化的机遇，并提出了一个观点合作数据的专家来执行分析操作。

i.在企业领导的重视下积极主动地带来新的商机。

j.知道分析师和股东对事物的知识和流程上，确保它们是可重复的，可持续的和可扩展的。

k.在所有阶段上与多个项目组合作。

拓展阅读

最新报告：2018年薪资最高的15个技术岗位

大数据告诉你，2017最适合女性上班的公司是这20家

不论你任职哪一份岗位，甚至不论你是否处在大数据行业，都离不开数据，都必须具备良好的逻辑思维能力。要想区别于其他人，首先学会识别各种数据谎言，进而提升你的思维能力！

正好，本周四有一场这样的分享会，认真听，一定获益匪浅。

目前数据工程师已经出现在各种招聘上，很多人容易将数据工程师和数据科学家职位弄混淆。接下来我们将探讨这两个职位间的区别与联系，并分析企业在何种情况下需要其中一个，或两个都需要。

大家一直对数据科学家，数据工程师和统计分析师之间的概念是混淆的。而甚至有一些结论，是认为所有这些人做同样的工作，只是他们的称谓不同而已。我特别惊讶于听到这种答案，下面帮助大家了解数据科学家VS数据工程师的工作角色。这将帮助大家在未来的工作中选择最适合你们的工作角色。

数据科学家所具备的技能更专注于数学方法和数据分析，而数据工程师的重点是数据挖掘，云计算和编程技能。数据工程师致力于开源大数据的管理。一位数据库行业资深观察者说道，在他最近的一次硅谷之旅中，他发现，在这个作为大数据温床的地方，数据工程师这个术语已经被广泛使用。

数据工程师这个职位的产生，有部分原因是由于人们对数据科学家的能力预期过高。而现实是，数据科学家的工作描述所涉及的技能太过于宽泛。搭建数据处理集群、程序编码，学习最新的开源数据API。这些都被归结为数据科学家必须掌握的技能之一，但事实上，它们应该是数据工程师的职责范围。

工作职责

数据科学家：1、根据商业需要规划和实施数据分析项目；2、致力于数据挖掘架构、模型标准、数据报告、数据分析方法；3、与利益相关人合作在现有的数据系统中集成数据挖掘结果；4、监督数据挖掘系统性能并实施优化和改进。

数据工程师：1、设计、搭建、安装、测试和维护大规模数据管理系统；2、改进数据基础设施、业务流程和数据标准；3、在现有体系架构中集成新的数据管理技术和软件工具；4、开发用户侧软件和数据分析应用程序。

必备掌握技能

Apache hadoop，分布式计算和NoSQL数据库，是数据工程师必须掌握的几个重要技能。

对于数据科学家而言，其掌握的技能应包括数据统计，统计建模，预测建模和机器学习等。

薪资待遇

但总的来说，数据工程师并没有得到与数据科学家同等的薪资待遇。例如，据招聘网站Glassdoo统计，全国数据工程师的平均工资大概为95526美元，而全国数据科学家的平均薪水是113436美元。

当然，也有例外情况，有的数据工程师薪酬可能会突破100000美元。尽管Dice宣称并没有足够的样本数据来评估数据工程师薪水，但Melk指出了掌握类似技能人员的年薪水平，比如Cassandra(147811美元)，Pig(132850美元)和MapReduce编程(131563美元)。这表明数据工程师的薪资可以很容易超过100000美元这个水平。

职业方向：

初级数据科学-->数据科学家-->高级数据科学家-->首席数据科学家

数据工程师-->高级数据工程师-->BI架构师-->数据架构师

数据工程师和数据科学家的工作现在包含一些混合和重叠的技能。这是在任何新领域或新趋势上都存在的现象。数据工程师目前发展似乎处于上升阶段，毫无疑问的是，数据工程师的出现，表明数据管理领域一直都在发生变化。

　　大数据分析师前景如何？发展趋势又是怎样的呢？谈及这个问题，我想先从大数据行业背景以及发展趋势着手，从根本上解除质疑者的忧虑。

　　大数据与大数据分析

　　数据分析是用包括检查、清洗、转换和建模等方法对数据进行处理。其目的是探索有用的信息、给出有建设性的意见，从而辅助压制决策。数据分析包含很多方面和方法，涉及的领域也遍布经济、科学、社会福利等行业。

　　数据挖掘是一个特别的数据分析技术，与传统的以纯描述为目的的技术相比，它专注于预测模型和对潜在知识的挖掘。所有的这些都是数据分析。数据分析虽然没有数据科学那样先进，可以创造新的数据结构，但是他们的目的都是一样的---探索数据可以用来怎样回答问题和解决问题。

　　大数据1.0到大数据2.0的发展

　　由维克托.迈尔舍恩伯格编写的《大数据时代》里指出大数据是指采用所有的数据进行分析，而不是抽样调查。大数据有4V特点：volume(大量)、velocity（高速）、variety（多样）、value（价值）。大数据1.0时代的特征是解决数据效率问题，大数据时代4个V中的前3个V都被有效的诠释了。但是最后一个V没有表现其作用。

　　大数据1.0时代逐一的解决了速度、容量等问题。在1.0时代积累的大数据将会在2.0时代得到其在价值上面的发挥。

　　从2015年起，大数据进入2.0时代。大数据2.0时代要求以数据本身的价值为目标，从企业本身业务需求产生的大量数据中通过深入挖掘，分析得出数据本身的价值。1.0时代留在数据认知上面，2.0则要求如何通过这些数据去解决问题。

　　大数据分析国际背景

　　在全球500强企业中，90%以上的重要投资与经营决策都取决于充分的数据分析支持。在欧盟、美国、日本等发达地区，数据分析普遍被作为运营决策的前提要素，为社会经济的高速发展做出重大贡献。可以说，数据分析技术是一把让企业通向成功之门的金钥匙。

　　大数据分析师前景如何？

　　从2003年年底信息产业部电子行业职业技能鉴定指导中心（现为“工信部教育与考试中心”）正式设立“数据分析师”培训项目，并制定出数据分析师培训、考试及管理办法。到2017年，中国的数据分析行业已经走过了11个年头。这期间中国的数据分析师、数据分析师事务所、行业协会（中国商业联合会数据分析专业委员会）从无到有，发展越来越快，业务领域也是从最初的投资数据分析转向经营数据分析。目前国家将大数据视为国家战略，并且在实施上，也已经进入企业战略层面。

　　大数据未来发展趋势又是怎样的？

　　1.大数据在经济预警方面发挥重要作用

　　2.大数据分析成为市场营销的重要手段

　　3.大数据在临床诊断、远程监控、药品研发等领域发挥重要作用

　　4.大数据为金融领域的客户管理、营销管理及风险管理提供重要支撑

　　大数据分析师前景如何？发展趋势又是怎样的？想必小编也不用煞费口舌了，上不上船，全在你一念之间。

随着数据科学和大数据作为主流职业选择的出现，不少人对相关职位名称的内涵存在一定的混乱，有些人认为大数据等同于数据科学，另外有些人则认为大数据是数据科学的子集。数据科学已经存在了很长一段时间，而大数据则是相当新的，它源于数据科学。

下面是数据分析师，数据科学家和大数据专家之间的一点比较。

数据分析师

1. 定义

使用自动化工具，他们可以获取分离的数据和见解。他们定义数据集并进行广泛的人口统计分析以确定与业务和产品相关的策略。

2. 所需技能

编程，统计学和数学，机器学习，数据可视化和通信技术，数据处理和数据集定义

3. 适用领域

医疗保健，保险，旅游，行政，游戏，分布式系统

数据科学家

1. 定义

获取数据，构建和维护数据库，根据各种需求清理和分离数据，并从事数据可视化和分析工作。

2. 所需技能

SAS/R/类似工具，Python，Hadoop，SQL，重构数据，数据库构建和管理

3. 适用领域

搜索引擎，广告，自适应算法，AI系统

大数据专家

1. 定义

处理连续大量的数据，定义用于分析的参数和数据集，并编制分析系统，为企业提供战略见解。

2. 所需技能

数学和统计学，程序设计和计算机科学，分析技能，商业战略

3. 适用领域

零售，电子商务，金融服务，通信

正如所看到的，数据分析是这些选项中最基本的。数据分析师的工作有更广泛的应用，因此在不同的行业应用更加多样化。即使数据分析师的教育和学术要求也较低。

接下来是大数据工作，这些工作相当复杂，需要高级技能。有时候，大数据认证是获得大数据分析师工作的强制性要求。由于数字技术在各行业的普及，大数据工作的范围日益扩大。

最重要的是数据科学工作。数据科学认证是获得工作的必备条件。数据科学家的范围比大数据要低，这是由于数据科学不同的概况所致。

有了以上信息，数据分析师、数据科学家和大数据专家之间的差异应该清楚。这个信息可以用于在数据分析和商业战略领域制定更好的职业规划。

原文链接：https://blog.csdn/chszs/article/details/80658582

作者：chszs

大数据并不是一种概念，而是一种方法论。简单来说，就是通过分析和挖掘全量的非抽样的数据辅助决策。大数据可以实现的应用可以概括为两个方向，一个是精准化定制，第二个是预测。比如像通过搜索引擎搜索同样的内容，每个人的结果却是大不相同的。

随着大数据的愈演愈热，相关大数据的职业也成为热门，给人才发展带来带来了很多机会。数据工程师、数据分析师已经成为大数据行业最热门的职位。

数据分析师是什么？

数据分析师不同行业中获取数据，并通过获取到的数据对问题进行解答。最后还需要以合适的方式对结果进行展示，以辅助企业做出商业决策。一般来讲，数据分析师的任务是对数据进行清洗、分析以及可视化。

根据行业的不同，数据分析师的头衔也可能不同。比如：业务分析师、商业智能分析师、运营分析师、数据库分析师等等。不管头衔是什么，数据分析师都可谓是通才。他们能够胜任诸多岗位与团队角色，同时也能在极大程度上帮助企业做出基于数据的决策。

数据分析师所需技能

编程，统计学和数学，机器学习，数据可视化和通信技术，数据处理和数据集定义

数据工程师是什么？

在大数据的时代，数据工程师的角色愈发地重要。数据工程师一般被定义成“深刻理解统计学科的明星软件工程师”。数据工程师是系统的构建者与优化者，所有公司正常运营的基础之一，数据工程师的职责就是保证数据在接收、转移的准确性，并且保证其它用户对数据的可访问性。

和数据分析师不同，他们不太关注统计、分析技能、建模等。他们的工作重点在于数据架构、计算、数据存储、数据流等。因此，数据工程师必须具备相当强的编程能力—包括编写数据查询程序的能力。也就是说，他们的能力必须达到开发运营高手的级别。

数据工程师还负责数据库设计、仓储数据库、建立数据库等。 这就意味着，他们必须十分熟悉现有的数据库技术和数据管理系统，比如和大数据有关的Hadoop与HBase 等。此外，非功能性的基础设施问题，如数据的可扩展性、可靠性、韧性、有效性，备份等也由数据工程师来负责。

数据工程师所需技能

数学和统计学，程序设计和计算机科学，分析技能，商业战略

对于招聘市场端在大数据工程师和大数据分析师二个方向所涉及的岗位具体名称如下图所示：

大数据工程师方向：

大数据分析师方向：

总结：

数据工程师的重心在“后端”，他们需要持续的优化数据通道，才能保证企业数据的准确性与可用性。同时还需确保在需要的时候能够顺畅地将数据提供给用户。

数据分析师则是通过使用数据工程师所构建的自定义API来提取新的数据集，并对其中的数据趋势进行识别，同时对异常数据进行分析。分析师们将会对结果进行总结，并以一种清晰直观的方式来展示这些结果，以便于其它非技术团队能够更好地了解他们目前的工作效果。

有了以上信息，数据分析师和大数据工程师之间的差异应该清楚。对于数据驱动的职位来说，通过数据来找到正确的问题，并据此进行更加精确的试验，这就是其最根本的工作内容。进一步的，数据科学领域将不断发展进步，同时也会对相关从业人员提出持续学习的要求。

分享 IT 技术和行业经验，请关注-技术学派。