你好，大数据分析师专业已经上线，但是很多人看见这个专业瞬间蒙圈！感觉真的是高难度的一个专业！但是，其实他就是相对于传统的数据更庞大，分析更精准，同时给企业高层提供精准决策。当然，这是一切都是有用工具来实现的。

一、大数据分析师现在的行业需求量非常大吗？其实我也不知道。但是我用这组数据还说明：

从20世纪90年代起，欧美国家开始大量培养数据分析师，直到现在，对数据分析师的需求仍然长盛不衰，而且还有扩展之势。

根据美国劳工部预测，到2018年，数据分析师的需求量将增长20%。就算你不是数据分析师，但数据分析技能也是未来必不可少的工作技能之一。据数联寻英发布《大数据人才报告》显示,目前全国的大数据人才仅46万,未来3-5年内大数据人才的缺口将高达150万。

目前，研发工程师、产品经理、人力资源、市场营销、运营和数据分析是当下中国互联网行业需求最旺盛的六类人才职位。其中研发工程师需求量最大，而数据分析人才最为稀缺。领英报告表明，数据分析人才的供给指数最低，仅为0.05，属于高度稀缺。数据分析人才跳槽速度也最快，平均跳槽速度为19.8个月。

在数据分析行业发展成熟的国家，90%的市场决策和经营决策都是通过数据分析研究确定的。

二、学完大数据分析师薪资到底有多少呢？

有媒体报道，在美国，大数据分析师平均每年薪酬高达17.5万美元，而国内顶尖互联网公司，大数据分析师的薪酬可能要比同一个级别的其他职位高20%至30%，且颇受企业重视。

国内某大型招聘平台给出的数据分析师平均薪酬为：9724（取自 1139份样本），且北京、上海、广州、深圳、杭州、南京、武汉、成都、长沙为大数据分析师需求量前十的城市。

三、如何成为大数据分析师呢？

相信很多人对大数据行业非常感兴趣。但是零基础的学生发愁，担心自己能不能学会这个专业。很多人会发愁这个问题。

华信智原（南京）从事IT教育培训行业十余载，结合企业用人需求已经研发出专属零基础学员的定制课程，个性化培训。项目实训及演练+大数据行业专家级讲师授课，让你在短短数月的时间内成为一名合格的大数据分析师。而且学完保就业！薪资不低于6000元。名额有限，报名从速！！！

近些年，互联网公司对数据分析师岗位的需求越来越多，这不是偶然。随着我国经济决策逐渐由盲目的“经验决策”转向“数据决策”，数据分析成为战略决策、投资决策必备的科学方法，以数据科学为依据，做正确的理性决策。

数据分析师的价值金字塔

一个完整的企业数据分析体系涉及到多个环节：采集、清理、转化、存储、可视化、分析决策等等。其中，不同环节工作内容不一样，消耗的时间和产生的价值也相差甚远。

上海数据分析网

数据分析师带来的价值

80%的政府机关、企事业单位会选择拥有专业数据分析师资质的专业人士为他们的项目做出科学、合理的分析、以便正确决策，避免走弯路。

90%的风险投资机构把数据分析师所出具的数据分析报告作为其判断项目是否可行及是否值得投资的重要依据。

95%的高等院校和教育机构把数据分析师课程作为其中高管理层及决策层培训计划的重要内容。

数据分析应用落地案例

众多行业及工作都能够从数据流处理方案中获得助益。数据流能够通过管理数据实时变化迅速建立起形势判断，并帮助企业以最快速度收集来自传感器(包括GPS与温度计等)、摄像头、新闻消息、卫星、股票行情、网络爬虫、服务器日志、Flume、Twitter、传统数据库甚至是Hadoop系统的数据，最终将其转化为能够提升企业业绩的决策工具。

上海数据分析网

数据分析方面的应用

1、沃尔玛的搜索

这家零售业寡头为其网站Walmart自行设计了最新的搜索引擎Polaris，利用语义数据进行文本分析、机器学习和同义词挖掘等。根据沃尔玛的说法，语义搜索技术的运用使得在线购物的完成率提升了10%到15%。“对沃尔玛来说，这就意味着数十亿美元的金额。”Laney说。

2、电信运营商

电信运营商能够深入了解客户行为并提供定制化服务(例如基于位置的服务、优惠政策及产品建议等)，并分析客户的忠诚度、喜好及需求变化趋势。以此为基础，运营商将能够改进计费标准、提升服务质量、改善安全性并控制欺诈活动。

数据分析师有木有用？当然很有用！数据分析师不仅在未来发展中占重要位置，各大企业正在争先恐后设立数据部，数据分析的价值日益凸显，在各个领域将会发挥它无可替代的作用。

这是华信智原一位学习Java软件开发学员（在读本科生）的困惑と担忧，相信也是很多想深入学习大数据人员的疑虑。为此，华信菌整理多方学习策略，欢迎各位老铁有好的方法在下方留言，不吝赐教，共同学习。

策略一想从事大数据、海量数据处理相关的工作，如何自学打基础？想做数据处理尤其是大数据量处理的相关工作必须兼具计算机科学基础和统计基础。现在有一个高大上的职业叫数据科学家，有人说数据科学家就是一个比程序员更懂统计的统计学家，一个比统计学家更会编程的程序员。觉得说得很形象。

考虑到你还是在读本科生，有很多知识和课程还需要作为基础来学习和巩固。基础中的基础：

线性代数，概率论核心知识：

数理统计

预测模型

机器学习计算机：

数学软件：强大矩阵运算和优化功能的matlab，专而精的mathematica。

语言：python（很流行的科学语言，潜力也很大，ipython这样交互式环境十分有利），fortran（强大的计算语言，充分优化的现成代码），R（相比于matlab，java，c，R是个高富帅）可视化

这是数据分析各类语言使用度的图表，R占的比例还是相当高啊。想利用现在动辄TB级的数据大显身手，光靠excel可不够啊。你真的需要写很多代码…统计：时间序列分析

应用回归（很简单，亦很实用）

多元统计分析强烈推荐：Distance Education § Harvard University Extension School 和哈佛的学生一起学习Data Science。课后问题的材料：http://cs109.org/网络课程同样有丰富的资源：

机器学习类：

斯坦福大学：机器学习 courseraLearning From Data

数据分析类：

约翰霍普金斯： Data Analysis Methods杜克： Data Analysis and Statistical Inference约翰霍普金斯： Computing for Data AnalysisMIT： The Analytics Edge

编程类：

莱斯大学： Introduction to Interactive Programming in PythonMIT： Introduction to Computer Science Programming in Python

策略二

大数据有两个方向，一个是偏计算机的，另一个是偏经济的。你学过Java，所以你可以偏向计算机。

基础篇：

1. 读书《Introduction to Data Mining》，这本书很浅显易懂，没有复杂高深的公式，很合适入门的人。

另外可以用这本书做参考《Data Mining : Concepts and Techniques》。第二本比较厚，也多了一些数据仓库方面的知识。

如果对算法比较喜欢，可以再阅读《Introduction to Machine Learning》。

当然，还有《机器学习：实用案例解析》2. 实现经典算法。有几个部分：

a. 关联规则挖掘 (Apriori, FPTree, etc.)

b. 分类 (C4.5, KNN, Logistic Regression, SVM, etc.)

c. 聚类 (Kmeans, DBScan, Spectral Clustering, etc.)

d. 降维 (PCA, LDA, etc.)

e. 推荐系统 (基于内容的推荐，协同过滤，如矩阵分解等)

然后在公开数据集上测试，看实现的效果。可以在下面的网站找到大量的公开数据集：UCI Machine Learning Repository/3. 熟悉几个开源的工具: Weka (用于上手); LibSVM, scikit-learn, Shogun4. 到 Kaggle: Go from Big Data to Big Analytics/ 上参加几个101的比赛，学会如何将一个问题抽象成模型，并从原始数据中构建有效的特征 (Feature Engineering).到这一步的话基本几个国内的大公司都会给你面试的机会。

进阶篇：1. 读书，下面几部都是大部头，但学完进步非常大。

a.《Pattern Recognition and Machine Learning》

b.《The Elements of Statistical Learning》

c.《Machine Learning: A Probabilistic Perspective》

第一本比较偏Bayesian；第二本比较偏Frequentist；第三本在两者之间，但我觉得跟第一本差不多，不过加了不少新内容。当然除了这几本大而全的，还有很多介绍不同领域的书，例如《Boosting Foundations and Algorithms》，《Probabilistic Graphical Models Principles and Techniques》；以及理论一些的《Foundations of Machine Learning》，《Optimization for Machine Learning》等等。这些书的课后习题也非常有用，做了才会在自己写Paper的时候推公式。2. 读论文。包括几个相关会议：KDD，ICML，NIPS，IJCAI，AAAI，WWW，SIGIR，ICDM；以及几个相关的期刊：TKDD，TKDE，JMLR，PAMI等。跟踪新技术跟新的热点问题。当然，如果做相关research，这一步是必须的。例如我们组的风格就是上半年读Paper，暑假找问题，秋天做实验，春节左右写/投论文。3. 跟踪热点问题。例如最近几年的Recommendation System，Social Network，Behavior Targeting等等，很多公司的业务都会涉及这些方面。以及一些热点技术，例如现在很火的Deep Learning。4. 学习大规模并行计算的技术，例如MapReduce、MPI，GPU Computing。基本每个大公司都会用到这些技术，因为现实的数据量非常大，基本都是在计算集群上实现的。5. 参加实际的数据挖掘的竞赛，例如KDDCUP，或 Kaggle: Go from Big Data to Big Analytics/ 上面的竞赛。这个过程会训练你如何在一个短的时间内解决一个实际的问题，并熟悉整个数据挖掘项目的全过程。6. 参与一个开源项目，如上面提到的Shogun或scikit-learn还有Apache的Mahout，或为一些流行算法提供更加有效快速的实现，例如实现一个Map/Reduce平台下的SVM。这也是锻炼Coding的能力。

策略三1. 自己装个小集群跑hadoop/hive，可以到cloudera网站上下现成的打包虚拟机。看看hadoop in action. 这本书比权威指南容易懂很多。

2. 装个cassandra什么的玩玩，在上面架个小项目，比如留言板什么的。。

3. 读一些著名的paper，nosql的或者mapreduce。

4. 看看apache hadoop家族的其他几个项目，比如zookeeper，pig，了解一下生态圈

到这里为止你大概有个概念，知道bigdata怎么回事了

找个开源项目，看看ticket list，看看能不能自己修。。

能的话看看能不能混进项目组

个人觉得，大数据要靠实践多一点。在真的上百上千节点的cluster上跑hadoop和自己虚拟机架的完全不同。cluster上跑各种奇葩的事情单机都是碰不到的。。就好比dba靠读书考证很难牛屄一样。所以最终还是要找个公司实战。。不过如果上面几个都做到的花，基本上应聘大数据公司问题不大了。

小编建议如果想深入学习，没有什么比找个真的做相关行业的公司来的靠谱了。工程的东西，尤其是这样新鲜出炉的工程领域，光看书看资料是没有任何用处的，你很难了解每个技术背后的关键，也很难了解实践中会遇到的问题。你深入看一个项目，就会发现，其实用得技术没什么新鲜深奥的，比如你看Hive或者Presto，会发现用到的技术，在Query引擎领域只能算是入门级的知识，传统数据库厂商都用了几十年了。真正好玩的是，每个Feature设计是如何切入大数据这个背景的。

所以说，没有比找一家公司真的干一段时间更能让你了解大数据的了。

而现在没有一家大数据实战项目公司比华信智原更合适了。

华信智原Java大数据采取4+4新模式

4个月Java软件开发研究（全国各区域公司）+4个月实战项目（北京总公司项目实战基地）

我们有大牛的导师と科学的教程，只等你来挑战！

吸引越来越多的人加入大数据行业，显而易见高薪资起到了至关重要的重要，但大数据就业薪资用笼统的一句话就概括了，是否太没有说服力了，接下来本问从三个维度来分析大数据的薪资情况，第一，摘选科多大数据培训班所有培训学员就业薪资情况进行分析，主要在成都区域；第二，从招聘网站看照片岗位薪资的构成情况，第三，从北京地区大数据各岗位的薪资情况，通过本文科多大数据希望能让大家全面了解大数据的薪资水平。

第一，从科多大数据其中一个大数据开发培训班的全体学员的就业情况，进行多维度分析。先看具体就业情况，为保护隐私，隐藏重要信息。

成都科多大数据0基础开发班就业信息

1、薪资分析，全班一共30人

总结：该批学员初入职场，故为初级（优秀者可达中级）的平均薪资水平11k，有20人集中在10-14K之间。

2、年龄分析

总结：年龄分为三个层面，23岁左右的应届毕业生，24-27岁工作大概2-3年的转行者，28岁以上的行业老司机不畏未知，大胆转型升级

3、学历分析

总结：本科从业者高达80以上，但专业也并非没有出路，接近20%的比例，平均薪资也能接近10k。

4、专业分析

总结：很多人认为非计算机专业出身肯定学不会，从上图可见，非IT专业占到一半以上

第二、招聘网站薪资待遇

下面是从拉勾网上查询的大数据人才的招聘信息，目前对于没有工作经验的大数据人才的薪资也在1万左右，同时携程、滴滴、百度等大型互联网企业也在招聘大数据人才，同时招聘的门槛比较低。

从上图来看，大数据岗位的薪资还是非常不错，集中在15K左右，只要你通过好好学习大数据，掌握了扎实的大数据技能，然后去找一份大数据工作是很轻松的。

第三，大数据相关岗位薪资情况，以北京地区为主

上面我们分析了第三方的招聘网站上的大数据岗位的招聘信息中的薪资数据，下面以北京为例，来了解下大数据几大相关职位的就业薪资水平。

上图中大数据开发工程师培训薪资在3万左右，当然这个薪资一般是需要有过开发经验的就业学员或者是有一定工作年限的人员可以达到，刚毕业的学员只有极少部分可以拿到接近的薪资。

数据分析师因为更偏向于数据统计、数据分析这款，对于技术要求不高，相较于大数据开发等技术类职位，薪资略低，但是目前随着大数据可视化的热门，数据分析师如果再具备数据可视化设计的能力，薪资待遇也会进一步提升。

再来看下hadoop工程师，平均薪资在两万左右，相较于大数据开发，单存的hadoop工程师因为掌握的技术单一，所以薪资待遇会略低点，不过可以通过学习，扩充自己的技能，薪资也会增长较快。

数据挖掘作为大数据的核心环节，同样因为在互联网场景中，深挖出有价值的数据，才能够为企业提供有价值的参考。所以目前这块的薪资待遇在两万多左右，也算不错的。

相较于单纯的编程开发，算法工程师则要更高端点，因为算法不同于编程，函数的使用，还需要运用到大连的高级数学的知识，相较而言门槛也较高，目前来说可能需求不是很高，但是大数据技术的发展，对于算法工程师的需求会不断增加，薪资待遇也会提高。

科多大数据总结：大数据行业薪资居高不下的原因，和人才供需不平衡有莫大的关系，与此同时，对技术的要求和项目经验也要大有关系，想进入大数据行业，一定要学好相关技术。

科多大数据线上学习平台已经开通，现进入科多大数官网可以领取免费试听账号。

李志雄网站运营专家

SEM数据分析是非常重要的一个环节，数据能确定我们如何把推广费用花得更好。在进行SEM数据分析时，常常要用到一些术语和数据指标，作为SEM专员，要了解其基本意义及其应用场景。

常用术语：

常用的术语主要有IP、UV、PV等。

IP，是指当天记录的唯一的IP数，一般以IP地址来统计。具体到SEM推广来说，主要是用来判断该IP是不是存在无效点击。

UV，即UniqueVisitor，访问网站的一台计算机客户端为一个访客。00:00～24:00内相同的客户端只被计算一次。是指当天有多少台计算机访问，一般以cookie来统计。

PV，即PageView，即页面浏览量或点击量，用户每次刷新即被计算一次。是指同一个IP地址被不同的计算机访问过的数量。PV主要用来判断网站访问深度，以及访客的质量。

那么IP、UV、PV究竟怎么区分呢？

举个例子来说，在北京某大学的一个宿舍里，今天有3个人用共享IP地址上网，且都访问了A网站，每个人浏览了10个不同页面。那对于A网站来说，则今天有1个IP数，3个UV数，30个PV数。

平均访问时长的时间长短是网站分析的一个重要指标，通常用于评估网站的用户体验，可以用于指导网站以及页面的改善。平均访问时长越长，说明网站或页面对用户的吸引力越强，能带给用户的有用信息越多，用户越喜爱。反之，对用户的吸引力越差，可用的有用信息越少，也说明网站需要优化或添加有用信息了。

数据指标

对于SEM数据分析来说，常用的数据指标是搜索引擎推广漏斗模型中的数据以及其他的一些数据指标。

搜索引擎推广漏斗模型数据指标

搜索引擎推广漏斗模型主要有展现量、点击量、访问量、咨询量和转化量5个数据指标。

展现量：在用户搜索查询时，如果账户内符合用户搜索需求的关键词被触发，该关键词所对应的创意将出现在搜索结果页，称之为关键词和创意的一次展现。一段时间内获得的展现次数称之为“展现量”（简称“展现”）。

点击量：在企业的推广结果展现时，如果用户对推广结果感兴趣，希望进一步了解企业的产品/服务，可能会点击访问企业的网站。一段时间内推广结果获得的点击次数称之为“点击量”（简称“点击”）。

点击率也是SEM专员常常用到的数据指标。点击率的计算公式为：点击率=点击量/展现量。当点击率过低时首先要检查是否是账户出问题，如账户质量过低，有可能是关键词创意无法吸引用户点击或是排名太靠后，这时可以尝试重新修改创意或出价。

访问量：如果企业的推广链接无误，用户通过点击推广结果，则会到达企业的推广网站。此时产生的数据则称之为“访问量”。网站访问量是指网站流量（traffic），是用来描述访问一个网站的用户数量以及用户所浏览的网页数量等指标，常用的统计指标包括网站的独立用户数量、总用户数量（含重复访问者）、网页浏览数量、每个用户的页面浏览数量、用户在网站的平均停留时间等。

咨询量：如果用户对网站内展现的内容感兴趣，则会咨询在线客服人员，其产生的咨询数量则称之为“咨询量”。咨询量反映了用户对于产品/服务的关注度，以及在线客服人员的工作情况。

转化量，则代表着最终的转化，是衡量SEM推广好坏的最终标准。

转化率的计算公式为：转化率=转化量/点击量。当转化率过低时要考虑几个因素。首先查看关键词是否符合受众人群搜索习惯和是否够精准，或是推广页面是否够吸引人。分析时可以结合页面访问时长和页面跳出率等其他推广数据，然后根据分析结果做出相应的优化调整。

其他数据指标

除了搜索引擎漏斗模型中常用的这5个数据指标之外，还有其他一些常用的数据指标：

网站抵达率=访问量/点击量。抵达率低说明你的网站体验不好，网站链接可能出现了问题，造成了无法访问或者访问速度慢的问题。如果抵达率偏低，可以考虑三方面原因：一、创意与推广页面主题相关性不大，可通过修改相应创意或落地页URL改善；二、落地页URL打不开或者打开速度太慢，可查看推广URL速度报告解决；三、推广页面用户体验欠佳。

网站跳出率：指某个时间段内，只浏览了一页即离开网站的访问次数占总访问次数的比例。对于某页面的跳出率算法：从这个页面进入网站没有再点击其他页面即离开的次数/所有进入这个页面的次数。对于整个网站跳出率的算法：只浏览一个页面即离开的访问次数/进入网站的总次数。网站跳出率是评价一个网站性能的重要指标，跳出率高，说明网站用户体验做得不好，用户进去就跳出去了，反之如果跳出率较低，说明网站用户体验做得不错，用户能够找到自己需要的内容。而且以后他可能还会再来光顾你的网站，提高了用户黏性。慢慢地就可以积累大量的网站用户。

优化方法：网站跳出率高低决定了这个网站的用户用户黏性如何，在搜索引擎优化中，把网站跳出率作为相对重要的考核标准之一。网站跳出率的优化方式：提升网站的访问速度；关注浏览器的兼容性；网站导航加搜索；增加相关性强的内容；巧妙的锚文本。

平均点击价格计算公式为：消费/点击量，它的调整可以更好地控制推广成本。

ROI（returnoninvestment），即投资回报率，等于利润/投入的百分比。

近期，小编陆续收到一些CPDA学员在学习大数据分析过程中的疑问，关于“学习大数据分析可以从事哪些岗位？最热门的有哪些？”，学习完大数据分析后，有哪些对口的岗位呢？小编经过多方调查，为大家整理如下回答。

1、数据挖掘/算法工程师

做数据挖掘要从海量数据中发现规律，这就需要一定的数学知识，最基本的比如线性代数、高等代数、凸优化、概率论等。有实际建模经验、机器学习算法的实现，对业务理解、熟悉数据挖掘算法、掌握数据库和精通计算机编程。经常会用到的语言包括Python、Java、C或者R。

2、数据分析师

数据分析师是数据师的一种，指的是不同行业中，专门从事行业数据搜集、整理、分析，并依据数据做出行业研究、评估和预测的专业人员。在工作中通过运用工具，提取、分析、呈现数据，实现数据的商业意义。作为一名数据分析师，必须要掌握数据分析基本原理与一些有效的数据分析方法，熟练使用SPSS、STATISTIC、Eviews、SAS等数据分析软件中的一门，懂设计运用图表有效表达数据分析师的分析观点，还需能用Acess等进行数据库开发，并掌握一门编程语言。总之，一个优秀的数据分析师，应该业务、管理、分析、工具、设计都不落下。

3、数据挖掘工程师

大数据工程师主要从事数据挖掘工作，运用算法来解决和分析问题，让数据显露出真相，同时，他们还推动数据解决方案的不断更新。分析历史、预测未来、优化选择，这是大数据工程师在“玩数据”时最重要的三大任务。通过这三个工作方向，他们帮助企业做出更好的商业决策。要求具备一定的统计学、数学理论知识，有实际开发能力和大规模的数据处理能力，对行业有认知。

4、数据产品经理

数据产品经理必须了解不同的公司，在不同的阶段，需要哪些数据产品，并能够制作出来，这是此职位的核心要求。其次，数据产品经理必须有足够的数据分析能力，如果有了数据分析的思维，再跟公司业务结合就会比较容易。最后，数据产品经理是产品经理的一种，所以要同时具备产品经理的能力：了解用户，需求调研，方案设计，协调技术、测试、设计等。

5、数据架构研究

这一职位过去也被称为数据架构研究，数据科学家是一个全新的工种，能够将企业的数据和技术转化为企业的商业价值。数据科学家是指能采用科学方法、运用数据挖掘工具对复杂多量的数字、符号、文字、网址、音频或视频等信息进行数字化重现与认识，并能寻找新的数据洞察的工程师或专家(不同于统计学家或分析师)。

随着数据学的进展，越来越多的实际工作将会直接针对数据进行，这将使人类认识数据，从而认识自然和行为。因此，数据科学家首先应当具备优秀的沟通技能，能够同时将数据分析结果解释给IT部门和业务部门领导。总的来说，数据科学家是分析师、艺术家的合体，需要具备多种交叉科学和商业技能。

在工资待遇上，不管是在国内还是国外，都是：

数据架构研究->数据挖掘师/算法工程师>数据挖掘工程师=数据产品经理>数据分析师。

看完对数据分析的对口的岗位有哪些，数据分析师薪资如何，是否有了一个清晰的认识呢。在未来职位的选择上，条条大路通罗马，选择适合自己的才是最重要的。

原文：上海CPDA（ID:SHCPDA）

大数据并不是一种概念，而是一种方法论。简单来说，就是通过分析和挖掘全量的非抽样的数据辅助决策。大数据可以实现的应用可以概括为两个方向，一个是精准化定制，第二个是预测。比如像通过搜索引擎搜索同样的内容，每个人的结果却是大不相同的。

随着大数据的愈演愈热，相关大数据的职业也成为热门，给人才发展带来带来了很多机会。数据工程师、数据分析师已经成为大数据行业最热门的职位。

数据分析师是什么？

数据分析师不同行业中获取数据，并通过获取到的数据对问题进行解答。最后还需要以合适的方式对结果进行展示，以辅助企业做出商业决策。一般来讲，数据分析师的任务是对数据进行清洗、分析以及可视化。

根据行业的不同，数据分析师的头衔也可能不同。比如：业务分析师、商业智能分析师、运营分析师、数据库分析师等等。不管头衔是什么，数据分析师都可谓是通才。他们能够胜任诸多岗位与团队角色，同时也能在极大程度上帮助企业做出基于数据的决策。

数据分析师所需技能

编程，统计学和数学，机器学习，数据可视化和通信技术，数据处理和数据集定义

数据工程师是什么？

在大数据的时代，数据工程师的角色愈发地重要。数据工程师一般被定义成“深刻理解统计学科的明星软件工程师”。数据工程师是系统的构建者与优化者，所有公司正常运营的基础之一，数据工程师的职责就是保证数据在接收、转移的准确性，并且保证其它用户对数据的可访问性。

和数据分析师不同，他们不太关注统计、分析技能、建模等。他们的工作重点在于数据架构、计算、数据存储、数据流等。因此，数据工程师必须具备相当强的编程能力—包括编写数据查询程序的能力。也就是说，他们的能力必须达到开发运营高手的级别。

数据工程师还负责数据库设计、仓储数据库、建立数据库等。 这就意味着，他们必须十分熟悉现有的数据库技术和数据管理系统，比如和大数据有关的Hadoop与HBase 等。此外，非功能性的基础设施问题，如数据的可扩展性、可靠性、韧性、有效性，备份等也由数据工程师来负责。

数据工程师所需技能

数学和统计学，程序设计和计算机科学，分析技能，商业战略

对于招聘市场端在大数据工程师和大数据分析师二个方向所涉及的岗位具体名称如下图所示：

大数据工程师方向：

大数据分析师方向：

总结：

数据工程师的重心在“后端”，他们需要持续的优化数据通道，才能保证企业数据的准确性与可用性。同时还需确保在需要的时候能够顺畅地将数据提供给用户。

数据分析师则是通过使用数据工程师所构建的自定义API来提取新的数据集，并对其中的数据趋势进行识别，同时对异常数据进行分析。分析师们将会对结果进行总结，并以一种清晰直观的方式来展示这些结果，以便于其它非技术团队能够更好地了解他们目前的工作效果。

有了以上信息，数据分析师和大数据工程师之间的差异应该清楚。对于数据驱动的职位来说，通过数据来找到正确的问题，并据此进行更加精确的试验，这就是其最根本的工作内容。进一步的，数据科学领域将不断发展进步，同时也会对相关从业人员提出持续学习的要求。

分享 IT 技术和行业经验，请关注-技术学派。

现在数据已经成为了一些企业的“天”。近年来，近年来越来越多的公司已经意识到数据分析可以带来的价值，并且已经跳上了大数据旅行车。实际上，现在所有的一切都在被监控和测量，创造了大量的数据流，通常比公司可以处理的速度更快。问题是，根据定义，大数据很大，因此数据收集中的小差异或错误可能导致重大问题，错误信息和不准确的推论。

对于大数据而言，以业务为中心的方式分析它的挑战是实现这一目标的唯一方法，即确保公司制定数据管理策略。

但是，有一些技术可以优化您的大数据分析，并最大限度地减少可能渗入这些大型数据集的“噪音”。以下是几个技术技巧做参考：

优化数据收集

数据收集是事件链中的第一步，最终导致业务决策。确保收集的数据与业务感兴趣的指标的相关性非常重要。

定义对公司有影响的数据类型以及分析如何为底线增加价值。从本质上讲，考虑客户行为以及这对您的业务有何针对性，然后使用这些数据进行分析。

存储和管理数据是数据分析中的重要一步。必须保持数据质量和分析效率。

把垃圾带出去

肮脏的数据是大数据分析的祸害。这包括不准确，冗余或不完整的客户信息，可能会对算法造成严重破坏并导致分析结果不佳。基于脏数据做出决策是一个有问题的场景。

清理数据至关重要，涉及丢弃无关数据并仅保留高质量，最新，完整和相关的数据。人工干预不是理想的范例，是不可持续和主观的，因此数据库本身需要清理。这种类型的数据以各种方式渗透到系统，包括时间相关的转移，例如更改客户信息或数据孤岛中的存储，这可能会破坏数据集。脏数据可能会影响营销和潜在客户生成等明显的行业，但财务和客户关系也会因基于错误信息的业务决策而受到不利影响。后果很普遍，包括盗用资源，重点和时间。

这个脏数据难题的答案是确保进入系统的数据干净的控制措施。具体而言，重复免费，完整和准确的信息。有些应用程序和公司专门研究反调试技术和清理数据，这些途径应该针对任何对大数据分析感兴趣的公司进行调查。数据卫生是营销人员的首要任务，因为不良数据质量的连锁效应可能会大大降低企业的成本。

为了在数据方面获得最大收益，必须花时间确保质量足以为决策和营销策略提供准确的业务视图。

标准化数据集

在大多数业务情况下，数据来自各种来源和各种格式。这些不一致可能转化为错误的分析结果，这可能会大大扭曲统计推断。为了避免这种可能性，必须确定数据的标准化框架或格式并严格遵守它。

数据集成

如今，大多数企业都包含不同的自治部门，因此许多企业都拥有孤立的数据存储库或“孤岛”。这很具挑战性，因为来自一个部门的客户信息的变化不会转移到另一个部门，因此他们将根据不准确的源数据做出决策。

为了解决这个问题，中央数据管理平台是必要的，集成了所有部门，从而确保了数据分析的准确性，因为任何变更都可以立即被所有部门访问。

数据隔离

即使数据干净，有组织和集成在那里，也可能是分析问题。在这种情况下，将数据分组成小组很有帮助，同时牢记分析正在努力实现的目标。这样，可以分析子组内的趋势，这可能更有意义并且具有更大的价值。在查看可能与整个数据集无关的高度特定的趋势和行为时尤其如此。

数据质量对于大数据分析至关重要。许多公司试图用分析软件直奔潜水，而不考虑进入系统的内容。导致不准确的推断和解释，这可能是昂贵的并且对公司造成损害。一个定义明确，管理良好的数据库管理平台是企业利用大数据分析不可或缺的工具

　　大数据分析师前景如何？发展趋势又是怎样的呢？谈及这个问题，我想先从大数据行业背景以及发展趋势着手，从根本上解除质疑者的忧虑。

　　大数据与大数据分析

　　数据分析是用包括检查、清洗、转换和建模等方法对数据进行处理。其目的是探索有用的信息、给出有建设性的意见，从而辅助压制决策。数据分析包含很多方面和方法，涉及的领域也遍布经济、科学、社会福利等行业。

　　数据挖掘是一个特别的数据分析技术，与传统的以纯描述为目的的技术相比，它专注于预测模型和对潜在知识的挖掘。所有的这些都是数据分析。数据分析虽然没有数据科学那样先进，可以创造新的数据结构，但是他们的目的都是一样的---探索数据可以用来怎样回答问题和解决问题。

　　大数据1.0到大数据2.0的发展

　　由维克托.迈尔舍恩伯格编写的《大数据时代》里指出大数据是指采用所有的数据进行分析，而不是抽样调查。大数据有4V特点：volume(大量)、velocity（高速）、variety（多样）、value（价值）。大数据1.0时代的特征是解决数据效率问题，大数据时代4个V中的前3个V都被有效的诠释了。但是最后一个V没有表现其作用。

　　大数据1.0时代逐一的解决了速度、容量等问题。在1.0时代积累的大数据将会在2.0时代得到其在价值上面的发挥。

　　从2015年起，大数据进入2.0时代。大数据2.0时代要求以数据本身的价值为目标，从企业本身业务需求产生的大量数据中通过深入挖掘，分析得出数据本身的价值。1.0时代留在数据认知上面，2.0则要求如何通过这些数据去解决问题。

　　大数据分析国际背景

　　在全球500强企业中，90%以上的重要投资与经营决策都取决于充分的数据分析支持。在欧盟、美国、日本等发达地区，数据分析普遍被作为运营决策的前提要素，为社会经济的高速发展做出重大贡献。可以说，数据分析技术是一把让企业通向成功之门的金钥匙。

　　大数据分析师前景如何？

　　从2003年年底信息产业部电子行业职业技能鉴定指导中心（现为“工信部教育与考试中心”）正式设立“数据分析师”培训项目，并制定出数据分析师培训、考试及管理办法。到2017年，中国的数据分析行业已经走过了11个年头。这期间中国的数据分析师、数据分析师事务所、行业协会（中国商业联合会数据分析专业委员会）从无到有，发展越来越快，业务领域也是从最初的投资数据分析转向经营数据分析。目前国家将大数据视为国家战略，并且在实施上，也已经进入企业战略层面。

　　大数据未来发展趋势又是怎样的？

　　1.大数据在经济预警方面发挥重要作用

　　2.大数据分析成为市场营销的重要手段

　　3.大数据在临床诊断、远程监控、药品研发等领域发挥重要作用

　　4.大数据为金融领域的客户管理、营销管理及风险管理提供重要支撑

　　大数据分析师前景如何？发展趋势又是怎样的？想必小编也不用煞费口舌了，上不上船，全在你一念之间。

大数据分析师为目标，从数据分析基础、JAVA语言入门和linux操作系统入门知识学起，系统介绍Hadoop、HDFS、MapReduce和Hbase等理论知识和hadoop的生态环境

大数据分析的使用者有大数据分析专家，同时还有普通用户，但是他们二者对于大数据分析最基本的要求就是可视化分析，因为可视化分析能够直观的呈现大数据特点，同时能够非常容易被读者所接受，就如同看图说话一样简单明了。

大数据分析的理论核心就是数据挖掘算法，各种数据挖掘的算法基于不同的数据类型和格式才能更加科学的呈现出数据本身具备的特点，也正是因为这些被全世界统计学家所公认的各种统计方法（可以称之为真理）才能深入数据内部，挖掘出公认的价值。另外一个方面也是因为有这些数据挖掘的算法才能更快速的处理大数据，如果一个算法得花上好几年才能得出结论，那大数据的价值也就无从说起了。

大数据分析最终要的应用领域之一就是预测性分析，从大数据中挖掘出特点，通过科学的建立模型，之后便可以通过模型带入新的数据，从而预测未来的数据。

大数据分析广泛应用于网络数据挖掘，可从用户的搜索关键词、标签关键词、或其他输入语义，分析，判断用户需求，从而实现更好的用户体验和广告匹配。

大数据分析离不开数据质量和数据管理，高质量的数据和有效的数据管理，无论是在学术研究还是在商业应用领域，都能够保证分析结果的真实和有价值。 大数据分析的基础就是以上五个方面，当然更加深入大数据分析的话，还有很多很多更加有特点的、更加深入的、更加专业的大数据分析方法。

要明白分析什么数据，大数据要分析的数据类型主要有四大类：

大数据平台能够获取时间跨度更大、更海量的结构化交易数据，这样就可以对更广泛的交易数据类型进行分析，不仅仅包括POS或电子商务购物数据，还包括行为交易数据，例如Web服务器记录的互联网点击流数据日志。

非结构数据广泛存在于电子邮件、文档、图片、音频、视频，以及通过博客、维基，尤其是社交媒体产生的数据流。这些数据为使用文本分析功能进行分析提供了丰富的数据源泉。

能够上网的智能手机和平板越来越普遍。这些移动设备上的App都能够追踪和沟通无数事件，从App内的交易数据（如搜索产品的记录事件）到个人信息资料或状态报告事件（如地点变更即报告一个新的地理编码）。

器、工厂机器和连接互联网的家用电器。这些设备可以配置为与互联网络中的其他节点通信，还可以自动向中央服务器传输数据，这样就可以对数据进行分析。机器和传感器数据是来自新兴的物联网（IoT）所产生的主要例子。来自物联网的数据可以用于构建分析模型，连续监测预测性行为（如当传感器值表示有问题时进行识别），提供规定的指令（如警示技术人员在真正出问题之前检查设备）。

三、如何区分三个大数据热门职业——数据科学家、数据工程师、数据分析师

随着大数据的愈演愈热，相关大数据的职业也成为热门，给人才发展带来带来了很多机会。数据科学家、数据工程师、数据分析师已经成为大数据行业最热门的职位。它们是如何定义的？具体是做什么工作的？需要哪些技能？让我们一起来看看吧。

数据科学家的工作职责

数据科学家倾向于用探索数据的方式来看待周围的世界。把大量散乱的数据变成结构化的可供分析的数据，还要找出丰富的数据源，整合其他可能不完整的数据源，并清理成结果数据集。新的竞争环境中，挑战不断地变化，新数据不断地流入，数据科学家需要帮助决策者穿梭于各种分析，从临时数据分析到持续的数据交互分析。当他们有所发现，便交流他们的发现，建议新的业务方向。他们很有创造力的展示视觉化的信息，也让找到的模式清晰而有说服力。把蕴含在数据中的规律建议给Boss，从而影响产品，流程和决策。

数据工程师的工作职责

分析历史、预测未来、优化选择，这是大数据工程师在“玩数据”时最重要的三大任务。通过这三个工作方向，他们帮助企业做出更好的商业决策。

大数据工程师一个很重要的工作，就是通过分析数据来找出过去事件的特征。通过引入关键因素，大数据工程师可以预测未来的消费趋势。在阿里妈妈的营销平台上，工程师正试图通过引入气象数据来帮助淘宝卖家做生意。比如今年夏天不热，很可能某些产品就没有去年畅销，除了空调、电扇，背心、游泳衣等都可能会受其影响。那么我们就会建立气象数据和销售数据之间的关系，找到与之相关的品类，提前警示卖家周转库存。

根据不同企业的业务性质，大数据工程师可以通过数据分析来达到不同的目的。

与传统的数据分析师相比，互联网时代的数据分析师面临的不是数据匮乏，而是数据过剩。因此，互联网时代的数据分析师必须学会借助技术手段进行高效的数据处理。更为重要的是，互联网时代的数据分析师要不断在数据研究的方法论方面进行创新和突破。

数据分析师的工作职责

就行业而言，数据分析师的价值与此类似。就新闻出版行业而言，无论在任何时代，媒体运营者能否准确、详细和及时地了解受众状况和变化趋势，都是媒体成败的关键。

此外，对于新闻出版等内容产业来说，更为关键的是，数据分析师可以发挥内容消费者数据分析的职能，这是支撑新闻出版机构改善客户服务的关键职能。

1、懂业务

从事数据分析工作的前提就会需要懂业务，即熟悉行业知识、公司业务及流程，最好有自己独到的见解，若脱离行业认知和公司业务背景，分析的结果只会是脱了线的风筝，没有太大的使用价值。

2、懂管理

一方面是搭建数据分析框架的要求，比如确定分析思路就需要用到营销、管理等理论知识来指导，如果不熟悉管理理论，就很难搭建数据分析的框架，后续的数据分析也很难进行。另一方面的作用是针对数据分析结论提出有指导意义的分析建议。

3、懂分析

指掌握数据分析基本原理与一些有效的数据分析方法，并能灵活运用到实践工作中，以便有效的开展数据分析。基本的分析方法有：对比分析法、分组分析法、交叉分析法、结构分析法、漏斗图分析法、综合评价分析法、因素分析法、矩阵关联分析法等。高级的分析方法有：相关分析法、回归分析法、聚类分析法、判别分析法、主成分分析法、因子分析法、对应分析法、时间序列等。

4、懂工具

指掌握数据分析相关的常用工具。数据分析方法是理论，而数据分析工具就是实现数据分析方法理论的工具，面对越来越庞大的数据，我们不能依靠计算器进行分析，必须依靠强大的数据分析工具帮我们完成数据分析工作。

5、懂设计

懂设计是指运用图表有效表达数据分析师的分析观点，使分析结果一目了然。图表的设计是门大学问，如图形的选择、版式的设计、颜色的搭配等等，都需要掌握一定的设计原则。

首先，各个公司对数据科学家的定义各不相同，当前还没有统一的定义。但在一般情况下，一个数据科学家结合了软件工程师与统计学家的技能，并且在他或者她希望工作的领域投入了大量行业知识。

大约90%的数据科学家至少有大学教育经历，甚至到博士以及获得博士学位，当然，他们获得的学位的领域非常广泛。一些招聘者甚至发现人文专业的人们有所需的创造力，他们能教别人一些关键技能。

因此，排除一个数据科学的学位计划（世界各地的著名大学雨后春笋般的出现着），你需要采取什么措施，成为一个数据科学家？

复习你的数学和统计技能。

一个好的数据科学家必须能够理解数据告诉你的内容，做到这一点，你必须有扎实的基本线性代数，对算法和统计技能的理解。在某些特定场合可能需要高等数学，但这是一个好的开始场合。

了解机器学习的概念。

机器学习是下一个新兴词，却和大数据有着千丝万缕的联系。机器学习使用人工智能算法将数据转化为价值，并且无需显式编程。

学习代码

数据科学家必须知道如何调整代码，以便告诉计算机如何分析数据。从一个开放源码的语言如python那里开始吧。了解数据库、数据池及分布式存储。数据存储在数据库、数据池或整个分布式网络中。以及如何建设这些数据的存储库取决于你如何访问、使用、并分析这些数据。如果当你建设你的数据存储时没有整体架构或者超前规划，那后续对你的影响将十分深远。

学习数据修改和数据清洗技术

数据修改是将原始数据到另一种更容易访问和分析的格式。数据清理有助于消除重复和“坏”数据。两者都是数据科学家工具箱中的必备工具。

了解良好的数据可视化和报告的基本知识。你不必成为一个平面设计师，但你确实需要深谙如何创建数据报告，便于外行的人比如你的经理或CEO可以理解。

添加更多的工具到您的工具箱

一旦你掌握了以上技巧，是时候扩大你的数据科学工具箱了，包括Hadoop、R语言和Spark。这些工具的使用经验和知识将让你处于大量数据科学求职者之上。

练习

在你在新的领域有一个工作之前，你如何练习成为数据科学家？使用开源代码开发一个你喜欢的项目、参加比赛、成为网络工作数据科学家、参加训练营、志愿者或实习生。最好的数据科学家在数据领域将拥有经验和直觉，能够展示自己的作品，以成为应聘者。

成为社区的一员

跟着同行业中的思想领袖，阅读行业博客和网站，参与，提出问题，并随时了解时事新闻和理论。以大数据分析师为目标，从数据分析基础、JAVA语言入门和linux操作系统入门知识学起，系统介绍Hadoop、HDFS、MapReduce和Hbase等理论知识和hadoop的生态环境，详细演示hadoop三种模式的安装配置，以案例的形式，重点讲解基于mahout项目的大数据分析之聚类、分类以及主题推荐。区别于普通的JAVA程序员，本课程的重点是培养基于Hadoop架构的大数据分析思想及架构设计，通过演示实际的大数据分析案例。