苏宁大数据平台基本介绍

大数据平台运维的痛点及解决方案

痛点1. 部署及运维复杂痛点2. 无资源使用视图

痛点3. 任务相互影响，资源隔离性差

痛点4. 排查问题耗时长，应用优化门槛高

解决1. 平台化、自动化

大数据管理平台：主机管理，集群管理自动化

元数据管理：数据字典，权限申请审批实施自动化

数据流管理平台：集成Flume，智能扩缩容，插件式

数据开发平台：支持10种不同的任务类型，支持任务流/任务管理，解决复杂依赖问题，可扩展

解决2.资源可视化、人民币化

存储/计算资源计量计费

资源池使用可视化

任务展板

解决3.差异化服务、物理隔离

解决4. 智能诊断、优化建议

平台优化及增强

稳定

Hive metaserver 连接数过高的问题

修改bonecp的配置：maxConnectionsPerPartition=1

Spark Streaming & Druid System CPU过高的问题

设置vm.zone_reclaim_mode=0

透明大页导致System CPU过高的问题

echo never >/sys/kernel/mm/transparent_hugepage/defrag

安全

账户/权限体系：每个系统一个账户，不允许跨账户写

Hive metaserver 密码加密

基于User/IP的访问控制策略：RPC层面控制，白名单

skipTrash禁用：防止误删数据

扩展性

结合HDFS的压力、瓶颈问题的逐步优化：

程序优化，扫全表: Hive慎用unix_timestamp方法

小文件合并

YARN日志降低副本至1

YARN日志单独放在另一个集群

Federation + Alluxio 实现统一命名空间

DOING & TO DO

Flink推广OLAP平台建设

流计算消息回溯

多活&灾备

资源统一管理

本文来源：大数据工程师（今日头条作者）原文链接：https:///a6508682747257553411/

数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。

下面我们来讲大数据开发核心流程。

当我们接到一个需求，首先会进行需求分析，然后做工作流设计，比如这个任务是什么时候跑的、依赖于哪些业务。工作流设计完成后进行数据采集和数据同步。接下去就是数据开发，我们提供了WEB-IDE，支持SQL、MR、SHELL和 PYTHON等。然后我们提供了冒烟测试的场景，测试完成后发布到线上，让它每天定时进行自动调度，并进行数据质量监控。以上步骤都完成后，就能把我们的数据环流到业务系统库，或者用QuickBI、DataV这些工具进行页面展现。

我们设计的任务是离线的，每天会在12点的时候把设计的任务变成一个实例快照。目前我们的任务依赖在业内也是最先进的。

现在最常见的需求就是每天有日报，每周要写周报，每月要写月报。为了节省资源，就可以使用日报的数据直接转成周报或月报。

线上系统在每天6点的时候要保证数据已经回笼到业务系统，系统要开始使用了。

如上图所示，假设有D和E两个任务，它们依赖于B和A。任务D的运行时间是1.5小时，E是2小时。我们必须确保B每天在4点之前把B的任务运行完成，一般正常运行时间是2小时。那就要保证A每天任务完成的时间不晚于2点。如果A的运行时间是10分钟，到1点的时候发现A的任务失败了，这时就能计算出A还剩下多少余量，我们可以进行人工监督排查。在1:50之前人工介入，从而保证任务D和E能在6点前准时产出。

总结

如图所示，MaxCompute是图上小人的“心脏”，所有运行的任务都在MaxCompute里面。调度是数据架构的“大脑”。“眼睛”是数据监控，目前在数据架构平台上它还是一个“近视眼”，还没有正式推出。数据集成就像两只“手”，不停地从其它地方搬运数据。底层的开发环境和运维中心就像两条“腿”，保证整个数据架构平台走得更远。而数据质量就像是一个“人体健康中心”，也就是数据质量的监控。

程序员必备的碎片化学习神器牛X公司的开会方式，明天开始参照执行女程序媛与男程序猿的一天火爆全球的区块链到底是怎么一回事？一文带你看懂对开发来讲，业务重要还是技术重要？

随着云计算时代来临，单纯的编程技术逐渐无法满足企业需求，如何在应用开发的同时筛选有意义的数据进行专业化处理，是每个发展型企业即将面临的问题，把握行业脉搏，前瞻企业需求，参加一根筋全栈Java培训才能做到快人一步迈向成功！

大数据是时下最火的技术，将来大数据就像电力资源、水力资源一样，在人类社会无处不在，属于基础设施。当前，大数据不管在互联网、政府统计、传统行业都应用广泛。作为未来的基础设施，运维作为负责大数据测试交付后的发布和管理，其核心目标是将交付的业务软件和硬件基础设施高效合理的整合，转换为可持续提供高质量服务的产品，同时最大限度降低服务运行的成本，保障服务运行的安全。

一根筋大数据全栈运维课程的优势：

课程以企业实际需求为导向，专业知识服务于实际项目，多种项目案例淬炼技术，沉淀运维经验。

课程所有数据来自真实数据，并且给出原地址和技术处理方案，做到授人以鱼不如授人以渔。

课程将以案例式教学的方案，将知识点拆分到案例中，通过实际案例来学习，让大家在快乐中学习。同时除了注重教导学生专业的运维知识，同时也将注重培养学生的沟通、逻辑、表达能力。

一根筋培训服务团队的强大，讲师团队的强大，10年以上开发经验，5年项目管理经验，最具责任心的机构，学员和讲师之间的关系十分密切，课程研发团队的壮大，保证及时更新课程体系，一根筋培训的核心竞争力就是品质保证团队，讲师班主任会观察学员的状态，保证每位学员的一个稳定的心态，都能够更好的生活学习。

概述：谨以此文献给对数据有热情，想长期从事此行业的年轻人，希望对你们有所启发，并快速调整思路和方向，让自己的职业生涯有更好的发展。 根据数据应用的不同阶段，我将从数据底层到最后应用，来谈谈那些数据人的必备技能。

1、大数据平台

目前很火，数据源头，各种炫酷新技术，搭建Hadoop、Hive、Spark、Kylin、Druid、Beam~，前提是你要懂Java，很多平台都是用Java开发的。

目前很多企业都把数据采集下来了，对于传统的业务数据，用传统的数据是完全够用的，可是对于用户行为和点击行为这些数据或者很多非结构化的数据，文本、图像和文本类的，由于数据量太大，很多公司都不知道怎么进行存储。

这里面要解决的是实时、近实时和离线的大数据框架如何搭建，各数据流之间如何耦合和解耦，如何进行容灾、平台稳定、可用是需要重点考虑的。

我的感觉是：最近两三年中，这块人才还是很稀缺的，因为大数据概念炒作的这么厉害，很多企业都被忽悠说，我们也来开始进入大数据行业吧。进入的前提之一就是需要把数据存储下来，特别是很多用户行为方面的数据，对于业务的提升比较明显的，如果你能很好的刻画用户，那么对你的产品设计、市场营销、开发市场都是有帮助的。现阶段，很多公司都要做第一步：存储更多的数据。这也是这块人员流动性比较高的原因，都被高薪挖走了。

和传统的SQL不同的是，针对大数据量的非结构式数据，我们所想的就是：用最廉价的成本存储数据同时能够达到容灾、扩展性高、高性能、跨域，从目前来看，分布式已经被证明是个很好的一个方式。

另外，云端会是个很好的方向，不是每个公司都养得起这么多这么贵的大数据平台开发人员和运维人员OPS，从事这个行业的我们要有很好的危机意识，及时贡献出自己的价值，积极主动的学习新技术、否则就可能被淘汰了。

此外，花点钱把数据托管给云服务提供商是对于创业公司或者一些传统的企业来说是个很好的思路，这样能够最快速的确定数据对你的价值是什么，而不用采购这么多的服务器、雇佣这么多的运维人员和网站开发人员。

说了以上这些，主要是想给未来会从事这块的人或者想存储数据的公司一点方向。我自己不做这块，体会不深，大家看看就行。

这块工作最被吐槽的一点就是：Hive速度好慢，SQL查询好慢，集群怎么又挂掉了，hadoop版本升级后，怎么数据跑出来不对了等等。

因此，在这个领域内工作，需要有强大的攻坚能力，并且还需要有快速定位和解决bug的能力，因为有很多工具都是开源的。因为是开源的，所以你们懂得，各种坑爹，甚至出现无法向下兼容的情况，所以需要强大的Java开发能力。

如果想在这块做的很好，还需要有整个系统架构的设计能力、比较的强的抗压能力和解决问题的能力、资源收集的能力，可以打入开源社区，这样就可以随时follow最新的潮流和技术。

2、数据仓库-ETL（架构师/大数据 489034603）

确实做仓库的人很辛苦，单单Oncall就会让人望而却步。有很多数据库工程师，晚上睡觉的时候经常被Oncall电话吵醒，因为数据流程出问题，需要第一时间去排查，是哪个数据源出问题，并且要立即解决，否则整个数据流程都会受到影响。

如果数据流程受到了影响，你就可能会被大领导一言不合叫到办公室说：我要的数据怎么还没有准备好，我的业务报表今天怎么没有发出来。

通过上面这个情景，我们可以知道：这是个很重要的岗位，因为数据流程很重要，决定了数据从源头杂乱无章的状况，通过ETL之后变成了整齐的数据，这些整齐一致性的数据可以让你很方便地把各业务的统计结果计算出来，并且能够统一口径。要不然就会变成有几个部门，就有几种统计结果，到时候A部门说业务增长了5%，B部门说业务涨了10%，OMG，到底信谁。

至少在以下几点上，我觉得数据仓库人员应该要做好：

a、数据字典的完整性，用的人都希望能够清晰的知道这个字段的逻辑是什么。字段要保持很好的一致性，不要同样一个字段在不同表里有不同的定义。

b、核心流程的稳定性，不要让每天订单主表能够使用的时间很不稳定，有的时候很早，有的时候要中午才出来，如果不稳定就会导致使用数据的人对你很没有信心。

c、仓库版本迭代不要过于频繁，要保持不同版本之间的兼容性。不要做好了仓库1.0，很快就把原来的推倒重来，变成了2.0。在数据仓库中需要考虑到延续性，主表的变动不要太频繁，否则使用的人会非常痛苦，好不容易才用习惯了1.0的表结构，没办法这么快进行切换。简单地说，要能向下兼容。

d、保持各业务逻辑的统一性，不要出现同样的业务逻辑，同一个组别的人统计出来的结果不同。原因在于共同的逻辑没有落地成通用的东西，所以导致每个人写法不同。这点其实需要特别注意。

针对以上，这个岗位的技能要求是：不要成为仅仅会写SQL的人，现在工具都很发达，如果你的技能很单一的话，那么可替代指数是非常高的，并且你自身也没有什么成就感。这里并不是说会写SQL的人很low，只是说应该多学一些技能，否则会很危险。

仓库人员应该要常常思考，如何进行架构设计是最合理的，你要考虑是否需要字段冗余、行存储还是列存储、字段如何扩展最有效，热数据和冷数据如何拆分等，所以需要有架构思维。

技能上，除了SQL熟练之外，还需要知道如何写Transform，MapReduce，因为有很多业务逻辑用SQL实现起来非常复杂，但是如果你会其他脚本语言，那么就能给你提供便利，让你的效率提升很多。另外好的仓库人员需要写Java或者Scala，通过写UDTF或者UDAF来提升你的效率是很有必要的。

数据仓库人员也应该常常考虑自动化和工具化方面的事情，需要很好的工具或者模块的抽象能力，动手实现自动化的工具来提高整个组织效能。针对经常碰到的数据倾斜问题，需要很快定位问题并进行优化。

说完了数据存储这块，接下来是数据应用的几个关键职位，在此之前，我想说数据应用的一个最关键的前提是：数据质量、数据质量、数据质量！！在每次阐述你的观点、分析结论或者用算法的时候，都需要先检查，源头数据正确性，否则任何结论都是伪命题。

3、数据可视化

这是个很炫的工作，最好是能懂点前端，比如js。数据可视化人员需要有很好的分析思维，不能为了炫技而忽视对业务的帮助程度。因为我对这个岗位客串的不多，所以没有特别深入的感悟，不过我觉得这个岗位需要有分析的能力，才能把可视化做好。

另外一方面来说，做数据应用的人都应该懂点数据可视化，要知道观点表达的素材顺序是：图片>表格>文字，一个能够用图片来阐述的机会千万别用文字来描述，因为这样更易于让别人理解。要知道，给大领导讲解事情的时候，需要把大领导设想成是个“数据白痴”，这样才能把一件事情说的比较生动。

4、数据分析师（架构师/大数据 489034603）

现在对数据分析的需求是很大的，因为大家都想着说：数据有了，但是能做些什么呢？这就需要有数据分析师，对数据进行分析和挖掘，然后做数据应用。

对数据分析师吐槽最多的是：你分析出来的不就是正常的业务逻辑吗，还需要你分析什么？或者是你分析的结论不对，跟我们的业务逻辑不符合。特别是：ABTest的结果和当初设定的预期不相符合的时候，分析师会常常被拉过去说：分析一下，为什么我的AB实验结果不显著，里面肯定有原因的。

很多时候，宝宝的心里苦啊，你说这个转化率下降了，从数据上可以看出哪个细分渠道下降了，至于为什么客户不下单，我们得去用户去，很多时候，数据上也体现不出来为什么，只能告诉你现状是什么。

如果你一直在写分析报告，给结论中，持续周而复始，没有直接在业务中体现成绩的时候，数据分析师们该醒醒了，你该想想这个是你要的岗位吗？

对于数据分析师的定位：个人认为，成为优秀的数据分析师是非常难的，现在市面上也没有多少优秀的分析师。数据分析师的技能要求，除了会数据分析、提炼结论、洞察数据背后的原因之外，还需要了解业务，懂算法。只有这样，当面对一个业务问题时，数据分析师们才可以针对问题抽丝剥茧，层层递进去解决问题，再根据定位的问题进行策略的应对，比如是先做上策略进行测试还是应用算法进行优化，用算法用在哪个场景上，能不能用算法来解决问题。

一个优秀的数据分析师，是个精通业务和算法的全能数据科学家，不是那个只会听从业务的需求而进行拉数据、做报表、只做分析的闲杂人等。我们都说分析要给出结论，优秀分析师的结论就是一个能解决问题的一揽子策略和应对措施，同时很多需求是分析师去主动发现并通过数据来挖掘出来的。

从上述描述中，可以看到对数据分析师的要求是：会写sql拉数据，精通业务、会数据洞察、精通算法，主动性强，要求还是很高的。

如果你一直只是忙于应付日常分析需求，热衷于写华丽的报告，那么你要记得，你很危险，因为会有一堆人在那里质疑你存在的价值，特别是小公司。因为数据人员的薪资是个不小的支出。

大部分不落地的分析都是伪分析，有一些探索性的可行性研究可以不考虑落地，但是其他的特定业务需求的分析都需要考虑落地，然后通过实践来反推你的作用，如此反复，才能慢慢的给你价值的肯定，同时提升你的分析技能，也只有这样才能证明你作为分析师、数据落地者的价值。

5、数据挖掘/算法（架构师/大数据 489034603）

这块的话，经过这三年的摸爬滚打，感触蛮多的。体会比较深的吐槽主要有以下几点：

一个规则搞定了，还用什么算法。

你的准确率怎么这么低？！

你的准确率可以到99%吗？

你的推荐有价值吗？你不推荐客人也会下那个产品的订单的。

帮我做个大数据预测他想要什么？

很多时候，不同的场景对准确率的要求是不同的，所以在一定合理的场景下和业务进行据理力争是必要，不要害怕让业务吐槽，更多的时候管理好他们的预期。

有些场景下，推荐的价值在于『长期复购率』，所以不要每次都盯着ABTest的转化率来说事，让客人的费力度降低也是很有前途和前景的。一个智能的产品会让客人用起来爱不释手，虽然在这一次的转化中没有明显的差别，但是观察长期复购率才能体现价值。特别是要区分：高频和低频产品。频次比较低的产品就特别难体现出短期价值。

对于这个岗位的技能要求来说，没有要求你一定要从零开始实现所有的算法，现在有很多现成的算法包进行调用。最基本的要求是，你要知道每个场景会用到哪个算法，比如分类场景，常用的分类算法就有LR/RF/Xgboost/ET等等，此外，你还要知道每个算法的有效优化参数是什么、模型效果不好的时候怎么优化。还需要有算法的实现能力，语言方面可以用Scala/python/R/Java等。我们常说：工具不重要，重要的是你玩工具，不是工具玩你。

另外针对有监督式学习算法，算法工程师最好有很好的业务sense，这样在feature设计的时候才能更有针对性，设计的feature才有可能有很好的先验性。

6、深度学习（NLP，CNN，语音识别)

这块我没具体商用过，只是动手实践过。个人感觉商业化是重点吧，特别是大家都在观望说你的chatbot很有用啊，可是siri做了这么久，最后反响也一般。

现在客服机器人又很火，大家又在一通吐槽说，这个上下文理解的太差了，机器人的语义识别做的怎么这么差。谁做谁知道，对于中文的语义识别，难度比国外的难多了，因为中文的一种否定说法有太多种变体，你不知道我们会说哪种。

另外，常常有人吐槽说，你这个CNN这么复杂，我线上需要满足100ms内返回，搞的这么复杂，实时调用怎么整，肯定来不及了，最后只能考虑offline预测了。常常说这话的人，是不会自己写底层代码的，很多时候我觉得：不是你没有解决问题的办法，而是你没有去思考怎么解决问题，心智决定了你的产出。

整体来说，这块对个人的综合素质要求是很高的。如果你只是想简单利用现成的Model，提取中间层的特征，然后再套用其他的机器学习模型进行预测的话，倒也能很好的解决一些现实中的公司应用，比如yelp的图片分类。

不过，严格来说，这个不算是做深度学习的人，因为真正玩DL的人，是需要自己动手建模型，调参数，改symbol的，所以他们的编程能力是很强的，这点上，我一直都高山仰止。特别是一些创业公司，对于这个岗位的编程能力要求很高。如果你面试创业公司后没有下文了那就表示：你很优秀，但是不一定适合我们公司，因为我们要找的编程能力很强的人。

这块我不专业，所以就点到为止，不说太多。个人认为，在这块上需要有比较强的算法改造和优化能力，尽量的提高算法预测的速度，同时不断的提高算法的外延性提高精度，目前整个行业也都是朝着好的方向在发展。如果有很多人看到这块行业开出来的高工资，记得�...

该文章基本上是从三个层面阐述的：

工程数据，譬如工单数量，SLA可用性，基础资源，故障率，报警统计

业务数据，譬如业务DashBoard,Trace调用链，业务拓扑切换，业务指标，业务基准数据，业务日志挖掘

数据可视化

当然，这篇文章谈的是运维都有哪些数据，哪些指标，以及数据呈现。并没有谈及如何和大数据相关的架构做整合，从而能让这些数据真的变得活起来。

比较凑巧的是，原先百度的桑文峰的分享也讲到日志的多维度分析，吃完饭的时候，一位优酷的朋友也和我探讨了关于业务监控的的问题。而我之前发表在肉饼铺子里的一篇文章【大数据给公司带来了什么】 也特地提到了大数据对于整个运维的帮助，当时因为这篇内容的主旨是罗列大数据的用处，自然没法细讲运维和大数据的整合这一块。

上面的文字算引子，在步入正式的探讨前，有一点我觉得值得强调：

虽然这里讲的是如何将大数据思维/架构应用于运维，平台化运维工作，但是和大数据本质上没有关系，我们只是将大数据处理的方式和思想应用在运维工作上。所以，即使你现在所在的公司没有数据团队支撑，也是完全可以通过现有团队完成这件事情的。

运维监控现状

很多公司的运维的监控具有如下特质：

只能监控基础运维层次，通过zabbit等工具提供服务器,CPU,内存等相关的监控。这部分重要，但确实不是运维的核心。

对业务的监控是最复杂的，而现在很多公司的要么还处于Shell脚本的刀耕火种阶段，要么开发能力较强，但是还是东一榔头西一棒子，不同的业务需要不同的监控系统，人人都可以根据的自己的想法开发一个监控的工具也好，系统也好，平台也好。总之是比较凌乱的。

使用第三方的监控平台。这个似乎在Rails/NodeJS/Pythone相关语系开发的产品中比较常见。我不做过多评价，使用后冷暖自知。

当然也有抽象的很好的，比如点评网的运维监控据说就做的相当好，运维很闲，天天没事就根据自己的监控找开发的搽，让开发持续改进。不过他们的指导思想主要有两个：

运维自动化。怎么能够实现这个目标就怎么搞，这严重依赖于搞的人的规划能力和经验。

抽象化，根据实际面临的问题做出抽象，得到对应的系统，比如需要发布，于是又发布系统，需要管理配置文件，所以有配管系统，需要日志分析所以有了有日志分析系统。然而这样是比较零散的。

有点扯远，我们还是focus在监控上。

如果以大数据的思维去思考，我们应该如何做好监控这件事情？

罗列出你的数据源

【大数据对于运维的意义】 这篇文章也讲了，主要有工程数据，业务数据。所有的数据源都有一个共性，就是日志。无论文本的也好，二进制的也好。所以日志是整个信息的源头。日志包含的信息足以让我们追查到下面几件事情：

系统健康状况监控

查找故障根源

系统瓶颈诊断和调优

追踪安全相关问题

从日志我们可以挖掘出什么？

我觉得抽象起来就一个： 指标。指标可以再进行分类，

业务层面，如团购业务每秒访问数，团购券每秒验券数，每分钟支付、创建订单等

应用层面，每个应用的错误数，调用过程，访问的平均耗时，最大耗时，95线等

系统资源层面：如cpu、内存、swap、磁盘、load、主进程存活等

网络层面： 如丢包、ping存活、流量、tcp连接数等

每个分类里的每个小点其实都是一个指标。

如何统一实现

千万不要针对具体问题进行解决，大数据架构上的一个思维就是：我能够提供一个平台让大家方便解决这些问题么？ 而不是，这个问题我能解决么？

先来看看架构图：

因为目前我负责应用层的研发，业务还比较少，主要就需要监控三个系统：

推荐

搜索

统一查询引擎

所以监控的架构设计略简单些。如果你希望进行日志存储以及事后批量分析，则可以采用淘宝的这套架构方式：

稍微说明下，日志收集Agent可以使用Flume,鹰眼Storm集群，其实就是Storm集群，当然有可能是淘宝内部Java版的，Storm(或第一幅图的SparkStreaming)做两件事情

将日志过滤，格式化，或存储起来

进行实时计算，将指标数据存储到HBase里去

到目前为止，我们没有做任何的开发，全部使用大数据里通用的一些组件。至于这些组件需要多少服务器，就看对应的日志量规模了，三五台到几百台都是可以的。

需要开发的地方只有两个点，有一个是一次性的，有一个则是长期。

先说说一次性的，其实就是大盘展示系统。这个就是从HBase里取出数据做展示。这个貌似也有开源的一套，ELK。不过底层不是用的HBase存储，而是ES。这里就不详细讨论。

长期的则是SparkStreaming(淘宝是使用Storm，我建议用SparkStreaming,因为SparkStreaming可以按时间窗口，也可以按量统一做计算)，这里你需要定义日志的处理逻辑，生成我上面提到的各项指标。

这里有一个什么好处呢，就是平台化了，对新的监控需求响应更快了，开发到上线可能只要几个小时的功夫。如果某个系统某天需要一个新的监控指标，我们只要开发个SparkStreaming程序，丢到平台里去，这事就算完了。

第一幅图的平台我是已经实现了的。我目前在SparkStreaming上只做了三个方面比较基础的监控，不过应该够用了。

状态码大盘。HTTP响应码的URL(去掉query参数)排行榜。比如你打开页面就可以看到发生500错误的top100的URL，以及该URL所归属的系统。

响应耗时大盘。URL请求耗时排行榜。比如你打开页面就可以看到5分钟内平均响应耗时top100的URL(去掉query参数).

还有就是Trace系统。类似Google的Dapper,淘宝的EagleEye。给出一个唯一的UUID,可以追踪到特定一个Request的请求链路。每个依赖服务的响应情况，比如响应时间。对于一个由几个甚至几百个服务组成的大系统，意义非常大，可以方便的定位出到底是那个系统的哪个API的问题。这个最大的难点是需要统一底层的RPC/HTTP调用框架，进行埋点。因为我使用的是自研的ServiceFramework框架，通讯埋点就比较简单。如果是在一个业务线复杂，各个系统使用不同技术开发，想要做这块就要做好心理准备了。

现在，如果你想要监控一个系统是不是存活，你不在需要取写脚本去找他的pid看进程是不是存在，系统发现在一定的周期内没有日志，就可以认为它死了。而系统如果有异常，比如有大量的慢查询，大盘一定能展示出来。

描述到这，我们可以看到，这套架构的优势在哪：

基本上没有需要自己开发的系统。从日志收集，到日志存储，到结果存储等，统统都是现成的组件。

可扩展性好。每个组件都是集群模式的，没有单点故障。每个组件都是可水平扩展的，日志量大了，加机器就好。

开发更集中了。你只要关注日志实际的分析处理，提炼指标即可。

大数据思维

对于运维的监控，利用大数据思维，需要分三步走：

找到数据

分析定义从数据里中我能得到什么

从大数据平台中挑选你要的组件完成搭积木式开发

所有系统最可靠的就是日志输出，系统是不是正常，发生了什么情况，我们以前是出了问题去查日志，或者自己写个脚本定时去分析。现在这些事情都可以整合到一个已有的平台上，我们唯一要做的就是定义处理日志的的逻辑。

这里有几点注意的：

如果你拥有复杂的产品线，那么日志格式会是一个很痛苦的事情。以为这中间Storm(或者SparkStreaming)的处理环节你需要做大量的兼容适配。我个人的意见是，第一，没有其他更好的办理，去兼容适配吧，第二，推动大家统一日志格式。两件事情一起做。我一个月做不完，那我用两年时间行么？总有一天大家都会有统一的日志格式的。

如果你的研发能力有富余,或者有大数据团队支撑，那么可以将进入到SparkStreaming中的数据存储起来，然后通过SparkSQL等做即席查询。这样，有的时候原先没有考虑的指标，你可以直接基于日志做多维度分析。分析完了，你觉得好了，需要固化下来，那再去更新你的SparkStreaming程序。

随着智能科技发展的今天，几乎所有的行业客户都将业务系统建立在网络应用的基础之上，互联网的应用与业务的融合给用户带来了巨大的效率提升和持续的竞争力，而在背后默默支撑这一切的都基于大数据深度运算和应用。作为大数据典型产物的人工智能更被誉为人类科技上的一次飞跃。然而，近年来，因遭受互联网攻击而直接导致的经济损失，并呈现出逐年增加的趋势，这无疑给让企业在享受智能改变的同时，也面临巨大的考验。

如果说过去我们反复降调企业用户在互联网安全领域中居安思危，面对安全故障我们应该迅速做出补救修复措施。那么在海量数据面前，企业能承担多少个下一秒的损失呢？

“大数据”时代的来临 ，在安全领域中信息系统的规划，建设，投资等决策将日益基于数据和分析做出判断，而非过去基于经验和直觉的模式。如何采集，分析数据，提供定期的报表统计，包括攻击类型分布，高风险攻击事件统计，安全漏洞发布等。如何直观展现信息系统的实时安全态势，为安全决策提供数字依据成为企业安全运维面临的首要问题。

那么我们应该如何着手建设安全机制方面的运维管理呢？

1 建立信息系统安全事件监测机制，及时发现信息系统安全隐患。

运维阶段中，我们如何及时提前发现异常行为？这是正常用户应该出现的行为吗？该用户是否被控制或穿了马甲？举个栗子：某天某台服务器出现了大量的外联上传行为，进出访问IP中出现大量境外IP，或者CNCERT 通报的恶意IP等。应该如何识别呢？

因此，企业用户需要建立一套有效的安全事件监控和预警措施，能够在信息系统即将遭受攻击，或者已经遭受攻击的同时，迅速精准的发现攻击行为，并且迅速启动处置和应急机制，同时可以对信息系统的安全事件进行综合分析，了解当前整体系统的安全态势，为整体网络与信息安全规划提供有效的数据支持。

2 预先防范，提前做好安全性检查，全面提升主动检测能力。

WEB 应用的安全性成为越来越需要关注的问题，有近40% 的入侵是由于web 应用的问题造成的。在Applied Research 发表的一份调查报告中，企业反馈超过一半的最频繁的攻击是针对web 应用的，这些攻击种甚至有一半在著名的“OWASP 十大威胁”名单中，面对这些持续而频繁的攻击，企业用户需要进行定期的安全检查，及时主动发现信息系统中存在的安全漏洞及潜在威胁。

3 提高安全事件的相应和处理能力。

综合监控中发现的问题，以及在安全检查中对自身系统脆弱性的认识，为应急方案提供依据。同时，根据企业自己的运行情况及行业特性，建立安全知识库，鉴于目前多数企业不具备完全独立处理安全事件的技术能力，企业通常也可以借助专业安全服务厂商提供安全事件的预警，相应和必要的技术支持，提供企业的安全事件处理能力。

4 通过强大的综合分析能力，为信息部门提供数据参考和决策支持。

应随时了解信息系统的运行情况和安全状况，安全态势，在海量数据的基础上，进行综合分析，得出宏观的规律和不同事件相互联系的规律。为信息部门提供强有力的数据参考和决策支持。

关注创联致信，关注更多技术资讯

更多详情请致电

创联致信，中国优秀IT运维服务商

晨起打开电视机，想看会新闻节目，父亲节将至，新闻自然会给予一定关住度，新闻中用到了大量的大数据提供的最为客观的信息，来调查父亲节礼物，这种统计方式让你不得不感叹科技的革新带来的巨大的变化，正在悄悄改变我们的生活。

大数据时代，名副其实的“信息社会”。大数据将重塑我们的生活、工作和思维方式。大数据需要人们重新讨论决策、命运和正义的性质。拥有知识曾意味着掌握过去，现在则更意味着能够预测未来。很多情况下，弄清楚“是什么”比找寻“为什么”更加重要，因为前者表明事实才是我们生活和思维的基础。

现在精明的企业，在想要采取任何一个动作前，最先做的是数据调查，用数据说话，这种数据不受个人意志为转移，无疑是更理性更具权威性，任何人都必须臣服于大数据的精准判断。

有需求就有市场，一大数据为依托的数据运维行业应运而生，但是由于市场的需求量大，大数据人才市场供不应求，目前互联网的朝阳行业，就算你掌握了大数据的命脉，假使你有一天想创业，自己当老板，掌握了数据思维就相当于掌握了珍贵的商业信息，总之，目前大数据真的是一项可以帮你转业提薪的绝佳机会，观望的越久，损失越大！

一根筋教育，名师指导，课程脉络一目了然，四个月时间，让你掌握一门手艺，也是一门生意经。想了解的就联系一根筋官网客服，课程大纲、还有免费资料可以拿。

【IT168 技术】本文根据徐小飞在2018年5月12日【第九届中国数据库技术大会(DTCC)】现场演讲内容整理而成。

讲师简介：

徐小飞，阿里巴巴技术专家，目前就职于阿里计算平台大数据基础工程技术团队，主要负责支撑阿里大数据智能运维体系(公司内部产品名称——Tesla)的建设，团队致力于打造通用的智能化SRE中台，目前该中台运维体系承载阿里10w+规模节点运维工作。

本文摘要：

介绍Tesla如何支撑阿里离线计算和实时计算两大海量大数据平台的标准化日常运维运营，以及探索如何构筑运维领域的知识图谱，打造针对大数据平台和大数据业务的数据化全息投影，实现多维的立体化监控、智能决策分析、自动化执行的运维闭环。Tesla是面向企业级复杂业务系统的数据化驱动运维解决方案，解决方案包含一个统一运维门户(运维工单、运维垂直搜索)和四个运维基础平台(流程平台、配置平台、作业平台、数据平台)，集日常运维工单管理、自动化发布变更、统一配置管理、统一任务调度、智能监控告警管理、异常检测预测、故障自愈等。

分享大纲：

·运维新趋势

·Tesla运维解决方案

·DataOps数据化运维

·数据价值转化

·AIOps征程

演讲正文：

大家好，我叫徐小飞，很开心能够有这样的一个机会在这里和大家交流。今天主要给大家介绍一下围绕阿里大数据体系的的运维智能化实践。

我所在的团队叫大数据基础工程技术，通俗点说就是大数据SRE(为什么起基础工程技术这个名字? SRE文化里有个最核心的点就是使用软件工程的思想来解决运维问题)，我们团队支撑的是整个阿里大数据生态的运维运营，并沉淀出一套自己的运维解决方案体系——Tesla，这套体系是一个分层体系，包含了面向运维领域功能的运维中台和面向具体大数据平台业务的运维应用。目前Tesla承载了阿里大数据平台及业务共10w+规模节点的日常运维工作。相信了解阿里的人都听过这样一个词——“大中台和小前台”战略，同样在运维领域，我们也是利用这个战略来构筑我们的业务：大中台提供通用的运维领域功能，而小前台可以基于业务场景快速试错、创新。首先我们先看下运维的新趋势。

一.运维新趋势

刚好这几天Google IO大会也正在召开，相信在座的很多同学都会关注，今年的大会中有一个很吸引眼球的话题，就是在开场第一天放出来的两段Demo视频，是个电话录音视频，内容是Google助手帮助客户打电话到发廊或餐厅去做预约。那么亮点在哪里呢?在整个电话预约的过程中，发廊和餐厅的人完全没有感知到和他们交流的是AI机器人。换句话说，AI机器人已经达到了以假乱真的效果，不仅在交流过程中有语气词和思考，而且当话题出现中断时，还会提出反问句，能让话题回到机器人所要的情景进行下去。

Google对外宣称在某些特定领域，例如预约领域，他们已经通过了图灵测试。图灵测试大家可以去了解一下，图灵有一篇针对未来机器智能的论文，一句话解释论文里的图灵测试：当人机交互时，人类完全感觉不到对方是个机器人，那么就标志着进入了机器智能的时代。

大概在三年前，Google提出了AI战略。时至今日，我们看到Google在很多领域都渗透了AI，Google的AI并不是做一个全新的AI产品，而是将AI赋能到它的顶尖产品中。所以，我们表面看到的是预约服务，但其实为了达到这个效果是需要很强大的数据+算法的支撑。我们经常提到的ABC(AI，BigData，Cloud)，想要实现AI，前提一定是大数据和云计算，而在运维领域也同样是如此。这两年AIOps特别火，同样地我们认为要实现AIOps，一定是先有运维的数据和计算，就是说从DevOps到AIOps之间，有一段DataOps必经之路。

如何理解DataOps呢?首先，我们要拿数据来感知我们所运维的系统，继而利用数据分析做一些决策，再往下就是去触发自动化的智能闭环。我们认为DataOps中最核心的过程就是运维感知、决策和执行。

我们把无人驾驶和无人运维做了一个类比。无人驾驶也是Google第一个提出来的，现在有很多厂商投身其中，如果细看无人驾驶，其实我们发现与无人运维类似——无人驾驶是在传统汽车上附加智能感知、决策、智能控制系统。但是真正的无人驾驶还没有达到，即使是Tesla(马斯克的特斯拉)也不例外。而终极AIOps想要达到的是也是无人运维的效果，即在DataOps 的感知、决策和执行三个阶段都附加上AI智能。接下来先看下整体的Tesla运维解决方案。

二.Tesla运维解决方案

上面这张图是阿里大数据的体系，左边最底层是基础设施，包含了底层依赖，机房、天基、Staragent;其上有两大基础平台，一个是飞天平台，这是完全自研的，另一个是Hadoop平台。这两套平台之上分别对应的是MaxCompute和StreamCompute两大存储计算平台;再往上是数据应用层。而右边是Tesla大数据运维解决方案，我们可以看到Tesla贯穿了整个阿里的大数据体系，负责从基础设施到基础平台到存储计算平台的所有产品的运维支撑。

简而言之，Tesla就是在为阿里的大数据保驾护航。

MaxCompute是大数据的核心业务，而DataWorks可以理解为是一个面向开发者的前端，是MaxCompute的门户。 MaxCompute基本上承载了集团90%以上的计算和存储。在阿里，凡是和数据打交道同学都会用到DataWorks。StreamCompute承载了集团几十个BU的实时作业。大家可能感触最多的是每年的双11大屏，这背后都是由StreamCompute实时作业传上去的，可以达到秒级、毫秒级。最后是我们内部的机器学习PAI和AnalyticDB。

这张图是Tesla运维解决方案架构图。整个Tesla运维解决方案是一个分层的体系，从SRE中台到SRE应用。整体是一个垂直体系，也可以拿SPI来分，中台最底层是IaaS，IaaS层是最基础的公共集团的设施，之上是核心运维PaaS层，其中包含四大平台+两大类服务。 四大平台与运维人日常的工作相关，分别是配置平台、作业平台、流程事件平台和数据分析平台。再往上就是SaaS层，提供了所有的平台和服务。Tesla平台支撑了阿里大数据的十几个平台，因为每个大数据平台业务产品的运维特性都是不一样的，肯定无法做到一套运维系统支撑所有的产品运维运营，所以我们就采用了分层战略： 运维开发团队提供平台，而针对具体产品的运维应用由SRE同学利用平台去构筑。典型的SRE应用包括常见的集群管理、资源管理、监控告警、故障管理等。在这张图里我们可以看到DataOps体现在数据分析平台这一层。

这张图是应用维度。SRE应用这一层的功能也是分层的，最下面是其所依赖的基础平台，往上是面向业务的功能(包含业务中心、服务管控、平台运营、工具服务、运维中心和运筹优化)，利用这些功能向上支撑具体的运维场景(围绕稳定性、成本、质量、效率、安全以及体验的维度)，最终服务好业务的各类用户。

在运维/运营平台中抽象出了几块内容，开发框架、资源整合、运维数据化和智能分析。因为最终系统都是相似的，所以我们会给提供前后端框架、服务网关、二方依赖包以及工具插件，业务SRE只需在环境上去获取数据，做数据处理、元数据管理以及提供数据查询的服务。运维数据化(DataOps)就是我们前面提到的，智能分析支撑常见的运维场景，比如最典型的故障处理、监控分析、大促保障以及值班客服等，他们面临的客户是一堆客户，这也是DataOps在SRE应用上的体现。接下来我们重点解释到底什么是DataOps。

三.DataOps数据化运维

什么是DataOps?如何做DataOps?阿里五新战略中有一个新能源，我们认为数据就是新能源，现在已经进入到信息爆炸的时代，大家刷淘宝天猫时的每一次行为都会触发日志，这些日志最终都流到我们的平台里。如此海量的数据，如果能有效的组织管理好，那么就可以从中挖掘出价值，但如果管理不好，就可能会是个大灾难。

算法+技术，再结合数据就会产生新能源，而现在比较通用的数据挑战是我们怎么有效的去收集、清洗数据?如何保证数据的实时性、准确性?如何将无序的、没有结构的数据有序、有结构的分类、组织、存储管理起来?如何通过算法去打通数据，连接、分析数据，并从中提炼出价值?这一系列的问题就是DataOps需要解决的。

什么是数据化运维? 我们这样定义：就是把所有系统的运维数据全部采集起来、真正打通，深度挖掘这些数据的价值，为运维提供数据决策基础和依赖。 从系统“稳定性、成本、效率、安全”多个维度去驱动自动化、智能化的运维运营，从而助力实现真正的AIOps。

相比于传统运维，DataOps的改变可能就是把传统的使用命令、人工决策的运维过程转变成数据+算法的模式。

DataOps是实现AIOps的一个必经之路，是一个运维闭环。如何做数据化运维呢?右边这张图来自《大数据之路》这本书，当然这张图说的是阿里整个的数据中台，阿里数据中台把全公司所有和数据相关的东西都整合了起来，提供了一套统一的数据中台。其中，最下面是数据采集层，往上是数据库同步工具，中间是MaxCompute和StreamCompute，也就是数据存储计算层，最上面是数据服务层和数据应用层。

数据中台中的方案体系是OneData，它是用来规范数据中台，如何维护、组织、管理和使用数据的。OneData之上是OneService，有了这套组织管理和两大计算平台之后，就可以提供各式各样的数据服务，并再向上提供数据应用。在阿里，基本上所有的业务部门都是按照这个套路来做的。

如何做数据化运维?其实就是利用这套大数据体系来构筑大数据的数据化运营体系。这句话可能有点难以理解，更直白一点说，这套体系是由我们来运维保障的，但是过程中我们也利用其来构筑了运维运营体系。因为我们的使命是为阿里大数据保驾护航，而我们的做法也是用阿里大数据来做运维分析，数据化运维分解下来就是运维的数据采集、运维的数据计算、运维的数据服务以及运维的数据应用。

前面讲的是方法论，现在讲讲具体的实操。利用数据中台，我们首先做的是按照OneData规范建立运维的数据仓库，然后把所有运维相关的数据做分类抽象，包含公共数据、业务数据、元数据，runtime实时数据。基于这些数据抽象，我们提供了大量的运维服务和数据服务，比如异常检测分析、故障自愈、可视化流程、运维搜索、运筹优化、全链路诊断以及业务驱动。下面结合几个例子来具体解释下如何做数据化运维。

以全链路分析诊断为例，MaxCompute是一套离线计算平台框架，每天有百万级的任务在跑，这些任务都是由开发同学提交，当作业因为各种原因出现不可预知的错误，大家就会@运维值班人员看看是哪里的问题。后来我们发现，大部分问题是相似的，所以就总结经验，从用户都在这个平台上提交作业到最后执行的每个阶段都去打点、采集分析，做了一套全链路作业诊断工具。

这是一个自助式的全链路诊断产品，提供一个入口，用户只要输入作业ID，我们就能延伸到整个上下游去查询所有的有可能的问题，包括它的资源申请情况、配置是否正确、数据依赖是否都已满足、历史情况如何、是否有长尾倾斜等等。

上图中有我们工具的页面截图，可以看到左边是有分类的，其实在做这个全链路分析工具的时候，我们就把这个场景和去医院体检做了个类比，体检时医生要针对病人的各个环节做判断，然后输出病人的状态，OK还是不OK?如果有问题，立即提出来让病人去某诊室随诊。同样的，我们也是针对作业做了多个维度的检测，而且还会将诊断详情、时间分析、图表分析以及历史对比等，全部都透视给用户。最后的结果报告是用图表分析的，例如稀疏图形资源争抢，毛刺图形部分长尾、任意机器进程CPU消耗分析。

第二个案例场景是硬件自愈，目前我们已经有10万+台物理机了，每天有大量的硬件故障在发生，比如硬盘坏了，主板坏了等等。如果机器比较少，那么我们可能人肉或者直接提单就可以了，但是当量级到了一定程度，每天几十单或者是上百单的硬件故障，这种方式就不适用了。

所以我们就利用这套数据化的思路做了一个硬件自愈的流程。我们也是从服务器上采集到数据，然后流进流计算平台Blink再到数据仓库，做检测分析并得出决策。决策触发流程平台做一些自动化执行的action，调用集群操作系统去做机器维修等。

硬件自愈的本质也是一个三阶段的闭环，在这其中我们的角色有很多。例如有些故障重启一下服务或者双向配置即可解决，而有些故障需要使用万能大法，重启机器才能解决。如果碰到解决不了的问题就要进入无盘状态，去做业务隔离、重新克隆、整机维修，维修完之后自动上线。整套流程全部是自动流转，我们是无人值守的状态。

四.数据价值转化

通过前文的方法论和两个案例，我们大概解释了一下如何做数据化运维，接下来，我们再透视一下数据化运维的本质——从运维数据到知识的价值提取。

这里会涉及到几个概念，数据化运维的前提是先将一切对象数据化，也就是运维的全域数据，构筑完之后，使用知识图谱将这些数据连接起来，之后将数据当做服务提供给人，利用运维搜索去提供一些快速直达的服务。...

大数据与医疗

随着大数据技术的发展成熟以及国家对大数据产业发展的支持，搭建大数据平台也不在限与BAT级别的大型互联网企业，越来越多企业或个人参与到大数据行业中，并且已经尝到了大数据和大数据技术带来的甜头。

大数据与旅游

而由于大数据井喷式的发展，作为技术人员，很多的人考虑的是学习大数据开发技术，大数据与业务应用。但技术产业的不断发展成熟，分工也必将越来越明确，尤其是互联网产业，个人是很难完全掌控全局的。

分工明确，环环相扣

大数据产业当中，企业的IT架构不断扩展，服务器、存储设备的数量越来越多，网络也变得更加复杂，从而给运维工作带来了巨大的挑战，特别是分支机构众多的大型企业或垂直层级较多的政府单位，为了保障良好的用户体验和数据时效性，运维工作显得十分艰巨。因此，在大数据集中趋势越来越明显的时代，具备实时采集和海量分析能力的IT运维管理产品将会成为数据分析应用的新增长点。

IT运维产品的发展趋势决定了，要在企业复杂的异构网络环境和系统面前毫不畏惧，有这种实力才能实现业务系统所依托的网络平台资源、服务器资源、应用系统资源、信息服务资 源等进行统一综合管理。

大数据运维需要掌握什么

那么对于本身从事运维工作，或从其他岗位转做大数据运维工程师的朋友，应该掌握哪些技能，才能让我们在实际工作中得心应手，运筹帷幄呢？

linux

首先Linux，对于从事开发工作的朋友，必然并不陌生，即使没有系统学习过，但是简单常用的命令必然了解。但对于想从事大数据运维朋友们，我们必须要进行系统的学习，除了常用的命令，基础的有网络安全、用户、磁盘管理，文件目录管理，系统监测维护；之后是Linux下部署企业中用到的各种服务和构建各种高级服务的方法，特别是系统管理员日常管理工作中常见的问题，最初步的安装到系统的安全和优化，以及各种服务的搭建和管理都有一些小技巧，都必须掌握。

关于Linux这块，作为大数据运维工程师，我们还需要具备Linux下进行进程控制开发、进程间通信开发、多线程开发、网络的开发能力，为后续深入掌握嵌入式Linux驱动和系统编程打下坚实的基础。然后逐步进阶，再通过项目实战，搞定Linux中小规模集群构建与优化。当然这里必须要提一下，需要熟练掌握运用Shell编程。

Redis

作为运维工作人员，常规数据库的操作必不可少，而针对大数据运维，一些高性能数据库必须熟悉，如Redis等。在此基础上，基本可以尝试完成一些大规模集群架构构建了。

Python自动化运维

自动化运维能够大大提高运维效率，而python凭借其灵活性，在自动化运维方面已经被广泛使用，而且服务器规模越大，优势越明显。通过python实现自动监控，系统安全、报表管理，Ansible，Saltstack等等。学习过程中可以可以使用python自动化运维实现大规模流量监控与管理，来体验自动化运维在实际业务场景的应用，提升实际使用能力。

hadoop生态圈

既然是大数据运维，大数据平台集群构建和云计算平台集群构建自然需要熟练，了解hadoop生态体系，有条件的话，可以尝试搭建千万级的高并发大数据网站平台（自学估计比较困难）。针对云计算平台，OpenStack易于部署、功能丰富且易于扩展，应该作为我们重点学习对象。针对这块也有像COA认证等受认可的培训认证，有条件的朋友可以参与，对就业帮助还是非常不错的。

OpenStack

讲了这么多，其实很多本身从事企业网管、技术支持或者硬件网络方面的朋友，对文中的部分内容还是非常熟悉的。对于这类有一定经验基础的朋友，学习起来自然会更轻松。运维工作相对与编码，比较看重人的逻辑思维能力，对于未知情况做出逻辑判断，主动出击，对于沟通、团队能力更加看重。有兴趣的朋友可以尝试深入了解。

大数据时代，“连接一切”将是一个时尚的词句，物物相连，人人相连，人物相连。在这个巨大且复杂的网络中，以大数据、云计算为基础的智能感知世界，让我们张开双臂，拥抱未来，以大数据为基础，精准感知，精准运维。

分享之前我还是要推荐下我自己创建的大数据学习资料分享群 232840209，这是全国最大的大数据学习交流的地方，2000人聚集，不管你是小白还是大牛，小编我都挺欢迎，今天的源码已经上传到群文件，不定期分享干货，包括我自己整理的一份最新的适合2017年学习的前端资料和零基础入门教程，欢迎初学和进阶中的小伙伴。

大数据开发运维工程师（非数据分析挖掘）需要掌握的技能：

了解各种常用集群的搭建及性能调优

Hadoop集群，storm集群，spark集群

其实会hadoop的搭建，其它就很容易了

这里有时会涉及硬件管理或网络管理，具体看项目

这里需要到的技能是：对Linux系统的常用操作，包括对shell脚本语言的开发使用， 硬件管理(磁盘，内存，CPU等)，网络

2. 学会集群的各类组件的原理和使用及配置

这块内容比较多也比较杂，一般来说常用的组件有Hive, Yarn, Hdfs, Hbase, Zookeeper等

能够理解和使用Mapreduce算法框架

如果是做实时处理需要掌握Flume, Kafka, Redis等的使用

3. 会使用至少两种主流开发语言

包括 Java，Scala，Python，Java的话至少要掌握Java基础，J2ee一般可不考虑(具体看公司招聘需求)

数据分析挖掘工程师：

技能：传统SQL, HiveQL开发, Scala(对应Spark), R语言，Shell, 基础Linux操作，有的还需要一到两种主流开发语言(以上不一定要求都懂，具体看项目需求)

要会使用分析工具，包括spss等

要懂常用机器学习算法的适用场景及使用方法，包括聚类分析，逻辑回归等等

以上是我之前接触到的在大数据项目中会使用到的技术和工具，

不得不说，以上任何一个技术点单拎出来都能写一本书 。。。

而且大数据生态圈组件非常多，我们只是使用到了其中一部分，同时大数据相关技术更新也很快，

总体来说，Java或者Python程序员转大数据相对要容易些。