点击上方“CSDN”，选择“置顶公众号”

关键时刻，第一时间送达！

作为程序员，都有一种相同的焦虑——即当一次又一次的新技术浪潮袭来，总会不由自主的拼命跟随，总是担心如果不紧跟新技术的潮流，将会被时代所抛弃。

近几年，技术浪潮一波接着一波，从物联网、云计算、大数据、VR/AR、人工智能、自动驾驶，再到如今的区块链，每一次技术浪潮来临，都受到资本和市场的极度热捧。而大量的程序员也加入了热门技术的创业大军中，这无疑加剧了身边朋友的焦虑。

其实类似这样的焦虑很正常，人无远虑必有近忧嘛，也是人之常情。古人有云：“居安思危，思则有备，有备无患，敢以此规。”

但人的精力毕竟有限，不可能跟随每一波技术热潮，到底该如何选择，想必大家心里也充满了疑问。

从长远考虑，肯定是那种淘汰慢，能够与经验积累成正比，容易形成知识壁垒，不容易被取代的技术最好了。但实际上，想找这种技术领域其实是蛮难的，这也是程序员普遍缺少安全感的原因，以 Java 语言开发为例，工作 5 年与工作 3 年的差距大不大呢？

但实际上，有一门技术领域就具备这样的潜力，这就是大数据技术。金山软件资深大数据架构师与大数据专家高扬就曾表示，对于项目管理以及更高级别的职场人而言，大数据能够助其更多的思维层面和辩证看待数据的逻辑，并且在普及性学习工作中，能够了解哪些技术能做什么，优势有哪些。这样的知识对于一个管理者对当前技术形式作出判断，估算难度和成本，以及对开阔创新中的想象力都是大有裨益的，有着重要的积累意义。

同时，根据相关调查数据显示，大数据人才就业薪资普遍较高。以北京为例，大数据开发月平均薪资 30230、数据分析师月平均薪资 11130、Hadoop 工程师月平均薪资 20130、数据挖掘月平均薪资 21740、算法工程师月平均薪资 22640，是不是非常诱人？

此外，数据还显示，在工龄三年以下的人群中，大数据工程师、AI 工程师、全部工程师的平均年薪分别为 29.22 万元、29.98 万元、23.73 万元；在工龄 8-10 年的人群中，三者的平均年薪分别达到了 44.23 万元、45.71 万元、39.91 万元。可见，在大数据领域，随着工作年限的增长，薪资增幅较大。

大数据之所以被寄予厚望，是因为数据已经逐渐成为企业的核心竞争力，通过分析、挖掘数据的价值，企业可提前获知客户需求，预测其消费习惯和趋势。让管理者的一切决断都有据可依，不再盲目，降低企业风险。

近两年，数字化转型浪潮席卷各行各业，越来越多的传统行业开始认识到数据的价值。Informatica 前主席兼首席执行官苏哈比·阿巴斯曾坦言，信息时代唯一最有价值的资产就是数据，想要更好地了解客户、提高企业运营效率及业务灵活度都离不开数据的支撑。

据第三方机构预测，到 2020 年，每一位互联网用户每日就能产生 1.5GB 的流量，一家智能工厂每天将产生 1PB 的数据，而云视频服务提供商每日则将产生高达 750PB 的视频数据。

可见，未来数据规模将达到前所未有的数量级，企业对于数据的管理需求也将极大的提升，对于大数据人才更是如此。

在去年（2017），CSDN 做了一次开发者大调查，调查结果显示，企业构建大数据平台面临的主要问题是人才的缺失。当然，大数据应用规划与技术选型也是困扰企业的现实问题。

但初期接触大数据的朋友，往往比较迷茫，大数据包含的技术繁多，常见的框架非常多，如 Hadoop、Spark、Storm、Scikit-learn、Mahout、TensorFlow 等等，究竟应该从哪里学起，对自身的职业生涯更有帮助呢？

对此，笔者还真不敢乱说，毕竟专业的事情必须交给专业的技术大牛来解答更稳妥。

而由 CSDN 学院精心打造的《大数据就业训练营》由楚门智能数据学院创始人钱老师亲自带队，为想进入大数据行业的程序员们倾情献上，大数据就业特训课程，将可以帮助想学习大数据技术的学生攀升事业的高峰。

课程简介

该课程首推业界最先进技术标准，引领行业技术更新：Hadoop3.0、Hive2.0、HBase1.0、Storm1.0、Spark2.2 等。完整项目贯穿整个教学体系，提供独家大数据云实验室环境，通过实验室感受 TB 级数据分析效果。并有持续 ETL 流程，定时 ETL 流程，多业务并行计算，业务协同管理等场景，做到真实演练。让学员更加深刻体会大数据的独特魅力。

你可以学到

在巨大的数据集中进行筛选的最好工具是什么?通过和数据骇客的交流，我们知道了他们用于硬核数据分析最喜欢的语言和工具包。

180222100764701.jpg

R语言

在这些语言名单中，如果R语言排第二，那就没其他能排第一。自1997年以来，作为昂贵的统计软件，如Matlab和SAS的免费替代品，它渐渐风靡全球。

在过去的几年时间中，R语言已经成为了数据科学的宠儿——数据科学现在不仅仅在书呆子一样的统计学家中人尽皆知，而且也为华尔街交易员，生物学家，和硅谷开发者所家喻户晓。各种行业的公司，例如Google，Facebook，美国银行，以及纽约时报都使用R语言，R语言正在商业用途上持续蔓延和扩散。

R语言有着简单而明显的吸引力。使用R语言，只需要短短的几行代码，你就可以在复杂的数据集中筛选，通过先进的建模函数处理数据，以及创建平整的图形来代表数字。它被比喻为是Excel的一个极度活跃版本。

R语言最伟大的资本是已围绕它开发的充满活力的生态系统：R语言社区总是在不断地添加新的软件包和功能到它已经相当丰富的功能集中。据估计，超过200万的人使用R语言，并且最近的一次投票表明，R语言是迄今为止在科学数据中最流行的语言，被61%的受访者使用(其次是Python，39%)。

此外，它的身影也渐渐出现在了华尔街。以前，银行分析师会全神贯注于Excel文件直到深夜，但现在R语言被越来越多地用于金融建模R，特别是作为一种可视化工具，Niall O’Connor，美国银行的副总裁如是说。 “R语言使我们平凡的表格与众不同，”他说。

R语言的日渐成熟，使得它成为了数据建模的首选语言，虽然当企业需要生产大型产品时它的能力会变得有限，也有的人说这是因为它的地位正在被其他语言篡夺。

“R更适合于做一个草图和大概，而不是详细的构建，”Michael Driscoll，Metamarkets的首席执行官说。 “你不会在谷歌的网页排名以及Facebook的朋友推荐算法的核心找到R语言。工程师会用R语言做原型，然后移交给用Java或Python写的模型。”

话说回来，早在2010年，Paul Butler就以R语言打造了全球的Facebook地图而著名，这证明了该语言丰富的可视化功能。尽管他现在已经不像以前那样频繁地使用R语言了。

R正在一点点地过时，因为它的缓慢和处理大型数据集的笨重，那么，他使用什么代替呢?请继续阅往下看。

Python

如果说R语言是一个神经质又可爱的高手，那么Python是它随和又灵活的表兄弟。作为一种结合了R语言快速对复杂数据进行挖掘的能力并构建产品的更实用语言，Python迅速得到了主流的吸引力。Python是直观的，并且比R语言更易于学习，以及它的生态系统近年来急剧增长，使得它更能够用于先前为R语言保留的统计分析。

这是这个行业的进步。在过去的两年时间中，从R语言到Python已经发生了非常明显的转变，在数据处理中，在规模和复杂性之间往往会有一个权衡，于是Python成为了一种折中方案。IPython notebook和NumPy可以用作轻便工作的一种暂存器，而Python可以作为中等规模数据处理的强大工具。丰富的数据社区，也是Python的优势，因为可以提供了大量的工具包和功能。

美国银行使用Python在银行的基础架构中构建新的产品和接口，同时也用Python处理财务数据。Python广泛而灵活，因此人们趋之若鹜。

不过，它并非最高性能的语言，只能偶尔用于大规模的核心基础设施，Driscoll这样说道。

Julia

虽然当前的数据科学绝大多数是通过R语言，Python，Java，MatLab和SAS执行的。但依然有其他的语言存活于夹缝中，Julia就是值得一看的后起之秀。

业界普遍认为Julia过于晦涩难懂。但数据骇客在谈到它取代R和Python的潜力时会不由得眉飞色舞。Julia是一种高层次的，极度快速的表达性语言。它比R语言快，比Python更可扩展，且相当简单易学。

它正在一步步成长。最终，使用Julia，你就能够办到任何用R和Python可以做到的事情，但是至今为止，年轻人对Julia依然犹豫不前。Julia数据社区还处于早期阶段，要能够和R语言和Python竞争，它还需要添加更多的软件包和工具。

虽然年轻，但它正在掀起浪潮并且非常有前途，

JAVA

Java，以及基于Java的框架，被发现俨然成为了硅谷最大的那些高科技公司的骨骼支架。 如果你去看Twitter，LinkedIn和Facebook，那么你会发现，Java是它们所有数据工程基础设施的基础语言。

Java不能提供R和Python同样质量的可视化，并且它并非统计建模的最佳选择。但是，如果你移动到过去的原型制作并需要建立大型系统，那么Java往往是你的最佳选择。

hadoop 和 Hive

一群基于Java的工具被开发出来以满足数据处理的巨大需求。Hadoop作为首选的基于Java的框架用于批处理数据已经点燃了大家的热情。Hadoop比其他一些处理工具慢，但它出奇的准确，因此被广泛用于后端分析。它和Hive——一个基于查询并且运行在顶部的框架可以很好地结对工作。

Scala

Scala是另一种基于Java的语言，并且和Java相同的是，它正日益成为大规模机器学习，或构建高层次算法的工具。它富有表现力，并且还能够构建健壮的系统。

Java就像是建造时的钢铁，而Scala则像黏土，因为你之后可以将之放入窑内转变成钢铁。

Kafka 和 Storm

那么，当你需要快速实时的分析时又该怎么办呢?Kafka会成为你的好朋友。它大概5年前就已经出现了，但是直到最近才成为流处理的流行框架。

Kafka，诞生于LinkedIn内部，是一个超快速的查询消息系统。Kafka的缺点?好吧，它太快了。在实时操作时会导致自身出错，并且偶尔地会遗漏东西。

有精度和速度之间有一个权衡， “因此，硅谷所有的大型高科技公司都会使用两条管道：Kafka或Storm用于实时处理，然后Hadoop用于批处理系统，此时虽然是缓慢的但超级准确。”

Storm是用Scala编写的另一个框架，它在硅谷中因为流处理而受到了大量的青睐。它被Twitter纳入其中，勿庸置疑的，这样一来，Twitter就能在快速事件处理中得到巨大的裨益。

鼓励奖

MatLab

MatLab一直以来长盛不衰，尽管它要价不菲，但它仍然被广泛使用在一些非常特殊的领域：研究密集型机器学习，信号处理，图像识别，仅举几例。

Octave

Octave和MatLab非常相似，但它是免费的。不过，它在学术性信号处理圈子之外很少见到。

GO

GO是另一个正在掀起浪潮的后起之秀。它由Google开发，从C语言松散地派生，并在构建健壮基础设施上，正在赢得竞争对手，例如Java和Python的份额。

如今，大数据日益成为研究行业的重要研究目标。面对其高数据量、多维度与异构化的特点，以及分析方法思路的扩展，传统统计工具已经难以应对。

工欲善其事，必先利其器。众多新的软件分析工具作为深入大数据洞察研究的重要助力， 也成为数据科学家所必须掌握的知识技能。

然而，现实情况的复杂性决定了并不存在解决一切问题的终极工具。实际研究过程中，需要根据实际情况灵活选择最合适的工具(甚至多种工具组合使用)，才能更好的完成研究探索。

为此，本文针对研究人员(非技术人员)的实际情况，介绍当前大数据研究涉及的一些主要工具软件(因为相关软件众多，只介绍常用的)，并进一步阐述其应用特点和适合的场景，以便于研究人员能有的放矢的学习和使用。

-基础篇-

01 传统分析/商业统计

Excel、SPSS、SAS 这三者对于研究人员而言并不陌生。

Excel作为电子表格软件，适合简单统计(分组/求和等)需求，由于其方便好用，功能也能满足很多场景需要，所以实际成为研究人员最常用的软件工具。其缺点在于功能单一，且可处理数据规模小(这一点让很多研究人员尤为头疼)。这两年Excel在大数据方面(如地理可视化和网络关系分析)上也作出了一些增强，但应用能力有限。

SPSS(SPSS Statistics)和SAS作为商业统计软件，提供研究常用的经典统计分析(如回归、方差、因子、多变量分析等)处理。SPSS轻量、易于使用，但功能相对较少，适合常规基本统计分析

SAS功能丰富而强大(包括绘图能力)，且支持编程扩展其分析能力，适合复杂与高要求的统计性分析。

上述三个软件在面对大数据环境出现了各种不适，具体不再赘述。但这并不代表其没有使用价值。如果使用传统研究方法论分析大数据时，海量原始数据资源经过前期处理(如降维和统计汇总等)得到的中间研究结果，就很适合使用它们进行进一步研究。

02 数据挖掘

数据挖掘作为大数据应用的重要领域，在传统统计分析基础上，更强调提供机器学习的方法，关注高维空间下复杂数据关联关系和推演能力。代表是SPSS Modeler(注意不是SPSS Statistics，其前身为Clementine)

SPSS Modeler的统计功能相对有限, 主要是提供面向商业挖掘的机器学习算法(决策树、神经元网络、分类、聚类和预测等)的实现。同时，其数据预处理和结果辅助分析方面也相当方便，这一点尤其适合商业环境下的快速挖掘。不过就处理能力而言，实际感觉难以应对亿级以上的数据规模。

另一个商业软件 Matlab也能提供大量数据挖掘的算法，但其特性更关注科学与工程计算领域。而著名的开源数据挖掘软件Weka，功能较少，且数据预处理和结果分析也比较麻烦，更适合学术界或有数据预处理能力的使用者。

-中级篇-

01 通用大数据可视化分析

近两年来出现了许多面向大数据、具备可视化能力的分析工具，在商业研究领域，TableAU无疑是卓越代表。

TableAU的优势主要在于支持多种大数据源/格式，众多的可视化图表类型，加上拖拽式的使用方式，上手快，非常适合研究员使用，能够涵盖大部分分析研究的场景。不过要注意，其并不能提供经典统计和机器学习算法支持， 因此其可以替代Excel, 但不能代替统计和数据挖掘软件。另外，就实际处理速度而言，感觉面对较大数据(实例超过3000万记录)时，并没有官方介绍的那么迅速。

02 关系分析

关系分析是大数据环境下的一个新的分析热点(比如信息传播图、社交关系网等)，其本质计算的是点之间的关联关系。相关工具中，适合数据研究人员的是一些可视化的轻量桌面型工具，最常用的是Gephi。

Gephi是免费软件，擅长解决图网络分析的很多需求，其插件众多，功能强且易用。我们经常看到的各种社交关系/传播谱图, 很多都是基于其力导向图(Force directed graph)功能生成。

但由于其由java编写，限制了处理性能(感觉处理超过10万节点/边时常陷入假死)，如分析百万级节点(如微博热点传播路径)关系时，需先做平滑和剪枝处理。 而要处理更大规模(如亿级以上)的关系网络(如社交网络关系)数据，则需要专门的图关系数据库(如GraphLab/GraphX)来支撑了，其技术要求较高，此处不再介绍。

03 时空数据分析

当前很多软件(包括TableAU)都提供了时空数据的可视化分析功能。但就使用感受来看，其大都只适合较小规模(万级)的可视化展示分析，很少支持不同粒度的快速聚合探索。

如果要分析千万级以上的时空数据，比如新浪微博上亿用户发文的时间与地理分布(从省到街道多级粒度的探索)时，推荐使用 NanoCubes(http://nanocubes/)。该开源软件可在日常的办公电脑上提供对亿级时空数据的快速展示和多级实时钻取探索分析。下图是对芝加哥犯罪时间地点的分析，网站有更多的实时分析的演示例子。

04 文本/非结构化分析

基于自然语言处理(NLP)的文本分析，在非结构化内容(如互联网/社交媒体/电商评论)大数据的分析方面(甚至调研开放题结果分析)有重要用途。其应用处理涉及分词、特征抽取、情感分析、多主题模型等众多内容。

由于实现难度与领域差异，当前市面上只有一些开源函数包或者云API(如BosonNLP)提供一些基础处理功能，尚未看到适合商业研究分析中文文本的集成化工具软件(如果有谁知道烦请通知我)。在这种情况下，各商业公司(如HCR)主要依靠内部技术实力自主研发适合业务所需的分析功能。

-高级篇-

前面介绍的各种大数据分析工具，可应对的数据都在亿级以下，也以结构化数据为主。当实际面临以下要求： 亿级以上/半实时性处理/非标准化复杂需求，通常就需要借助编程(甚至借助于Hadoop/Spark等分布式计算框架)来完成相关的分析。 如果能掌握相关的编程语言能力，那研究员的分析能力将如虎添翼。

当前适合大数据处理的编程语言，包括：前面的内容介绍了面向大数据研究的不同工具软件/语言的特点和适用场景。 这些工具能够极大增强研究员在大数据环境下的分析能力，但更重要的是研究员要发挥自身对业务的深入理解，从数据结果中洞察发现有深度的结果，这才是最有价值的。

End.

来源：网络大数据

最近有不少初学者来问到，学习大数据，学习spark公司主要使用那些语言编写，每听到这一个问题，起码还是很不错的，证明你已经开始学习大数据了，并了解大数据Spark是可以使用多种语言来实现开发的，那就是Java、Scala、Python和R语言都可以使用，那简单分析一下：

首先Java，是现阶段使用较为居多，为什么呢？是由于玩Java转到大数据人数太多人的缘故，所以很多人都喜欢使用Java，也有的是由于公司为了维护和人才的使用考虑，会选择使用Java语言开发，也有的是因为平台会有Hadoop的MapReduce老程序与Spark任务混合使用，为了平台统一开发语言而选择Java，也有的公司为了对接外面项目而选择通用性比较强的Java语言开发。

Scala，也可以是说大数据Spark开发的主力语言了，因为当你学习Spark后，就一定会对Scala有进一步的研究与学习，因为为了学好Spark技术你需要研究源码、需要更简洁快速开发项目。从而Spark大数据开发语言Scala是最多。

Python，在机器学习、AI的崛起，也有很多人青睐的语言了；还有一波人喜欢，那就是大数据分析人员，在SQL与spark SQL 使用Python来进行脚本调度。

R，这个现在小编也是用不到，就不多说了，有了解大神可以给补充，留言评论，感谢！

本篇分析只是过人体验，如有任何不妥，欢迎留言修正，感谢感谢！

欢迎关注，获取更多资料

　　【IT168 评论】“什么样的应用程序是一个伟大的应用程序呢?”这个问题困扰行业专家多时，大家各执己见一直到现在都还没有定论。

　　如果要说“一个成功的移动应用程序开发的关键因素是什么?”那么，大数据和数据分析的贡献不可磨灭。每天客户都会产生数百万字节的数据被移动应用程序开发者利用，用户不仅需要及时了解他们的移动体验和实时情景，而且还要在多个设备上都享受到其服务，并为其决策提供足够的支撑。

　　使用和理解大数据

　　目前，用户产生的数据量已经超过PB级，原始数据或信息的数量达到了数个ZB级，并且还在增长，未来数据量预计可能会达到YB级。

　　事实上，之前创建的全部数据量都比现在产生的非结构化数据量要小，所以借助高级分析将这些大量数据转换为相关信息是极具价值的。在这篇文章中，我们将关注大数据如何为移动应用程序开发奠定坚实的基础，以及如何影响企业的营销结构。

　　制作客户驱动的移动应用程序

　　一个好的应用程序必须要易于使用、快速、无缺陷，极具吸引力，最重要的是，它必须能够尽可能地满足用户的需求。因此，使用大数据分析仔细分析客户，可以开发更具可用性的应用程序，并且能够真正满足客户的需求。

　　创新和优秀的应用程序的最佳想法的主要来自于用户体验。通过了解客户在使用应用程序时的具体行为及其与应用程序的交互方式，移动应用程序开发人员可以实现增强现有应用程序的解决方案，并为新应用程序制定以用户为导向的理念。

　　大数据加速用户体验分析

　　如前所述，应用程序开发需要全面分析客户体验。大数据概括了用户行为的全部细节，可以将用户体验融入到应用程序开发中，从而指出生动的点。然后，通过分析他们对应用程序的集体行为来传达用户的完整需求。

　　移动应用程序开发人员可以通过分析类似的应用程序背后的大数据，从而创建出更符合用户想法的新的应用程序。

　　例如，如果开发者想要创建类似健康和健身的应用程序，则可以分析者其中评分最高的应用程序，诸如Argus，Runkeeper，Fitstar Personal Trainer等等，并了解用户真正的需求。然后再加上计步器、卡路里计数器等创新功能，更好的服务目标客户。

　　营销的新时代

　　商业智能和大数据让基于知识的移动应用程序变得有径可循，所以一些产品人员就尝试找到电子邮件平台和移动应用程序之间的链接，例如建立营销云电子邮件工作室，敏捷数据信息平台等等。

　　移动应用程序利用大数据分析的能力对于以专业级别定位用户的公司至关重要，从业务分析到运营智能再到市场营销都能提供价值。

　　苹果公司采用供应链管理功能来推动其营销优势，苹果公司的移动应用程序开发人员可以花四天时间将任何产品组装到供应链中。虽然并不是所有的公司都像苹果，但是我们也可以基于此做出一些努力：

　　·通过关联组合当前事件，避免产品受到外部条件的较大影响。

　　·从各种供应链点提取尽可能多的信息和数据。

　　·通过应用分析来预测未来

　　·在丰富的移动界面中提供完整的用户体验地图。

　　·大数据是未来应用的关键一环

　　由于大量用户转向平板电脑和智能手机，移动应用市场预计到2020年将超过1000亿美元。因此，开发更好的移动应用显然是数字技术的未来。

　　与计算机应用程序相比，移动应用程序的波动性更大。简单易操作使其广受用户欢迎。分析大数据是同等获取信息的最有效方式，所以企业在这方面要多多投入。

　　正如我们刚刚看到的，大数据对于未来移动应用程序的开发非常重要。分析专业人士发现通过新技术来分析大量未排序的数据，会在这其中发现很多有趣的新功能，为用户提供更理想和难忘的体验。

从最近的Java调查回顾，以确定哪些大型数据工具在Java开发人员中受欢迎。

这里有一篇关于发布我最近跑的Java调查结果的一篇文章，其中我问开发人员在过去12个月中使用的工具/框架。响应者可以选择从预定义的选项列表中选择其他选项，并提供自己的选择。在这篇文章中，我们将介绍大数据工具。

下边有一个工具列表包含了Java开发者常用工具：

1. 语言：

2. web框架

3. 应用服务器

4. SQL数据访问工具

5. SQL数据库

6. 大数据

7. 构建工具

8. 云提供商

现在来看看大数据。根据维基百科，大数据是传统数据处理应用程序不足的数据集的广泛术语。

在许多情况下，使用SQL数据库来存储/检索数据将会很好。在其他一些情况下，它不会缩放或者有更好的工具用于我们的目的。这一切都取决于用例。

现在我们来讨论用于存储/处理数据的不同的非SQL工具 - NoSQL数据库，内存缓存，全文搜索引擎，实时流，图形数据库等。

大数据 - 调查结果

· MongoDB - 一个受欢迎的跨平台文档导向数据库。

· Elasticsearch - 为云构建的分布式RESTful搜索引擎。

· Cassandra - 最初在Facebook开发的开源分布式数据库管理系统，旨在处理大量商品服务器中的大量数据，提供高可用性，无单点故障。

· Redis - 一个开源（BSD许可），内存数据结构存储，用作数据库，缓存和消息代理。

· Hazelcast - 基于Java的开源内存数据网格。

· EHCache - 广泛使用的开源Java分布式缓存，用于通用缓存，Java EE和轻量级容器。

· Hadoop - 一个用Java编写的开源软件框架，用于从商品硬件构建的计算机集群上的分布式存储和分布式处理非常大的数据集。

· Solr - 从Apache Lucene 项目开发的一个用Java编写的开源企业搜索平台 。

· Spark - Apache Software Foundation中最活跃的项目，即开源集群计算框架。

· Memcached - 通用分布式内存缓存系统。

· Apache Hive - 在Hadoop之上提供类似SQL的层。

· Apache Kafka - 最初在LinkedIn开发的高吞吐量，分布式，发布订阅消息系统。

· Akka - 用于在JVM上构建高度并发，分布式和弹性的消息驱动应用程序的工具包和运行时。

· HBase 是一种开源的非关系型分布式数据库，以Google的BigTable为模型，以Java编写并运行在HDFS之上。

· Neo4j - Java中实现的开源图形数据库。

· CouchBase - 一种开源的，分布式的面向交互式应用程序的NoSQL面向文档的数据库。

· Apache Storm - 开源分布式实时计算系统。

· CouchDB - 一种使用JSON存储数据的开源的面向文档的NoSQL数据库。

· Oracle Coherence - 一种内存数据网格解决方案，使组织能够通过快速访问经常使用的数据来预测性地扩展任务关键型应用程序。

· Titan - 可扩展的图形数据库，经过优化，用于存储和查询包含分布在多机器集群中的数百亿顶点和边缘的图形。

· 亚马逊DynamoDB - 一个快速灵活的完全管理的NoSQL数据库服务，适用于所有需要一致，单位毫秒级延迟的应用程序。

· 亚马逊Kinesis - 在AWS上实时流式传输数据的平台。

· Datomic - 一个完全事务性，云就绪的分布式数据库，用Clojure编写。

我们公司的一个java开发在学Hadoop，别人给了他一套视频，我看了看从基础入门、生态圈组件、商业项目讲解都挺详细的。需要视频的可以到鹏you圈留言，你可以通过TBanna521找到。

目前大数据工具林林总总，能解决的问题各方各面，但是在真正落地到企业的时候却往往因使用问题遇到障碍。为此星环针对使用体验上的需求打造大数据开发套件Transwarp Studio，深化大数据技术的应用，在数字化浪潮下推动大数据技术对产业的赋能。

上一篇文章，玩转大数据开发工具--上篇，讲解了OLAP Cube模型创建工具Rubik在5.1中的提升点，以及新成员报表工具Pilot的功能和特征。本文将继续介绍Studio 5.1中的三个工具：高吞吐低延迟的日志存储分析工具Milano、界面化的全新数据流同步工具Transporter、以及功能再升级的工作流引擎Workflow。

日志存储分析 Milano

Milano是Studio家族的第六个新成员，提供集群日志分析服务，既可以用于TDH平台日志分析，也可以直接作为客户应用的日志处理平台使用。Milano采用Filebeat+Kafka+Logtash+Elasticsearch+Kibana的架构，为用户提供便利的接口实现日志检索和统计分析，以及基于日志的预警功能，克服了传统方式在大规模集群中做高级统计分析的障碍，并实现可视化的监测。

Milano提供优秀的吞吐量性能，以及低延迟的响应；保证水平可扩展，且不丢数据；同时提供可靠的安全保护，谨防系统日志的泄漏。因此，其技术优势可以总结为以下三点：全链路高吞吐、全链路安全管控、全链路高可用。

全链路高吞吐

Milano的构成组件之中的Kafka和Elasticsearch本身具备高吞吐可扩展特性，可以根据压力灵活扩展。Milano单节点的每秒日志收集量可达15000条，3节点的Milano监控集群日志量每日收集可以达到10亿条。同时，Milano保障低延迟的入库，从日志产生到入库仅需10秒内的时间间隔。

全链路安全管控

Milano在日志收集、传输、分析等各个环节上实现安全管控。Kafka和Elasticsearch的数据通信都经过Kerberos加密，保障数据在传输过程的安全性。每个租户的数据只允许进入授权的Kafka Topic或Elasticsearch Index，使各个租户日志之间相互隔离，确保数据隐私。此外，对于可视化的监控界面Kibana，每个用户都拥有自己的Kibana实例，通过LDAP实现安全认证。

全链路高可用

Milano的高可用性通过以下两方面保证。首先，Kafka、Elasticsearch自身提供高可用保证，其他无状态的组件通过Kubernetes多实例部署的方式保证高可用。其次，Kafka、Elasticsearch、Filebeat等服务自身都提供状态监控，配合告警服务，可保证数据高可用，以及数据不丢不重。

数据流同步 Transporter

Transporter是一款数据流控制工具，用于控制数据在数据源之间的流转和同步。Transporter随TDH 5.0推出，但当时采用文件定义和命令的方式实现数据流转的设计和实现，对于没有技术基础的用户比较难上手。因此我们投入Transporter界面化的工作，使之在5.1中正式上线。

Transporter 5.1以图形化操作取代配置文件编写，极大提升数仓构建效率。Transporter基于Web提供数据流设计和控制，允许用户自助设计数据流转的业务规则，提供数据实时同步、ETL、卸数功能。

近实时同步

Transporter可对接Oracle GoldenGate、DataStage等ETL工具，并近实时的将数据同步进Inceptor；支持读取MySQL和TxSQL日志，并近实时同步到数据仓库，同时支持分Shard模式的日志同步；提供分钟级的数据同步方案。

图形化ETL

Transporter允许用户在设计面板上通过拖拽图形化控件和配置参数，将数据源和各种数据转换操作定义在数据流转流程中。同时支持丰富的数据源，除了可以对接Inceptor外，还支持外部数据源JDBC、CSV文本和定宽文件。

卸数功能

Transporter提供从Inceptor卸数的服务，将数据以CSV文件格式导出并存放在HDFS上。

工作流设计 Workflow

Workflow作为工作流引擎，使工作流的触发与执行被自动化，大幅简化工作流调度设计与管理工作，图形化的设计方式让作业任务之间的逻辑关系更清晰，业务人员可以快速上手。Workflow在Studio 5.1中得到进一步升级，设计界面更丰富，主要的提升点有：增加工作组概念、界面化调度周期设置、丰富监控页面内容。

新增工作组

Workflow 5.1增加了工作组的概念，支持将任务以组为单位进行组合设计，实现调度和监控。工作组提高了工作流设计的逻辑性，使工作流管理更方便。

调度周期

Workflow 5.1开始实现交互式的表达式设计页面，用于配置调度周期，并提供多周期的调度支持。

升级的监控页面

Workflow 5.1在监控页面上新增一级子页面，提供更多的工作流监控历史信息。同时，在工作流监控页的详情页面中，用户可以查看某段指定时间区间的工作流任务执行详情。

结语

大数据开发套件的价值在于，它可以切合大数据开发需求，消除大数据开发工具在用户体验上的痛点，让大数据产品就像日常工具一样，不论我们是否懂它内部的技术原理，拿到它或者经过简单的学习就可以上手使用。今后我们会继续投入提升Transwarp Studio的各项能力，构建完善的大数据生态体系，使用户能够自主打造自己的大数据应用。

点击或回复关键词，查看相关内容

公司

简介 | 星环科技成长大事记

投资 | 星环科技获腾讯领投2.35亿C轮融资，与腾讯云达成战略合作

产品

产品 | 星环的划时代版本-Transwarp Data Hub 5.0

TDH社区版 | TDH社区版提供官方下载

评测 | 大数据产品最新测试基准看哪家(TPC-H or TPC-DS)？

流式计算 | 用Slipstream构建复杂事件处理应用

Holodesk | 业界最强的SQL引擎Inceptor为何这么快？

培训 | 学完这些课程，你也是大数据专家了！

认证考试 | 数据中心联盟—星环联合认证体系首次认证考试报名中

技术

技术 | 原创技术干货大合集！

技术支持 | 最完整的星环技术支持体系

评测 | 大数据产品最新测试基准看哪家(TPC-H or TPC-DS)？

TED视频 | TEDxLujiazui精彩视频：【大数据 大趋势】

白话大数据 | 白话大数据合集

案例

银行 | 河南农信：数据辅助决策，决策引领创新

证券 | 中泰证券：剑指大数据处理 多券商革新IT架构

智能金融 | 星环科技发布证券业大数据战略规划纲要(白皮书)

运营商 | 运营商的新方向-运用Hadoop技术将大数据资产变现

交通 | 大数据在智慧高速中的创新应用

物流 | 星环Hadoop发行版助快递业迎战“双十一”

邮政 | 中国邮政大数据平台建设

税务 | 大数据提升税务系统核心能力

审计 |让数据成为竞争力

视频监控 | Hadoop大数据在实时视频监控的应用场景

广电 | Hadoop企业级应用新添重磅案例

电力 | 华南某市供电局全景可视化大数据平台案例

能源 | 厉害了，我的营销大数据！

智能工厂 | 大数据技术助力中国石化智能工厂

农业 | 农业大数据的研究与实践

医药 | 医药产业链大数据前沿探讨

速记

【速记】河南农信 牛玲玲：数据辅助决策，决策引领创新

【速记】数起科技 李明国：让数据成为竞争力

【速记】天士力 刘晓煜：医药产业链大数据前沿探讨

【速记】国家农业信息化工程技术研究中心 陈天恩：农业大数据的研究与实践

【速记】同济大学教授 王伟：同济-星环“数据科学与大数据实践平台”建设

【速记】第一创业证券 瞿任雄：基于星环TDH大数据平台构建新一代券商数据中心

【速记】南方基金 屈磊：基于TDH数据中心大数据平台建设

【速记】中泰证券 何波：基于机器学习的场外配资自动识别系统

　考虑到现有技术解决方案的复杂性与多样化，企业往往很难找到适合自己的大数据收集与分析工具。然而，混乱的时局之下已经有多种方案脱颖而出，证明其能够帮助大家切实完成大数据分析类工作。下面我们将整理出一份包含十款工具的清单，从而有效压缩选择范畴。

　　数据已经成为现代化企业中最为重要的宝贵资源。一切决策、策略或者方法都需要依托于对数据的分析方可实现。随着“大数据分析”逐步替代其上代版本，即“商务智能”，企业正面临着一个更加复杂、且商业情报规模更为庞大的新时代。

　　考虑到现有技术解决方案的复杂性与多样化，企业往往很难找到适合自己的大数据收集与分析工具。然而，混乱的时局之下已经有多种方案脱颖而出，证明其能够帮助大家切实完成大数据分析类工作。下面我们将整理出一份包含十款工具的清单，从而有效压缩选择范畴。

　　1. OpenRefine

　　这是一款高人气数据分析工具，适用于各类与分析相关的任务。这意味着即使大家拥有多川不同数据类型及名称，这款工具亦能够利用其强大的聚类算法完成条目分组。在聚类完成后，分析即可开始。

　　2.hadoop

　　大数据与Hadoop可谓密不可分。这套软件库兼框架能够利用简单的编程模型将大规模数据集分发于计算机集群当中。其尤为擅长处理大规模数据并使其可用于本地设备当中。作为Hadoop的开发方，Apache亦在不断强化这款工具以提升其实际效果。

　　3. Storm

　　同样来自Apache的Storm是另一款伟大的实时计算系统，能够极大强化无限数据流的处理效果。其亦可用于执行多种其它与大数据相关的任务，具体包括分布式RPC、持续处理、在线机器学习以及实时分析等等。使用Storm的另一大优势在于，其整合了大量其它技术，从而进一步降低大数据处理的复杂性。

　　4. Plotly

　　这是一款数据可视化工具，可兼容JavaScript、MATLAB、Python以及R等语言。Plotly甚至能够帮助不具备代码编写技能或者时间的用户完成动态可视化处理。这款工具常由新一代数据科学家使用，因为其属于一款业务开发平台且能够快速完成大规模数据的理解与分析。

　　5. Rapidminer

　　作为另一款大数据处理必要工具，Rapidminer属于一套开源数据科学平台，且通过可视化编程机制发挥作用。其功能包括对模型进行修改、分析与创建，且能够快速将结果整合至业务流程当中。Rapidminer目前备受瞩目，且已经成为众多知名数据科学家心目中的可靠工具。

　　6. Cassandra

　　Apache Cassandra 是另一款值得关注的工具，因为其能够有效且高效地对大规模数据加以管理。它属于一套可扩展NoSQL数据库，能够监控多座数据中心内的数据并已经在Netflix及eBay等知名企业当中效力。

　　7. Hadoop MapReduce

　　这是一套软件框架，允许用户利用其编写出以可靠方式并发处理大规模数据的应用。MapReduce应用主要负责完成两项任务，即映射与规约，并由此提供多种数据处理结果。这款工具最初由谷歌公司开发完成。

　　8. Bokeh

　　这套可视化框架的主要目标在于提供精致且简洁的图形处理结果，用以强化大规模数据流的交互能力。其专门供Python语言使用。

　　9. Wolfram Alpha

　　这是一套搜索引擎，旨在帮助用户搜索其需要的计算素材或者其它内容。举例来说，如果大家输入“Facebook”，即可获得与Facebook相关的HTML元素结构、输入解释、Web托管信息、网络统计、子域、Alexa预估以及网页信息等大量内容。

　　10. Neo4j

　　其官方网站将这款工具称为图形数据库技术的下一场革命。这种说法在一定程度上并不夸张，因为此套数据库使用数据间的关系以操作并强化性能表现。Neo4j目前已经由众多企业用于利用数据关系实现智能应用，从而帮助自身保持市场竞争优势。

End.

如果对软件测试感兴趣，想了解更多的软件测试知识，请大家关注“51Testing软件测试网”百家号。

前言

大数据时代，中国IT环境也将面临重新洗牌，不仅仅是企业，更是程序员们转型可遇而不可求的机遇。国内大多数大型互联网公司的程序员被称作研发工程师，但实际上国内几乎没有研发项目，只能叫做开发。开发程序员的工作大多是重复性劳动，容易产生疲惫感，薪资在工作2-5年内就达到了一个峰值，再要提升就比较困难，这样就导致了很多程序员最终转行做了其他行业。

首先JAVA的精密，强大，拥有其它语言不可替代的性能和可维护性，早已经是成为最受欢迎的编程语言之一，很多人想进入IT行业，首选的第一门语言就是JAVA。但是，在未来10年肯定是大数据的天下，人工智能的爆发，将会有大量企业会进入大数据领域，而从JAVA程序员转JAVA大数据就会有天然的优势，因为目前大数据的架构基本都是用JAVA语言完成，未来10年，JAVA大数据的需求量会越来越大。

我们都知道Java语言在编程中的地位不言而喻，近年来，我们都知道很多学java的朋友，在java的基础上开始学习以hadoop为首的大数据方向的语言，本文我就来分析一下为什么越来越多的java工程师开始转向hadoop？

Hadoop是Apache软件基金会的顶级开源项目，是由原雅虎公司Doug Cutting根据Google发布的学术论文而创建的开源项目。Doug Cutting被称为Hadoop之父，他打造了目前在云计算和大数据领域里如日中天的Hadoop。

Hadoop的发音是[hdu:p]，Hadoop 这个名字不是一个缩写，而是一个虚构的名字。Doug Cutting解释Hadoop的得名：“这个名字是我孩子给一个棕黄色的大象玩具命名的。我的命名标准就是简短、容易发音和拼写，没有太多的意义，并且不会被用于别处，小孩子恰恰是这方面的高手”。

Apache Hadoop官方定义是：Hadoop项目是一套可靠的，可扩展的，支持分布式计算的开源软件。

下面我们来分析一下大数据在未来的优势：

市场需求量大

经常调查显示，去年有很多大小互联网公司都在布局大数据。而目前大数据方面的人才依旧十分紧缺，比如大数据生态Spark需要的Scala工程师。基于Java和Scala等技术密切的关系，有些大数据公司会瞄准JAVA工程师，通过培养转而成为大数据工程师。

如果你先一步在学习JAVA的基础上再学习一些大数据的知识，那么将来你在公司的竞争力会明显大于一般的JAVA工程师，甚至可能提前一步进军大数据行列。

就业方向广泛

JAVA大数据的人才以后可以进行的工作有很多种，下面举几个例子：

（1）大数据开发工程师

基础大数据服务平台，大中型的商业应用包括我们常说的企业级应用(主要指复杂的大企业的软件系统)、各种类型的网站等。负责搭建大数据应用平台以及开发分析应用程序。

（2）大数据分析师

负责数据挖掘工作，运用Hive、Hbase等技术，专门对从事行业数据搜集、整理、分析，并依据数据做出行业研究、评估和预测的专业人员。以及通过使用新型数据可视化工具如Spotifre，Qlikview和Tableau，对数据进行数据可视化和数据呈现。

（3）Android工程师

Android是一种基于Linux的自由及开放源代码的操作系统，其源代码是Java。所以市场上见到的手机系统例如MIUI，阿里云，乐蛙等，都是修改源代码再发行的。Java做安卓不单单是指系统，还有APP对于更多的开发人员来说，他们更多的时间是花在开发APP上面。

还有很多其它职位比如大数据挖掘等就不一一说明了。

行业起薪高

下面我们用一张图让大家了解一下大数据工程师和java工程师的平均薪资

通过这篇文章我相信大家对JAVA大数据行业都有一点了解，在这个大家都呼吁的大数据时代，转型做JAVA大数据是一个非常好的选择，我相信即使几年以后大数据依旧是一个很好的领域。

目前，编程人员面对的最大挑战就是复杂性，硬件越来越复杂，OS越来越复杂，编程语言和API越来越复杂，我们构建的应用也越来越复杂。根据外媒的一项调查报告，以下列出了Java程序员在过去12个月内一直使用的一些工具或框架，或许会对你有意义。

1、MongoDB--最受欢迎的，跨平台的，面向文档的数据库。

MongoDB是一个基于分布式文件存储的数据库，使用C++语言编写。旨在为Web应用提供可扩展的高性能数据存储解决方案。应用性能高低依赖于数据库性能，MongoDB则是非关系数据库中功能最丰富，最像关系数据库的，随着MongDB 3.4版本发布，其应用场景适用能力得到了进一步拓展。MongoDB的核心优势就是灵活的文档模型、高可用复制集、可扩展分片集群。

2、Elasticsearch --为云构建的分布式RESTful搜索引擎。

ElasticSearch是基于Lucene的搜索服务器。它提供了分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是比较流行的企业级搜索引擎。

3、Cassandra--开源分布式数据库管理系统，最初是由Facebook开发的，旨在处理许多商品服务器上的大量数据，提供高可用性，没有单点故障。

Apache Cassandra是一套开源分布式NoSQL数据库系统。集Google BigTable的数据模型与Amazon Dynamo的完全分布式架构于一身。于2008开源，此后，由于Cassandra良好的可扩展性，被Digg、Twitter等Web 2.0网站所采纳，成为了一种流行的分布式结构化数据存储方案。

4、Redis --开源(BSD许可)内存数据结构存储，用作数据库，缓存和消息代理。

Redis是一个开源的使用ANSI C语言编写的、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。

5、Hazelcast --基于Java的开源内存数据网格。

Hazelcast 是一种内存数据网格 in-memory data grid，提供Java程序员关键任务交易和万亿级内存应用。虽然Hazelcast没有所谓的‘Master’，但是仍然有一个Leader节点(the oldest member)，这个概念与ZooKeeper中的Leader类似，但是实现原理却完全不同。同时，Hazelcast中的数据是分布式的，每一个member持有部分数据和相应的backup数据，这点也与ZooKeeper不同。

6、EHCache--广泛使用的开源Java分布式缓存。主要面向通用缓存、Java EE和轻量级容器。

EhCache 是一个纯Java的进程内缓存框架，具有快速、精干等特点，是Hibernate中默认的CacheProvider。主要特性有：快速简单，具有多种缓存策略;缓存数据有两级，内存和磁盘，因此无需担心容量问题;缓存数据会在虚拟机重启的过程中写入磁盘;可以通过RMI、可插入API等方式进行分布式缓存;具有缓存和缓存管理器的侦听接口;支持多缓存管理器实例，以及一个实例的多个缓存区域;提供Hibernate的缓存实现。

7、Hadoop --用Java编写的开源软件框架，用于分布式存储，并对非常大的数据集进行分布式处理。

用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群进行高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System)，简称HDFS。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，MapReduce则为海量的数据提供了计算。

8、Solr --开源企业搜索平台，用Java编写，来自Apache Lucene项目。

Solr是一个独立的企业级搜索应用服务器，它对外提供类似于Web-service的API接口。用户可以通过http请求，向搜索引擎服务器提交一定格式的XML文件，生成索引;也可以通过Http Get操作提出查找请求，并得到XML格式的返回结果。

9、Spark --Apache Software Foundation中最活跃的项目，是一个开源集群计算框架。

Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些不同之处使 Spark 在某些工作负载方面表现得更加优越，换句话说，Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。

Spark 是在 Scala 语言中实现的，它将 Scala 用作其应用程序框架。与 Hadoop 不同，Spark 和 Scala 能够紧密集成，其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。

10、Memcached --通用分布式内存缓存系统。

Memcached是一套分布式快取系统，当初是Danga Interactive为了LiveJournal所发展的，但被许多软件(如MediaWiki)所使用。Memcached作为高速运行的分布式缓存服务器，具有以下的特点：协议简单，基于libevent的事件处理，内置内存存储方式。

11、Apache Hive --在Hadoop之上提供类似SQL的层。

Hive是一个基于Hadoop的数据仓库平台。通过hive，可以方便地进行ETL工作。hive定义了一个类似于SQL的查询语言，能够将用户编写的SQL转化为相应的Mapreduce程序基于Hadoop执行。目前，已经发布了Apache Hive 2.1.1 版本。

12、Apache Kafka --最初是由LinkedIn开发的高吞吐量，分布式订阅消息系统。

Apache Kafka是一个开源消息系统项目，由Scala写成。该项目的目标是为处理实时数据提供一个统一、高通量、低等待的平台。Kafka维护按类区分的消息，称为主题(topic)。生产者(producer)向kafka的主题发布消息，消费者(consumer)向主题注册，并且接收发布到这些主题的消息。

13、Akka --用于在JVM上构建高并发，分布式和弹性消息驱动应用程序的工具包。

Akka 是一个用 Scala 编写的库，用于简化编写容错的、高可伸缩性的 Java 和 Scala 的 Actor 模型应用。它已经成功运用在电信行业，系统几乎不会宕机。

14、HBase --开放源代码，非关系型，分布式数据库，采用Google的BigTable建模，用Java编写，并在HDFS上运行。

与FUJITSU Cliq等商用大数据产品不同，HBase是Google Bigtable的开源实现，类似Google Bigtable利用GFS作为其文件存储系统，HBase利用Hadoop HDFS作为其文件存储系统;Google运行MapReduce来处理Bigtable中的海量数据，HBase同样利用Hadoop MapReduce来处理HBase中的海量数据;Google Bigtable利用 Chubby作为协同服务，HBase利用Zookeeper作为对应。

15、Neo4j --在Java中实现的开源图形数据库。

Neo4j是一个高性能的NOSQL图形数据库，它将结构化数据存储在网络上而不是表中。它是一个嵌入式的、基于磁盘的、具备完全事务特性的Java持久化引擎。

16、CouchBase --开源分布式的NoSQL面向文档数据库，针对交互式应用程序进行了优化。

如果以前没有NoSQL的使用经验，那么理解couchbase的时候关键有两点：延后写入和松散存储。该产品基于Apache CouchDB，并整合了GeoCouch(一个基于Erlang、紧密集成的地理空间索引系统，可支持LBS应用)。

17、Apache Storm--开源分布式实时计算系统。

Apache Storm 是一个能近实时地在数据之上运行用户代码片段的流式数据处理框架。它实际上是一系列连在一起的管道。通常用于简单的分析任务 ，诸如计算，以及清洗，使其常规化，并且准备摄入用于长期存储的数据。

18、CouchDB--开源的面向文档的NoSQL数据库，使用JSON存储数据。

CouchDB 是一个开源的面向文档的数据库管理系统，可以通过 RESTful JavaScript Object Notation (JSON) API 访问。CouchDB落实到最底层的数据结构就是两类B+Tree 。

19、Oracle Coherence--内存数据网格解决方案，通过提供对常用数据的快速访问，使企业能够可预测地扩展关键任务应用程序。

简单来说，Coherence仅支持Java，.NET和C++ API三个版本，这三个都是面向对象的语言，这也说明Coherence和应用开发的亲和性。

20、Titan--可扩展的图形数据库，优化用于存储和查询包含分布在多机集群上的数百亿个顶点和边的图形。

21、Amazon DynamoDB--快速，灵活的全面管理NoSQL的数据库服务，适用于任何规模的要求一致性，单位毫秒延迟的应用程序。

Amazon DynamoDB 是一种完全托管的 NoSQL 数据库服务，提供快速而可预测的性能，能够实现无缝扩展。

22、Amazon Kinesis--AWS上的实时流式传输数据平台。

Web 应用程序、移动设备、可穿戴设备、行业传感器和许多软件应用程序和服务都可能生成大量的流数据(有时达到每小时数 TB)，需要对其进行连续地收集、存储和处理。Amazon Kinesis 就是针对这种需求产生的。

23、Datomic--完全事务，云就绪，分布式数据库，用Clojure编写。

Datomic 是一个灵活的、基于时间因子的数据库，支持联合查询，具有弹性的可扩展性以及支持ACID事务性。Datomic 提供高可用的、分布式存储服务。