记者13日从我国高性能计算领军企业中科曙光获悉，经过一个多月苛刻的审核，TPCxT－BB在TPC官网发布，曙光全新一代自主研发的双路机架服务器I620－G30服务器集群性能和性价比双破世界纪录。

该服务器集群在30TB的数据规模上以每分钟完成3383.95次大数据查询的速度，每次查询的成本为307.86美元的优异成绩成为全球大数据查询速度最快，性价比最高的服务器。

据了解，TPCxT－BB（TPCBenchmark　Express－BigBench）是国际标准化组织TPC应对大数据技术趋势而开发的一款专业级评测大数据系统性能的工业测试工具，目前作为全球通用标准使用。该标准为国内外服务器厂家、大数据服务供应商以及终端业务使用者所认可，其发布的成绩在大数据相关行业中具有广泛而又深远的影响力。

“这次测试，包括管理节点在内，均采用曙光I620－G30服务器，该服务器是基于英特尔可扩展处理器平台全新开发的一款具有广泛用途的双路服务器，通过架构的升级、平台的优化、以及技术创新使得该服务器非常契合大数据的应用场景。”中科曙光副总裁秦晓宁介绍说，“此次I620－G30集群的大数据查询数据测试成绩，性能方面，在30TB数据规模上每分钟完成大数据查询次数相对于上一个世界纪录性能高出一倍以上；成本方面，每分钟每次的均摊成本相对上一个世界纪录节约了将近一半。”

秦晓宁表示，此次TPC测试成绩创全球纪录，标志着曙光服务器在产品成熟度、服务器国际标准化进程中迈出了具有里程碑意义的一步。

多年来，中科曙光在国家“863”计划重大专项支持下，一直致力于在高性能计算机领域的探索与研发，先后研制成功了百万亿次和千万亿次高性能计算机系统。

（见习编辑：陈蓉蓉）

近日，泰一指尚DMP数据聚合与管理服务平台以优异的成绩通过数据中心联盟组织的大数据产品能力认证中的Hadoop平台性能评测，这是泰一指尚大数据平台继通过基础能力评测后通过性能评测，代表着泰一指尚的大数据技术水平再次得到官方认可。

大数据产品能力认证是由数据中心联盟组织，在工业和信息化部指导下，面向大数据平台产品的评估认证活动，是国内起步最早、覆盖最广、技术水平最高、影响最大的大数据评测体系。大数据产品能力认证经过三年多的发展，测试覆盖面越来越广，测试难度逐年加大，同时行业用户认可度也不断提高，已经成为政府和行业用户评价和选购大数据产品牌的权威参考。

本次评审会专家委员会由来自中国信息通信研究院、清华大学、北京大学、北京理工大学、中科院计算所等单位的技术专家以及参评企业代表共同构成。评审针对泰一指尚DMP数据聚合与管理服务平台性能进行测试，在此前Hadoop产品基础能力测试的基础上难度进一步加大，更加能够考验大数据平台的服务能力。在测试中SQL负载测试数据规模达到30TB，NoSQL测试数据规模达到20亿条，机器学习最大负载数据规模达到1TB。

与会专家认为，在整个评测、评审过程中，泰一指尚DMP数据聚合与管理服务平台及团队表现十分优异。专家对泰一指尚DMP数据聚合与管理服务平台的性能给与了高度评价。

2015年以来，只有31家企业的33款大数据产品通过评测。泰一指尚大数据技术团队历经四个多月的准备，在联盟指定的统一硬件环境中由专业技术人员安照技术规范进行为期一周测试，并在最终的答辩会上顺利通过答辩。

▲答辩现场

DMP数据聚合与管理服务平台在此次大数据产品评测通过Hadoop平台性能评测，再次证明了 泰一指尚大数据平台具备成熟的企业级产品能力，能够出色的为企业级用户提供完善、稳定、可靠的服务。 泰一指尚紧跟国内外大数据技术发展的趋势，已成为大数据基础平台厂商第一梯队，是大数据技术领域标杆企业之一。

泰一指尚大数据管理平台目前已深入金融、教育、房产、汽车、电商、快消、3C、娱乐等众多垂直行业，生成千亿级标签。利用独有的数据挖掘算法、个性化的标签体系、全网实时数据监测分析以及可视化展现技术，为客户实际的全业务场景提供消费者洞察、品牌研究与媒介研究。基于大数据的商业信息洞察，帮助客户实现大数据分析与应用，建构数据价值发现和应用创新能力。

未来泰一指尚将坚持技术为先，推动大数据技术发展与商业应用创新，为企业级用户持续提供完善、稳定、可靠的大数据服务，助力企业构建数字商业能力，推动大数据商业化真正落地。

泰一指尚，隶属于中国A股上市企业：浙江富润（600070），致力于成为全球领先的数字商业服务提供商，推动全球企业数字化转型进程。通过数字技术与商业应用的创新，业已形成大数据应用能力开放、数据咨询研究服务、营销技术能力开放、数字营销综合服务等战略板块。被国家工信部授予“2017年中国互联网企业100强”。

1、 Talend Open Studio

是第一家针对的数据集成工具市场的ETL(数据的提取Extract、传输Transform、载入Load)开源软件供应商。Talend的下载量已超过200万人次，其开源软件提供了数据整合功能。其用户包括美国国际集团（AIG）、康卡斯特、电子港湾、通用电气、三星、Ticketmaster和韦里逊等企业组织。

2、DYSON

探码科技自主研发的DYSON智能分析系统，可以完整的实现大数据的采集、分析、处理。DYSON智能分析系统专业针对互联网数据抓取、处理、分析，挖掘。可以灵活迅速地抓取网页上散乱分布的信息，并通过强大的处理功能，准确挖掘出所需数据，是目前使用人数最多的网页采集工具.

3、YARN

一种新的Hadoop资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，解决了旧MapReduce框架的性能瓶颈。它的基本思想是把资源管理和作业调度/监控的功能分割到单独的守护进程。

4、Mesos

由加州大学伯克利分校的AMPLab首先开发的一款开源群集管理软件，支持Hadoop、ElasticSearch、Spark、Storm 和Kafka等架构。对数据中心而言它就像一个单一的资源池，从物理或虚拟机器中抽离了CPU，内存，存储以及其它计算资源， 很容易建立和有效运行具备容错性和弹性的分布式系统。

5、Datale

由探码科技研发的一款基于Hadoop的大数据平台开发套件，RAI大数据应用平台架构。

6、 Ambari

作为Hadoop生态系统的一部分，提供了基于Web的直观界面，可用于配置、管理和监控Hadoop集群。目前已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。

7、ZooKeeper

一个分布式的应用程序协调服务，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的工具，让Hadoop集群里面的节点可以彼此协调。ZooKeeper现在已经成为了 Apache的顶级项目，为分布式系统提供了高效可靠且易于使用的协同服务。

8、Thrift

在2007年facebook提交Apache基金会将Thrift作为一个开源项目，对于当时的facebook来说创造thrift是为了解决facebook系统中各系统间大数据量的传输通信以及系统之间语言环境不同需要跨平台的特性。

9、Chukwa

监测大型分布式系统的一个开源数据采集系统。建立在HDFS/MapReduce框架之上并继承了Hadoop的可伸缩性和可靠性，可以收集来自大型分布式系统的数据，用于监控。它还包括灵活而强大的显示工具用于监控、分析结果。

10、Lustre

一个大规模的、安全可靠的、具备高可用性的集群文件系统，它是由SUN公司开发和维护的。该项目主要的目的就是开发下一代的集群文件系统，目前可以支持超过10000个节点，数以PB的数据存储量。

11、HDFS

Hadoop Distributed File System，简称HDFS，是一个分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。

12、GlusterFS

一个集群的文件系统，支持PB级的数据量。GlusterFS 通过RDMA和TCP/IP方式将分布到不同服务器上的存储空间汇集成一个大的网络化并行文件系统。

13、Alluxio

前身是Tachyon，是以内存为中心的分布式文件系统，拥有高性能和容错能力，能够为集群框架（如Spark、MapReduce）提供可靠的内存级速度的文件共享服务。

14、Ceph

新一代开源分布式文件系统，主要目标是设计成基于POSIX的没有单点故障的分布式文件系统，提高数据的容错性并实现无缝的复制。

15、PVFS

一个高性能、开源的并行文件系统，主要用于并行计算环境中的应用。PVFS特别为超大数量的客户端和服务器端所设计，它的模块化设计结构可轻松的添加新的硬件和算法支持。

16、QFS

Quantcast File System (QFS) 是一个高性能、容错好、分布式的文件系统，用于开发支持 MapReduce处理或者需要顺序读写大文件的应用。

17、 Logstash

一个应用程序日志、事件的传输、处理、管理和搜索的平台。可以用它来统一对应用程序日志进行收集管理，提供了Web接口用于查询和统计。

18、Scribe

Scribe是Facebook开源的日志收集系统，它能够从各种日志源上收集日志，存储到一个中央存储系统（可以是NFS，分布式文件系统等）上，以便于进行集中统计分析处理。

19、Flume

Cloudera提供的一个高可用的、高可靠的、分布式的海量日志采集、聚合和传输的系统。Flume支持在日志系统中定制各类数据发送方，用于收集数据。同时，Flume支持对数据进行简单处理，并写入各种数据接受方（可定制）。

20、RabbitMQ

一个受欢迎的消息代理系统，通常用于应用程序之间或者程序的不同组件之间通过消息来进行集成。RabbitMQ提供可靠的应用消息发送、易于使用、支持所有主流操作系统、支持大量开发者平台。

21、ActiveMQ

Apache出品，号称“最流行的，最强大”的开源消息集成模式服务器。ActiveMQ特点是速度快，支持多种跨语言的客户端和协议，其企业集成模式和许多先进的功能易于使用，是一个完全支持JMS1.1和J2EE 1.4规范的JMS Provider实现。

22、Kafka

一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模网站中的所有动作流数据，目前已成为大数据系统在异步和分布式消息之间的最佳选择。

23、Spark

一个高速、通用大数据计算处理引擎。拥有Hadoop MapReduce所具有的优点，但不同的是Job的中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。它可以与Hadoop和Apache Mesos一起使用，也可以独立使用。

24、Kinesis

可以构建用于处理或分析流数据的自定义应用程序，来满足特定需求。Amazon Kinesis Streams 每小时可从数十万种来源中连续捕获和存储数TB数据，如网站点击流、财务交易、社交媒体源、IT日志和定位追踪事件。

25、 Hadoop

一个开源框架，适合运行在通用硬件，支持用简单程序模型分布式处理跨集群大数据集，支持从单一服务器到上千服务器的水平scale up。Apache的Hadoop项目已几乎与大数据划上了等号，它不断壮大起来，已成为一个完整的生态系统，拥有众多开源工具面向高度扩展的分布式计算。高效、可靠、可伸缩，能够为你的数据存储项目提供所需的YARN、HDFS和基础架构，并且运行主要的大数据服务和应用程序。

26、Spark Streaming

实现微批处理，目标是很方便的建立可扩展、容错的流应用，支持Java、Scala和Python，和Spark无缝集成。Spark Streaming可以读取数据HDFS，Flume，Kafka，Twitter和ZeroMQ，也可以读取自定义数据。

27、Trident

是对Storm的更高一层的抽象，除了提供一套简单易用的流数据处理API之外，它以batch(一组tuples)为单位进行处理，这样一来，可以使得一些处理更简单和高效。

28、Flink

于今年跻身Apache顶级开源项目，与HDFS完全兼容。Flink提供了基于Java和Scala的API，是一个高效、分布式的通用大数据分析引擎。更主要的是，Flink支持增量迭代计算，使得系统可以快速地处理数据密集型、迭代的任务。

29、Samza

出自于LinkedIn，构建在Kafka之上的分布式流计算框架，是Apache顶级开源项目。可直接利用Kafka和Hadoop YARN提供容错、进程隔离以及安全、资源管理。

30、Storm

Storm是Twitter开源的一个类似于Hadoop的实时数据处理框架。编程模型简单，显著地降低了实时处理的难度，也是当下最人气的流计算框架之一。与其他计算框架相比，Storm最大的优点是毫秒级低延时。

31、Yahoo S4 （Simple Scalable Streaming System）

是一个分布式流计算平台，具备通用、分布式、可扩展的、容错、可插拔等特点。程序员可以很容易地开发处理连续无边界数据流（continuous unbounded streams of data）的应用。它的目标是填补复杂专有系统和面向批处理开源产品之间的空白，并提供高性能计算平台来解决并发处理系统的复杂度。

32、HaLoop

是一个Hadoop MapReduce框架的修改版本，其目标是为了高效支持 迭代，递归数据 分析任务，如PageRank，HITs，K-means，sssp等。

33、Presto

是一个开源的分布式SQL查询引擎，适用于交互式分析查询，可对250PB以上的数据进行快速地交互式分析。Presto的设计和编写是为了解决像Facebook这样规模的商业数据仓库的交互式分析和处理速度的问题。Facebook称Presto的性能比诸如Hive和MapReduce要好上10倍有多。

34、 Drill

于2012年8月份由Apache推出，让用户可以使用基于SQL的查询，查询Hadoop、NoSQL数据库和云存储服务。它能够运行在上千个节点的服务器集群上，且能在几秒内处理PB级或者万亿条的数据记录。它可用于数据挖掘和即席查询，支持一系列广泛的数据库，包括HBase、MongoDB、MapR-DB、HDFS、MapR-FS、亚马逊S3、Azure Blob Storage、谷歌云存储和Swift。

35、Phoenix

是一个Java中间层，可以让开发者在Apache HBase上执行SQL查询。Phoenix完全使用Java编写，并且提供了一个客户端可嵌入的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多个HBase scan，并编排执行以生成标准的JDBC结果集。

36、Pig

是一种编程语言，它简化了Hadoop常见的工作任务。Pig可加载数据、转换数据以及存储最终结果。Pig最大的作用就是为MapReduce框架实现了一套shell脚本 ，类似我们通常熟悉的SQL语句。

37、Hive

是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。

38、SparkSQL

前身是Shark，SparkSQL抛弃原有Shark的代码并汲取了一些优点，如内存列存储（In-Memory Columnar Storage）、Hive兼容性等。由于摆脱了对Hive的依赖性，SparkSQL无论在数据兼容、性能优化、组件扩展方面都得到了极大的方便。

39、Stinger

原来叫Tez，是下一代Hive，由Hortonworks主导开发，运行在YARN上的DAG计算框架。某些测试下，Stinger能提升10倍左右的性能，同时会让Hive支持更多的SQL。

40、Tajo

目的是在HDFS之上构建一个可靠的、支持关系型数据的分布式数据仓库系统，它的重点是提供低延迟、可扩展的ad-hoc查询和在线数据聚集，以及为更传统的ETL提供工具。

41、Impala

Cloudera 声称，基于SQL的Impala数据库是“面向Apache Hadoop的领先的开源分析数据库”。它可以作为一款独立产品来下载，又是Cloudera的商业大数据产品的一部分。Cloudera Impala 可以直接为存储在HDFS或HBase中的Hadoop数据提供快速、交互式的SQL查询。

42、 Elasticsearch

是一个基于Lucene的搜索服务器。它提供了一个分布式、支持多用户的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索、稳定、可靠、快速、安装使用方便。

43、Solr

基于Apache Lucene，是一种高度可靠、高度扩展的企业搜索平台。知名用户包括eHarmony、西尔斯、StubHub、Zappos、百思买、AT&T、Instagram、Netflix、彭博社和Travelocity。

44、Shark

即Hive on Spark，本质上是通过Hive的HQL解析，把HQL翻译成Spark上的RDD操作，然后通过Hive的metadata获取数据库里的表信息，实际HDFS上的数据和文件，会由Shark获取并放到Spark上运算。Shark的特点就是快，完全兼容Hive，且可以在shell模式下使用rdd2sql()这样的API，把HQL得到的结果集，继续在scala环境下运算，支持自己编写简单的机器学习或简单分析处理函数，对HQL结果进一步分析计算。

45、Lucene

基于Java的Lucene可以非常迅速地执行全文搜索。据官方网站声称，它在现代硬件上每小时能够检索超过150GB的数据，它拥有强大而高效的搜索算法。

46、Terracotta

声称其BigMemory技术是“世界上首屈一指的内存中数据管理平台”，支持简单、可扩展、实时消息，声称在190个国家拥有210万开发人员，全球1000家企业部署了其软件。

47、 Ignite

是一种高性能、整合式、分布式的内存中平台，可用于对大规模数据集执行实时计算和处理，速度比传统的基于磁盘的技术或闪存技术高出好几个数量级。该平台包括数据网格、计算网格、服务网格、流媒体、Hadoop加速、高级集群、文件系统、消息传递、事件和数据结构等功能。

48、GemFire

Pivotal宣布它将开放其大数据套件关键组件的源代码，其中包括GemFire内存中NoSQL数据库。它已向Apache软件基金会递交了一项提案，以便在“Geode”的名下管理GemFire数据库的核心引擎。

49、 GridGain

由Apache Ignite驱动的GridGrain提供内存中数据结构，用于迅速处理大数据，还提供基于同一技术的Hadoop加速器。

50、MongoDB

是一个基于分布式文件存储的数据库。由C++...

大数据是什么？大数据处理分析的工具有哪些？不管是即将学习大数据的人亦或是转型向学大数据的人都想要了解的。

1，什么是大数据

简言之，从各种各样类型的数据中，快速获得有价值信息的能力，就是大数据技术。

2，大数据最核心的价值

大数据最核心的价值就是在于对于海量数据进行存储和分析。相比起现有的其他技术而言，大数据的“廉价、迅速、优化”这三方面的综合成本是最优的。

3，大数据处理分析的六大最好工具

一、 Apache Hadoop

Hadoop 是一个能够对大量数据进行分布式处理的软件框架。Hadoop 是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop 是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。Hadoop 还是可伸缩的，能够处理 PB 级数据。此外，Hadoop 依赖于社区服务器，因此它的成本比较低，任何人都可以使用。

Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。它主要有以下几个优点：

⒈高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。

⒉高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。

⒊高效性。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。

⒋高容错性。Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。

Hadoop带有用 Java 语言编写的框架，因此运行在 Linux 生产平台上是非常理想的。Hadoop 上的应用程序也可以使用其他语言编写，比如 C++。

二、HPCC

HPCC，High Performance Computing and Communications(高性能计算与通信)的缩写。1993年，由美国科学、工程、技术联邦协调理事会向国会提交了“重大挑战项目：高性能计算与 通信”的报告，也就是被称为HPCC计划的报告，即美国总统科学战略项目，其目的是通过加强研究与开发解决一批重要的科学与技术挑战问题。HPCC是美国 实施信息高速公路而上实施的计划，该计划的实施将耗资百亿美元，其主要目标要达到：开发可扩展的计算系统及相关软件，以支持太位级网络传输性能，开发千兆 比特网络技术，扩展研究和教育机构及网络连接能力。

该项目主要由五部分组成：

1、高性能计算机系统(HPCS)，内容包括今后几代计算机系统的研究、系统设计工具、先进的典型系统及原有系统的评价等;

2、先进软件技术与算法(ASTA)，内容有巨大挑战问题的软件支撑、新算法设计、软件分支与工具、计算计算及高性能计算研究中心等;

3、国家科研与教育网格(NREN)，内容有中接站及10亿位级传输的研究与开发;

4、基本研究与人类资源(BRHR)，内容有基础研究、培训、教育及课程教材，被设计通过奖励调查者-开始的，长期 的调查在可升级的高性能计算中来增加创新意识流，通过提高教育和高性能的计算训练和通信来加大熟练的和训练有素的人员的联营，和来提供必需的基础架构来支 持这些调查和研究活动;

5、信息基础结构技术和应用(IITA )，目的在于保证美国在先进信息技术开发方面的领先地位。

三、Storm

Storm是自由的开源软件，一个分布式的、容错的实时计算系统。Storm可以非常可靠的处理庞大的数据流，用于处理Hadoop的批量数据。 Storm很简单，支持许多种编程语言，使用起来非常有趣。Storm由Twitter开源而来，其它知名的应用企业包括Groupon、淘宝、支付宝、阿里巴巴、乐元素、Admaster等等。

Storm有许多应用领域：实时分析、在线机器学习、不停顿的计算、分布式RPC(远过程调用协议，一种通过网络从远程计算机程序上请求服务)、 ETL(Extraction-Transformation-Loading的缩写，即数据抽取、转换和加载)等等。Storm的处理速度惊人：经测 试，每个节点每秒钟可以处理100万个数据元组。Storm是可扩展、容错，很容易设置和操作。

四、Apache Drill

为了帮助企业用户寻找更为有效、加快Hadoop数据查询的方法，Apache软件基金会近日发起了一项名为“Drill”的开源项目。Apache Drill 实现了 Google's Dremel.

据Hadoop厂商MapR Technologies公司产品经理Tomer Shiran介绍，“Drill”已经作为Apache孵化器项目来运作，将面向全球软件工程师持续推广。

该项目将会创建出开源版本的谷歌Dremel Hadoop工具(谷歌使用该工具来为Hadoop数据分析工具的互联网应用提速)。而“Drill”将有助于Hadoop用户实现更快查询海量数据集的目的。

“Drill”项目其实也是从谷歌的Dremel项目中获得灵感：该项目帮助谷歌实现海量数据集的分析处理，包括分析抓取Web文档、跟踪安装在Android Market上的应用程序数据、分析垃圾邮件、分析谷歌分布式构建系统上的测试结果等等。

通过开发“Drill”Apache开源项目，组织机构将有望建立Drill所属的API接口和灵活强大的体系架构，从而帮助支持广泛的数据源、数据格式和查询语言。

五、RapidMiner

RapidMiner是世界领先的数据挖掘解决方案，在一个非常大的程度上有着先进技术。它数据挖掘任务涉及范围广泛，包括各种数据艺术，能简化数据挖掘过程的设计和评价。

功能和特点

免费提供数据挖掘技术和库

100%用Java代码(可运行在操作系统)

数据挖掘过程简单，强大和直观

内部XML保证了标准化的格式来表示交换数据挖掘过程

可以用简单脚本语言自动进行大规模进程

多层次的数据视图，确保有效和透明的数据

图形用户界面的互动原型

命令行(批处理模式)自动大规模应用

Java API(应用编程接口)

简单的插件和推广机制

强大的可视化引擎，许多尖端的高维数据的可视化建模

400多个数据挖掘运营商支持

耶鲁大学已成功地应用在许多不同的应用领域，包括文本挖掘，多媒体挖掘，功能设计，数据流挖掘，集成开发的方法和分布式数据挖掘。

六、 Pentaho BI

Pentaho BI 平台不同于传统的BI 产品，它是一个以流程为中心的，面向解决方案(Solution)的框架。其目的在于将一系列企业级BI产品、开源软件、API等等组件集成起来，方便商务智能应用的开发。它的出现，使得一系列的面向商务智能的独立产品如Jfree、Quartz等等，能够集成在一起，构成一项项复杂的、完整的商务智能解决方案。

Pentaho BI 平台，Pentaho Open BI 套件的核心架构和基础，是以流程为中心的，因为其中枢控制器是一个工作流引擎。工作流引擎使用流程定义来定义在BI 平台上执行的商业智能流程。流程可以很容易的被定制，也可以添加新的流程。BI 平台包含组件和报表，用以分析这些流程的性能。目前，Pentaho的主要组成元素包括报表生成、分析、数据挖掘和工作流管理等等。这些组件通过 J2EE、WebService、SOAP、HTTP、Java、JavaScript、Portals等技术集成到Pentaho平台中来。 Pentaho的发行，主要以Pentaho SDK的形式进行。

Pentaho SDK共包含五个部分：Pentaho平台、Pentaho示例数据库、可独立运行的Pentaho平台、Pentaho解决方案示例和一个预先配制好的 Pentaho网络服务器。其中Pentaho平台是Pentaho平台最主要的部分，囊括了Pentaho平台源代码的主体;Pentaho数据库为 Pentaho平台的正常运行提供的数据服务，包括配置信息、Solution相关的信息等等，对于Pentaho平台来说它不是必须的，通过配置是可以用其它数据库服务取代的;可独立运行的Pentaho平台是Pentaho平台的独立运行模式的示例，它演示了如何使Pentaho平台在没有应用服务器支持的情况下独立运行;Pentaho解决方案示例是一个Eclipse工程，用来演示如何为Pentaho平台开发相关的商业智能解决方案。

Pentaho BI 平台构建于服务器，引擎和组件的基础之上。这些提供了系统的J2EE 服务器，安全，portal，工作流，规则引擎，图表，协作，内容管理，数据集成，分析和建模功能。这些组件的大部分是基于标准的，可使用其他产品替换之。

4. 大数据特点

第一，数据体量巨大。从TB级别，跃升到PB级别。

第二，数据类型繁多，如前文提到的网络日志、视频、图片、地理位置信息，等等。

第三，价值密度低。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。

第四，处理速度快。1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器，无一不是数据来源或者承载的方式。

如果对于大数据还有更多的疑问，可以持续关注作者，也可以留言或者私信问题。

很多大数据都具有空间位置信息，这些空间大数据可以通过大数据GIS技术进行高效存储、索引、处理和分析。另一方面，经典GIS所需面对和处理的数据规模也在快速膨胀，对于经典GIS中超大规模数据的处理与分析，同样需要大数据GIS技术作为支撑。经典GIS中常用的缓冲区分析、叠加分析、空间查询等算法都可以通过大数据GIS技术进行分布式重构，用以面向不断膨胀的超大规模数据。

一、经典GIS数据存储方案

在各种GIS项目应用当中，首要设计的就是数据存储方案。在经典GIS当中，典型数据类型包括矢量的点线面数据、影像和栅格数据、地图缓存瓦片数据等类型。在存储引擎类型方面，使用较多的类型包括以PostgreSQL为代表的SQL数据库型存储，以及众多NoSQL型数据库，包括以MongoDB为代表的文档型数据库，以HBase为代表的列存储数据库，以Redis为代表的key-value型数据库等。随着互联网应用的深入，各种NoSQL型数据库得到了快速发展，并具有支持分布式可扩展部署，高性能读写等特征，因此在大数据GIS技术中，有必要对其进行吸收和融合。

在大数据应用中，由于涉及的数据体量巨大，存储和计算环境的部署强调二者的一体化，或者通过计算向数据靠拢来实现高效的数据读写。在海量空间数据场景下，需要通过空间索引技术将节点内的数据尽可能的保持完整性和独立性，尽量避免节点间的数据交换，从而实现高效的分布式计算。

1、PostgreSQL

PostgreSQL是一个功能强大的开源关系型数据库系统。可以支持各种主流操作系统，它完全兼容ACID，完全支持外键，连接，视图，触发器和存储过程（使用多种语言）。在GIS应用当中，可以使用它进行矢量点线面数据，栅格数据的高效存储和查询，由于它完全支持ANSI-SQL：2008标准，因此可以基于其上定制各种业务化的查询和存储过程。另一方面，基于其上的PostGIS数据库可以直接进行空间对象的存储和索引，并支持高效的查询，以OpenStreetMap为代表的很多GIS应用直接基于PostgreSQL引擎之上构建存储层。

2、MongoDB

MongoDB是一个基于分布式存储的NoSQL文档型数据库，它是一个介于关系型数据库和非关系型数据库之间的产品。大多数NoSQL都提供较少的关系型数据库特征，但MongoDB是个例外，其对于SQL查询支持较为丰富。其BSON形式的数据结构非常适合进行缓存瓦片的存储，而缓存瓦片的使用往往也不要求过多的SQL查询语法支持。另一方面，它也同样可以进行矢量点线面的存储，并且内置了Spatial扩展可以支持空间索引和空间查询。

3、HDFS

HDFS是一种分布式文件系统，它虽然不是一种数据库产品，但由于其是Hadoop生态体系的基石，且与Spark技术无缝结合，因此在大数据实施时，经常被用来作为一种通用型存储方案。在大数据GIS当中，其使用方式主要有两类，一种是直接作为文件系统，将csv、json格式的大文件放置其上进行直接存储，另一种是作为Spark计算引擎的存储方案，使用自定义的二进制格式存储空间数据，并进行空间二级索引设计和实现，以高效对接Spark分布式计算。

二、经典GIS数据处理方案

由于各种存储引擎特点不一，因此在项目实施中，如何选择最适合的存储和计算方案，需要与项目的具体使用背景相结合。我们建议从数据规模（千万级、亿级、十亿级还是更大）、数据更新频率（年、月、日还是更小）、数据处理复杂性（SQL查询、空间查询还是复杂空间运算）等几个维度进行综合考量。我们选择了几个较为典型的应用场景，进行具体说明。

1、千万级实时更新

该应用的典型客户为政府各单位的分中心，虽然全国范围内的汇总数据规模庞大，但省市分中心单位维护的子库数据规模在千万级左右。虽然数据规模不大，但是具有业务逻辑复杂，要求实时更新的特点，因此推荐根据业务场景，灵活使用Oracle或UDB数据库型引擎。可以进行实时更新，也可以根据复杂业务进行较复杂的SQL查询检索。并且可以对接Spark计算引擎，进行大规模数据的复杂计算。

2、亿级准实时更新

该应用的典型客户是部委的全国级主中心，从各省市分中心汇总的数据规模可以达到亿级到十亿级规模，更新频率低于分中心的实时业务系统，但也需要具备一些SQL查询能力。此时推荐使用PostgreSQL或MongoDB进行分布式存储，一方面可以支持数据的动态扩展，另一方面也可以支持一定的SQL查询。当然也可以对接Spark计算引擎，进行业务计算。

3、十亿级低频更新

该应用的典型客户也是部委的全国级主中心，可能需要对汇总的多年份历史数据进行时间序列分析或者综合性分析。此时的数据更新频率较低，可能是以年为单位，但总体的数据规模非常庞大，可能达到十亿甚至百亿规模。此时推荐使用HDFS进行数据存储，再对接Spark技术进行分布式计算，对这种超大规模的空间数据进行处理和综合分析。

三、经典GIS应用案例

矢量数据的空间叠加赋值算法，是国土测绘领域这样的大规模矢量数据分析常用功能。SuperMapiObjectsjavaforSpark以该算法为例，讲解大数据技术如何提升经典GIS数据处理和分析性能。矢量数据分析的基础是高效的空间索引，而分布式矢量分析同样需要基于空间索引进行加速。

1、分布式构建空间索引

分布式构建空间索引根据整体流程，又可以细分为索引对象构建，数据集重分区，索引后数据缓存等几个子过程。较常使用的索引类型有均匀格网索引和四叉树索引两种。索引对象构建后可以广播到集群各节点，数据集重分区过程各节点可以获取该对象进行空间对象处理。由于后续的叠加赋值计算需要基于索引后数据进行，所以SuperMapiObjectsjavaforSpark需要把重分区后的数据缓存下来，以kryo序列化的方式将数据缓存到HDFS上。

2、分布式叠加赋值计算

由于在前面的分布式构建索引过程中，SuperMap iObjects java for Spark把按照索引重分区后的数据缓存到了HDFS上，因此在进行叠加赋值计算之前，SuperMap iObjects java for Spark首先需要将数据从HDFS上读取到Spark的RDD中。在读取之后，就可以基于索引后的FeatureRDD进行两图层间的叠加计算了。由于叠加赋值一般涉及被更新数据和更新数据两个数据集，所以SuperMap iObjects java for Spark使用RDD的zipPartitions接口来将两个RDD进行组合。

四、经典GIS性能提升测试

SuperMap iObjects java for Spark使用的测试环境的单节点操作系统为64位Ubuntu 16.04 Linux系统，CPU为英特尔酷睿i7-6700K，四核处理器，主频为4 GHz，硬盘为1 TB，内存为16 GB。Spark集群配置为一个Master节点，四个Woker节点，即五台同配置的PC机环境。使用的Hadoop版本为2.7.3，Spark版本为2.1.0。

测试数据局部放大图

为了保证测试的有效性，SuperMap iObjects java for Spark设计了规模不等的三组矢量数据进行分析计算。A组数据被 更新图层图斑对象数目为10万，更新图层（即提供属性值的图层） 图斑对象数目为80。

两图层数据分布特征为：更新图层的单个矢量面对象面积显著大于被更新图层对象，但二者的总体图斑覆盖范围相近。B组数据被更新图层图斑对象数目为100万，更新图层图斑对象数目为800，两图层数据分布特征与A组数据类似。C组数据被更新图层图斑对象数目为1000万，更新图层图斑对象数目为1万，两图层数据分布特征与A组数据类似。SuperMap iObjects java for Spark将分布式改进后的方法与传统GIS软件的单节点叠加赋值功能进行了性能对比，结果如表1所示。

表1性能测试结果

从测试结果可以看出，基于大数据技术的矢量数据叠加赋值方法，在不同级别的实验数据下，相比传统GIS单节点功能都有更好的性能表现。在小规模数据量（数据A）场景下性能有约33%的提升，在中等规模数据量（数据B）场景下性能有约71%的提升，在大规模数据量（数据C）场景下性能有约90%的提升，图2使用柱状图来更为直观的进行结果展示。

在对常用的GIS核心算法进行分析之后，我们认为：大多数的经典GIS核心算法都可以进行分布式算法改进，即使用大数据技术进行海量空间数据处理和分析的性能提升。目前SuperMap iObjects java for Spark已经完成的算法包括空间查询、叠加分 析、缓冲区分析、属性更新、矢量裁剪等功能，后面还计划针对矢量数据处理，拓扑检查等经典GIS常用功能进行进一步的升级改进。

内容来源：超图

如果你打开网站，搜索关键词“性能力提高”、“性能力改善”等关键词，会发现有价值的信息非常之少，大部分中国人对于性的关注比较隐晦，并不会将其仔细研究。根据2013年——2014年中国性爱报告显示，83%的国人认为性是生活中不可或缺的一部分，94%的男人认为有义务令伴侣满意，86%的男人认为岁月不饶人，力不从心在所难免，约75%的男人对自己的床上功力并不满意，41%的男人做爱时长不足10分钟，只有4%的男人会求助于医生来解决自己的性问题。

面对这个这个现状，吱呀创始人老鱼（花名）在这个细分领域找到了机会。他告诉猎云网：“这个领域是的市场是非常大的。”对于两性领域，大多数人不知道自己的水准在同龄人中到底如何？所以男性在这方面的认知是空白的，绝大多数人缺乏客观准确的测评方式；缺乏性能力的大数据作为参考；缺乏行之有效的自我提高方式去改善。

针对这些痛点，老鱼表示，吱呀项目针对这些痛点，提出了以下解决方案：

1、用户自我测试，可根据使用场景自行选择 “一分钟简测” 与“精准测试” ，通过独创多维度测评算法，看自我感觉的性能力和真实测评出的性能力是否有差距；

2、10分钟到底好还是坏？没人知道，也不知道在同龄人中是什么位置？放到大数据中对比一下，找到自己的水准线；

3、通过多个维度数据的异常标示和分析解读，给予有效的分析与改善建议， 并精准推荐专业的视频训练课程；

4、术业有专攻，除了综合提高身体素质，性能力的专项训练、局部训练事半功倍，时间短推荐延时课程、硬度差，就有硬度提升课程；

5、专业的两性知识文章来营造社区氛围。

值得一提的是，吱呀所采用的核心技术为团队自主研发测评技术，利用智能手机的各种传感器进行性爱数据采集。可以通过床的震动采集震动频率、时间、强度等数据。针对用户的个人隐私，吱呀利用技术手段，在进行测试的整个过程手机都是黑屏，不会被其他人发现。

据老鱼介绍，每一个用户完成“测试”，便会产生数据，当越来越多的人产生数据，后台的大数据库便可作为最权威的性能力数据。

吱呀通过测试性功能，对用户的数据进行解读分析，让每个用户知道自己所在范围，为用户提供专业的性功能短板专项课程训练。此外，吱呀还会为用户提供社交系统，用于增强用户粘性。

在商业模式上，吱呀除了吸引用户数据之外，还将配合训练课程开通性健康私教模式。据悉，吱呀的课程是其团队和专业教练合作，拍摄针对局部肌肉的训练课程。相关肌肉群的加强训练，是聘请北京体育大学的教练参与课程的专业开发及演示。老鱼介绍，未来可以针对性功能短板进行专项VIP课程付费训练；或是作为品牌厂商的精准投放渠道，还是作为优质的情趣用品电商销售平台，此时可以尝试用数据说话。

由于目标人群高度精准，势必会成为类似杜蕾斯、专科医院、各情趣用品的优质广告与合作渠道，初上线运营的过程中，已经有若干情趣类、小说媒体类希望投放广告；其次，通过与男性专科医疗合作，一方面进行引流，另一方面提高专业性咨询。

最后引进情趣智能硬件，在老鱼看来，目前市场上情趣智能硬件的效果泛善可陈，原因在于仅可采用蓝牙或者网络的数据同步及操作，这远远不够智能。吱呀将会根据用户的测试数据，结合情趣智能硬件达到调整改善其性爱阈值的目的。

老鱼说：“吱呀是完全创新没有可参考对象的APP，所以在初设目标上团队决定：初始阶段的重心放在打磨产品体验上，致力于是否真的满足需求、用户是否真的需要这些功能、是否真的有不可替代的价值。”

目前，吱呀已完成种子轮融资，正式启动天使轮融资。2017年12月，安卓版本顺利上线；18年3月底，IOS版正式上线。并且，增加了女性课程作为未来女性用户群体拓展的发展伏笔，同时增加社交元素功能，吸引了女性用户的加入参与，现安卓端共计18万用户。

未来，吱呀主要的任务是让产品更专业化、更精准化，引导用户多测多练，积累数据。下一步肯定是和专业的医疗团队合作，提升产品的专业性；可借助其他硬件设备，提升自主研发的测评系统精准性，优化利用智能硬件的各种传感器采集的性爱数据，更精准的通过床的震动采集震动频率、时间、强度等数据。

在团队方面，吱呀团队规模十人左右，创始人老鱼，29岁时即出版自传体小说，17年工作经验，擅长公司管理、战略和业务管控。2004年以前在思念集团任职总经办品牌经理；2006-2009年作为创始团队成员创业网站“栖息谷”社区。后任职副总裁助力APP定制国内一线公司快速发展，并在其过程中带队操刀了逾百个移动互联网创业项目，对于公司发展经营可完全掌控。

性能测试用例选择的原则：

a. 重要的（业务上）

b. 重复的（最常用的模块）

重量级的（消耗大量系统资源的）

1、具体性能指标分为几类：

a. 系统容量（数据容量、用户量、并发用户量）,

b. 系统并发度指标（注册用户、在线用户、并发用户），

c. 响应度指标（正常压力下响应能力、峰值压力下的响应能力，以及异常压力下的响应能力）

2、理解整个系统及其实现之后，再列出自己分析得到的性能需求点。

3、询问客户的具体性能需求，共同分析，是否测试，测试的优先级。

4、写出性能测试计划和用例，并要得到客户认可。

下面列出了一些性能要求的测试点：

1) 查询2) 保存3) 统计4) 刷新5) 显示6) 传输7) 响应8) 下载

打开网络上其它介质上的文件时，可制造网络拥挤情况下的文件打开操作。

主要测试点，集中在几个点上。

一是：数据量小的时候主要的查询统计刷新等功能点；

二是：数据量积累到一定程度时的查询统计刷新时间，这里的一定程度是根据实际的项目和客户需求来定的。

性能测试分为基本性能测试和高级性能测试

基本性能测试

主要内容包括：安全可靠性、资源占用率测试、兼容性、易用性、用户文档、效率、可扩充性。

（1）安全可靠性测试

序号 测试项目 描述 测试结果

1 用户权限限制 考察队不同的用户权限限制情况 符合/基本符合/不符合

2 用户和密码封闭性 对于相应用户和密码进行次数限制 符合/基本符合/不符合

3 屏蔽用户操作错误 考察对用户常见的操作错误的提示和屏蔽情况 符合/基本符合/不符合

4 错误提示的准确性 对用户的错误提示的准确程度 符合/基本符合/不符合

5 错误是否导致系统异常退出 有无操作错误引起系统异常退出的情况 符合/基本符合/不符合

6 数据备份与恢复手段 系统是否提供备份及恢复功能，备份手段如何，是否对备份数据加密、压缩 符合/基本符合/不符合

7 输入数据有效性检查 系统对数据录入的有效性检查 符合/基本符合/不符合

8 留痕功能 系统是否有操作日志，操作日志记录的操作情况的全面性和准确性，是否包括主要要素，如操作员、操作日期、使用模块等 符合/基本符合/不符合

9 异常情况的影响 在程序运行过程中，进行掉电实验，考察数据和系统的受影响程度，若受损，是否提供补救工具，补救的情况如何 符合/基本符合/不符合

10 数据传输安全性 对有特殊安全要求的数据传输，应对传输的数据进行必要的加密处理，使用的算法应符合国家规定 符合/基本符合/不符合

（2）资源占用率测试

序号 测试项目 描述 测试结果

1 软件安装所占用硬盘空间 考察软件安装所占用硬盘空间 符合/基本符合/不符合

2 模块装载后内存占用量（包括虚存） 考察模块装载后内存占用量（包括虚存） 符合/基本符合/不符合

3 模块卸载后内存释放率（包括虚存） 考察模块卸载后内存释放率（包括虚存） 符合/基本符合/不符合

（3）兼容性测试

序号 测试项目 描述 测试结果

1 软件兼容性 软件测试适用平台 符合/基本符合/不符合

2 硬件兼容性 硬件平台的配置要求 符合/基本符合/不符合

（4）易用性测试

序号 测试项目 描述 测试结果

1 易安装性 安装的难易程度，符合流行安装模式 符合/基本符合/不符合

2 用户界面的友好性 界面的简洁性如何 符合/基本符合/不符合 3 易学性 相对一般操作人员来说，学习使用的难度如何，对操作人员有何要求符合/基本符合/不符合 4 易操作性 操作的难易程度 符合/基本符合/不符合 5 联机帮助丰富性 考察联机帮助的准确性、全面性、在关键操作时使用联机帮助的方便性 符合/基本符合/不符合

（5）用户文档测试

序号 测试项目 描述 测试结果

1 用户手册的完整程度 用户手册内容的全面性、完整性 符合/基本符合/不符合 2 用户手册的描述与软件实际功能的一致性 手册与软件实际功能的一致程度 符合/基本符合/不符合

3 用户手册的易理解程度 用户手册对关键重要的操作有无图文说明，例图的易理解性如何

符合/基本符合/不符合

4 用户手册的印刷与包装质量 用户手册包装的商品化程度印刷质量 符合/基本符合/不符合

5 用户手册提供的学习操作实例 对主要功能和关键操作提供的应用实例有多少，实例的详细程度如何 符合/基本符合/不符合

（6）效率测试

序号 测试项目 描述 测试结果

1 通信效率 网络负载、吞吐率、利用率、响应时间、延迟等 符合/基本符合/不符合

2 设备效率 CPU占用率、内存占用率、磁盘占用率、输入输出效率等，包括软件在不工作状态下对于硬件资源的占用情况和进行业务处理过程中对于硬件资源的占用情况 符合/基本符合/不符合

3 执行效率 典型业务操作的执行效率，例如关键的查询、统计等的响应时间等 符合/基本符合/不符合

（7）可扩充性测试

序号 测试项目 描述 测试结果

1 与异种数据接口 有无与其它数据的接口 符合/基本符合/不符合

2 是否能扩充功能模块 能否根据用户要求扩充功能模块 符合/基本符合/不符合

高级性能测试

主要内容包括：并发性能、系统资源监控、大数据量、速度、疲劳等内容，重点是并发性能测试。

（1）并发性能

并发测试的过程，是一个负载测试和压力测试的过程。即逐渐增加负载，直到系统的瓶颈或者不能接收的性能点，通过综合分析交易执行指标和资源监控指标来确定系统并发性能的过程。

并发性能测试及系统资源监控使用自动化负载测试工具及监控工具。

测试案例：例如：中间件应能满足一定数量的前台客户端同时办公的需要。

测试内容与监控指标：

★ 负载压力测试；

★ 模拟不同数量并发用户测试。

模拟不同数量并发用户执行关键业务，测试至系统能够承受的最大并发用户数。

主要监控指标如下：

每分钟事务处理数（Transaction Rate）：不同负载下每分钟成功完成的事务处理数；响应时间（Response Time）：服务器对每个应用请求的处理时间，单位：秒，该项指标反映了系统事务处理的性能，具体包括以下几项参数：

- Min：最小的服务器响应时间；

- Mean：平均的服务器响应时间；

- Max：最大的服务器响应时间；

- StdDev：事务处理服务器响应的偏差，值越大，偏差越大；

- Median：中值响应时间；

- 90％：90％事务处理的服务器响应时间

- 虚拟并发用户数（Total Virtual Users）：测试工具模拟的用户并发数量。

（2） 系统资源监控

在进行负载压力测试的同时，用测试工具对数据库服务器、Web服务器、应用服务器、认证及授权服务器上的操作系统、数据库以及中间件等资源进行监控。

监控系统资源指标，在测试中，根据测试需求以及测试环境的变化，选取有意义的数据进行分析。

（3）大数据量

测试案例：例如：考虑系统未来发展需要的存储空间，添加大数据量测试。

测试内容：

主要包括两方面内容：

一是：单独的数据量测试；

二是：与并发性能测试相结合的综合测试。

测试数据的准备借助于测试数据管理与生成工具，例如FileAid。

（4）速度

测试案例：例如：磁盘访问速度、备份速度以及网络办公系统运行速度等。

测试内容：

主要是人工测试。

（5）疲劳测试

通常是采用系统稳定运行情况下能够支持的最大并发用户数，持续执行一段时间业务，通过综合分析交易执行指标和资源监控指标来确定系统处理最大工作量强度性能的过程。

性能测试指标一般有2种形式描述：产品需求指标和系统的性能指标。

1．产品需求指标

★ 给出产品性能的主要指标，如在100000记录中查询一个特定数据的时间为0.5秒；

★ 以某个已发布的版本为基线，如比上一个版本的性能提高30-50%；

★ 和竞争对手的同类产品比较。

2． 系统的性能指标

★ CPU利用率；

★ 内存占用率；

★ 磁盘I/O ；

★ 响应时间。

性能测试的方法

性能测试的策略

性能测试策略一般从需求设计阶段开始讨论制定，策略的内容决定着性能测试工作投入多少资源、什么时间开始实施等后继工作如何安排。制定性能测试的策略的因素：

1．预期的指标性能的因素

系统在需求分析、设计阶段和产品说明书等文档中明确的提出都性能指标，这些指标是性能测试要完成的工作。

2． 独立业务性能测试的因素

独立业务主要是指软件产品的模块具有独立业务功能，在需求阶段就可以确定，要单独测试其性能。

3． 业务性能组合测试的因素

应用类软件系统通常不会使所有的用户只使用一个或者几个核心业务模块，可能是对多个业务进行组合使用，对多个业务进行组合性能测试。由于组合业务测试是最能反映用户使用系统情况，因而业务性能组合测试是测试的核心内容。

4． 疲劳强度性能测试

疲劳强度测试是在系统稳定运行下模拟较大的用户数量、并长时间运行系统的测试，通过综合分析执行指标和资源监控来确定系统处理最大业务量时的性能，主要目的是为了测试系统的稳定性。

5． 大数据量性能测试的因素

大数据量测试是为了测试系统的业务处理能力进行的。

大数据量测试第一种是针对某些系统存储、传输、统计查询等业务进行大数据量的测试,主要是测试数据增多时的性能情况，第二种是极限状态下的数据测试，主要是指系统数据量达到一定程度时，通过性能测试来评估系统的响应情况，测试的对象也是某些核心业务或者日常常用的组合业务。

6． 网络性能测试的因素

网络性能测试主要是为了准确展示带宽、延迟、吞吐量、负载、瓶颈和端口的变化是如何影响用户的响应时间的。重点测试吞吐量指标，因为80%的系统性能瓶颈由吞吐量造成。

性能测试的方法

性能测试方法主要有：能力验证、规划性能、性能调优、压力加载、性能下降曲线分析。

1． 能力验证

能力验证强调：系统具备的硬件设备、软件环境、网络条件、基础数据。能力验证使用到可靠性测试、压力测试、失效恢复测试 。

规划性能

规划性能关心的是要求系统具有的性能，强调系统配置，使系统能够满足增长的用户数的需要等问题。规划性能使用到负载测试、配置测试、压力测试。

3． 性能调优

性能调优关心的是要求系统确定基准环境、基准负载和基准性能指标；调整系统运行环境和实现方法；记录测试结果、进行测试分析。

4． 压力加载

压�...

【导读推荐】

经过多年的发展，银行业信息化已取得了长足的进展，已建成了众多的信息系统，那么这些大型企业在信息系统和软件采购选型过程中主要考量哪些因素？他们是如何做比较和选择的？

云计算、SaaS、大数据、智能化、移动互联网等新技术的普及对这些企业选型有什么样的影响？带着这些问题，易选型对国内某股份制商业银行信息部负责人进行了采访。

这期用户访谈的问题很具代表性，对面临选型问题的用户很有借鉴意义。

这是易选型【选型者说】第1期。

来 源丨易选型

嘉 宾丨张永宏（商业银行资深技术专家)

主持人丨海 峰（易选型顾问）

主持人：经过多年的发展，贵行已经建立了很多信息化系统，请您简单介绍一下贵行主要的信息系统和软件应用情况。

嘉宾：银行的信息系统其实都是大同小异，基本上是两大类，一类是业务系统，银行提供服务的这些系统，另外一类就是内部管理系统。现在业务系统这一块做得都比较成熟了，我行去年上了新一代核心业务系统，包括新一代信用卡服务，新的大数据服务系统等；内部管理系统包括OA、财务等，对于商业银行来说，内部管理还包括各种宣传渠道、绩效管理、考核等等。

根据去年的统计数据，我行已建信息系统有149个。银行核心业务系统和银行信用卡服务系统是用的IBM大型机，其他的是IBM小型机和他们开发的X86这种形态，是普通的架构设计。此外，数据库是DB2的，虚拟化平台是VMware的,还有不少软硬件产品都是国内厂商的。

在数据中心建设方面，我行建成了两地三中心的数据中心，分别是主数据中心、同城灾备中心和异地灾备中心。主数据中心如果有异常，系统就切换到同城灾备中心，如果主数据中心和同城灾备中心一带发生比较严重的自然灾害或者是供电故障，就切换到异地灾备中心。这些数据中心主要是为生产系统服务的，非生产系统如内部管理系统一般无需异地备份。

主持人：这些信息系统和软件对贵行的业务和管理有比较大的提升作用吗？

嘉宾：确实是，因为从基础软件架构来说，技术软件在功能方面可能差不多，主要看性能方面，性能是很重要的，关键时刻就看出来了。比如双十一晚上的零点抢购，业务量大，压力很大，今年数据我没有看，去年的数据我行双十一晚上的量是所有商业银行中最大的，因为信用卡数量最多，所以信用卡系统和整个交易流水的峰值也很高的，每秒三万多，如果没有成熟的软件架构，这些都是达不到的。

主持人：刚才谈到我们现在已经应用的很多系统和软件，从选型上来看我们当时选择这些厂商是出于什么样的考虑？看重哪些因素？

嘉宾：商业银行每个项目采购之前都是根据功能需求，我们不是简单对待招标的模式，根据功能需求邀请各个厂商提供简要的技术方案讲解，而且提供实地的测试环境，进行技术性能测试，最后才走邀标环节。

先进行技术测试，厂商先对他们的产品进行讲解，再进行技术性的演示和测试，测试通过的才会走到邀请参加招标环节。在技术测试这个环节会筛掉好多厂家，尤其是软件平台。在市场营销讲解这个环节，各个厂商都讲得很好，但其实产品水分挺大的，因为软件的东西不好估计，为了拿标你说什么他都答应，但是实际做起来又不能如期完成，或者完成跟你的预想有很大差距，所以我们就采用比较保守稳妥的方式——现场性能测试。

有采购需求时每次根据平台不同，在公众的网站上我们都会广泛的邀请，我们过去做内部流程管理采购时，邀请每个厂商都来，厂商会讲平台先进的性能，易于维护、易于开发等等，讲完之后演示，最后进行技术的金融测试，几个厂家都测了性能差距很大，只有一个产品遥遥领先，那只能跟他谈价格了，这种情况跟他谈价格肯定也比较困难。

总的来说，性能是我们首要看重的，如果说在测试中很优秀的，才会进入下一轮，从制度上要求都要进行招标，在招标环节看厂商的服务和价格了。

主持人：能否举一个案例，再详细介绍一下贵单位软件选型的过程？

嘉宾：在招标过程中说几轮大的几轮小的都没什么意义，因为大的方案都跟IBM绑定了。像我行现在的内部流程管理系统，这个自己开发也可以，但是比较慢、效率很低。现在有好多这种电子流程平台，比协同办公更灵活一些，有工作流引擎。我们先邀请十几家厂家，进行讲解和测试，如果我们感觉基于你的平台我们在上面开发比较方便，你的功能可以满足我行的基本要求，我们才会继续探讨，进入系统测试环节，安装好之后厂商的工程师现场演示，再进行测试，再做标书，邀请的这几家厂商根据以往标书的规范写出来。

现场测试如果我们觉得具备这个实力就不用写标书了。一般的话在技术功能已经保证的前提下，会有一些其他方面的资质评分，比如说技术服务的成本，包括平台建成后的上门服务、培训；还有一些财务方面的，付款方式；还有额外服务，包括软件优化、升级，包括版权是可以安装多份还是只准一个，等等。

主持人：那最后这个内部流程管理系统选择了哪一家厂商？

嘉宾：内部流程管理系统最后选的是泛微，我们也经过好几轮选择，厂商承诺的服务也不一样，我们还要求厂商在广州设有分公司。另外现在采购中，银监会和人民银行也有要求，要求自主可控，同等差不多的情况下会优先考虑国内厂商的产品。

主持人：这几年新技术的应用越来越广泛，比如说云、SaaS、大数据&人工智能、移动互联网等，国家也出台了很多政策，大力推动这些技术的行业应用，您觉得银行业目前对这些新技术的接受程度如何？贵单位的应用情况如何？

问：大数据在商业银行及贵行的应用情况如何？

嘉宾：在新技术应用方面银行业走得算是比较靠前的，我行首先在大型机方面做了好多工作，用在了风险控制、个人放贷、不良资产的预判等方面。在您上面提到的新技术中，我行对大数据的应用做了不少尝试，在信用卡发放、欠债人员追逃、征信调查等方面得到了应用。比如，我们会把所有的数据输入进去，来进行诚信辨别，发现漏洞，这个用手工是很难鉴别的。

在人工智能的应用上，我行上了一个智能投顾系统，智能投资顾问，客户签约了会收费用但收费比较低。智能投顾系统可以根据数据帮助客户做真实的风险评估，给客户推荐股票基金配置，自动推送给客户。而且随着市场变化，什么时候该买入什么时候该卖出了，都会有提醒。而且，智能投顾会根据你是激进型还是稳健型给你建议。这个系统最近三四个月的表现还是不错的。这个系统应用了两种技术，一个根据大数据，根据以往业绩进行智能评价，另一个是根据个人的情况进行智能化的推送，结合个人的风险偏好和收益。

不知我行的这个智能投顾系统是不是国内第一家，这个东西市场上可能会有，但证券公司肯定没有做出的，因为证券公司要做出智能投顾那分析师就失业了，而且证券的信息化应用水平会比银行落后一点。总的来说，我对大数据在银行的应用是很看好的，现在才刚刚开始。

问：银行目前还是倾向于私有云吗？对公有云的接受度是否有所提高？

嘉宾：目前银行在云计算的部署上主要还是考虑私有云，银行对公有云的态度还是比较保守，这主要出于对金融安全的考虑。银行需要清楚数据在哪台服务器上，已备份的数据是否已销毁，等等，这些问题在公有云上保证不了。

问：根据您了解的情况，SaaS在银行业的应用情况如何？

嘉宾：SaaS在所有银行中都有应用。不过对于小型村镇银行来说，他们许多管理或业务系统更多的选择云服务。而部署SaaS产品比较方便，即开即用，非常便捷，而且软件功能类似，在经济上节省成本，很适合村镇银行。目前这些银行的SaaS应用环节主要还是在业务上。浪潮在这方面做得比较好，他们建了一个云服务中心，为中小企业、中小银行搭建服务平台，产品功能也不少。

*本文由「易选型」原创，转载／投稿／选型线索等快来私信我吧。

【选型者说】第2期，我们访谈了业内著名的连锁健身行业，在他们已拥有自行研发的综合管理软件后，为什么还要大力布局营销CRM？他们希望解决的问题和最终带来的价值是怎样的关系？请持续关注易选型。

下载易选型APP，看企服最新动态！

什么是大数据

大数据是指无法在一定时间范围内用传统的计算机技术进行处理的海量数据集。

对于大数据的测试则需要不同的工具、技术、框架来进行处理。

大数据的体量大、多样化和高速处理所涉及的数据生成、存储、检索和分析使得大数据工程师需要掌握极其高的技术功底。

需要你学习掌握更多的大数据技术、Hadoop、Mapreduce等等技术。

大数据测试策略

大数据应用程序的测试更多的是去验证其数据处理而不是验证其单一的功能特色。

当然在大数据测试时，功能测试和性能测试是同样很关键的。

对于大数据测试工程师而言，如何高效正确的验证经过大数据工具/框架成功处理过的至少百万兆字节的数据将会是一个巨大的挑战。

因为大数据高效的处理测试速度，它要求测软件工程师具备高水平的测试技术才能应对大数据测试。

我们来看下大数据处理的三个特性：

大批量

实时性

可交互

另外，数据质量也同样是大数据测试的一个重要维度。

因此在进行应用程序测试之前，必须确保数据质量，并且考虑把数据质量作为数据库测试的一部分。涉及数据的各种特性的检验，例如一致性、准确性、重复性、连贯性、有效性及完整性等等。

大数据应用测试步骤

下面我们一起看看大数据应用的测试过程是怎么样的。

大数据测试过程.png

整体而言，大数据测试大体可以分为三大步骤：

步骤一，数据预处理验证在进行大数据测试时，首先要预hadoop前验证数据的准确性等等。

我们数据来源可能是关系数据库、日志系统、社交网络等等，所以我们应该确保数据能正确的加载到系统中

我们要验证加载的数据和源数据是一致的

我们要确保正确的提取和加载数据至hdfs中

步骤二，Map Reduce验证在进行大数据测试时，第二个关键步骤是“Map Reduce”验证。在本阶段，我们主要验证每一个处理节点的业务逻辑是否正确，并验证在多个运行后，确保：

Map Reduce过程工作正常

数据聚合、分离规则已经实现

数据key-value关系已正确生成

验证经过map reduce后数据的准确性等特性

步骤三，结果验证在本阶段主要验证在经过大数据工具/框架处理后，生成的最终数据的成果。

主要验证：

验证数据转换规则是否正确应用

验证数据的完整性和是否成功持久化到目标系统

验证无数据损坏

架构测试

Hadoop处理海量数据是非常的消耗资源的，良好的架构是确保大数据项目成功的基础。糟糕的涉及会导致性能急剧的下降，进而使得系统无法满足我们的需要，因此我们需要，或是说至少在Hadoop环境下进行性能测试、故障恢复测试，以应改进效率和应对可能的最糟糕的情况。

性能测试是一个复杂的工作，它贯穿整个测试周期，需要关注内存、CPU、网络等等指标。

故障恢复测试则是验证数据处理过程中可能出现的故障，为做好意外的恢复做好相应的应对措施。

性能测试

大数据性能测试主要包含以下几个部分：

数据提取、存储效率

在本阶段，我们主要验证大数据应用从源数据中提取、加载数据的效率。

一是验证单位时间内数据的提取、加载效率。

二是验证数据持久化至mongodb等库的效率等等

数据处理

在本阶段，我们验证map reduce任务的执行效率，重点关注的是数据处理的效率。当然这个过程可能也会涉及到数据的持久化相关指标，例如存储至HDFS读写效率等等，同样也会涉及在内存中处理效率，即我们的处理算法效率等等

子组件性能

大数据处理，一般都会需要综合利用各种组件来辅助处理，所以我们也是需要关注这些辅助组件的性能

性能测试策略

大数据应用性能测试涉及海量的结构化和非结构化的数据，与我们平时所面对的业务系统有所不同，所以我们需要针对大数据应用制定特定的测试策略，以应对海量的数据。

大数据测试策略.png

根据上图性能测试执行过程一般是这样的：

在性能测试前需要先初始化大数据集群环境

梳理和设计大数据性能测试场景

准备大数据性能测试脚本

执行并分析测试结果（如果指标异常，则调优相应的组件并重新测试）

优化配置

性能测试基础准备

在大数据性能测试时，需要准备相关的基础工作，如下：

数据准备，我们需要在不同的节点准备什么量级数据？

日志预估，在测试过程中，可能会生成多大的日志，日志的可能增量是什么样的？

并发，在测试时，可能会有多少线程并发读和写？

超时设置，应对设置怎样的连接超时？查询超时？写超时等等？

JVM参数，如何设置最优的jvm参数，heap size、GC机制等等

Map Reduce，我们应该选择什么样的sort、merge等算法？

消息队列，消息队列长度会怎么样？等等

必备的测试环境

大数据测试不同于常规的应用测试，你应该具备以下一些基础环境：

拥有足够的存储设备来存储和处理大数据

拥有集群来做分布式节点和数据处理

至少拥有足够的cpu、内存来确保有高性能的处理基础

大数据测试的挑战

对于从事大数据测试的软件测试工程师而言，与传统的测试工作相对比，我们可能面临的以下几个可能的挑战：

自动化自动化测试是从事大数据测试必备的技术，但自动化测试工具可能并不具备处理测试过程所引发的异常的能力，意味着现有工具可能并不适用，编程能力将是更好的一种技能。

虚拟化当前业内大规模使用虚拟化技术，但虚拟机的延迟有可能造成大数据实时测试处理的异常。

对大数据而言，管理影像信息也将是一个巨大的问题。

海量数据集

需要验证的数据量巨大，而且需要更快的处理速度

需要有效的自动化测试手段

需要尽可能的跨平台

大数据性能测试的挑战

对于从是大数据性能测试，与传统性能测试相比较，我们要面临是样的挑战呢，可能有以下几个方面：

技术的多样化，复杂化，面对不同的大数据解决方案，我们可能需要掌握不同的技术和定制不同的测试解决方案

无通用的工具，目前业界暂无通用的标准的大数据性能测试工具，这意味着我们需要根据大数据应用解决方案技术，要自行开发或整合多种相关工具才可能解决问题

测试环境复杂化，因为海量的数据，我们所需要测试环境亦会更加复杂，所消耗的基础成本会更高

监控解决方案，目前有的监控解决方案有限，但通过整合不同的监控工具，大致可能拥有一套相对可行的监控解决方案

诊断方案，由于大数据应用所涉及的技术、环境复杂性，对于问题的诊断调优，我们需要根据实际情况来进行开发定制

从上面几个方面来看，从事大数据性能测试所要面临的问题是相对复杂的，尤其对当下国内的测试工程师而言，要走的路还很长，很艰难。

小结

随着大数据工程和数据分析逐步的进入新的阶段，大数据测试将成为必然，也必定成为未来的一个热门的职业方向

大数据处理必须是批量的，实时的、可交互的

大数据应用测试的三大阶段：

数据验证

Map Reduce 验证

数据处理结果验证

架构测试也是非常重要的一个测试类型，糟糕的架构可能直接导致您的大数据项目的失败

性能测试三大节点：

数据提取、存储效率

数据处理效率

子组件工作效率

大数据测试不同于传统的测试，不仅仅是类型、策略的不同，工具等具体技术都会有区别

大数据因其复杂性，其测试所面临的挑战也会不同于传统的测试

大数据性能测试将会是软件测试工程师进一步艰难攻克的目标之一

我的微信号: 开源优测未经允许，禁止转载，谢谢

什么是大数据

大数据是指无法在一定时间范围内用传统的计算机技术进行处理的海量数据集。

对于大数据的测试则需要不同的工具、技术、框架来进行处理。

大数据的体量大、多样化和高速处理所涉及的数据生成、存储、检索和分析使得大数据工程师需要掌握极其高的技术功底。

需要你学习掌握更多的大数据技术、Hadoop、Mapreduce等等技术。

大数据测试策略

大数据应用程序的测试更多的是去验证其数据处理而不是验证其单一的功能特色。

当然在大数据测试时，功能测试和性能测试是同样很关键的。

对于大数据测试工程师而言，如何高效正确的验证经过大数据工具/框架成功处理过的至少百万兆字节的数据将会是一个巨大的挑战。

因为大数据高效的处理测试速度，它要求测软件工程师具备高水平的测试技术才能应对大数据测试。

我们来看下大数据处理的三个特性：

大批量实时性可交互另外，数据质量也同样是大数据测试的一个重要维度。

因此在进行应用程序测试之前，必须确保数据质量，并且考虑把数据质量作为数据库测试的一部分。涉及数据的各种特性的检验，例如一致性、准确性、重复性、连贯性、有效性及完整性等等。

大数据应用测试步骤

下面我们一起看看大数据应用的测试过程是怎么样的。

整体而言，大数据测试大体可以分为三大步骤：

步骤一，数据预处理验证在进行大数据测试时，首先要预hadoop前验证数据的准确性等等。我们数据来源可能是关系数据库、日志系统、社交网络等等，所以我们应该确保数据能正确的加载到系统中我们要验证加载的数据和源数据是一致的我们要确保正确的提取和加载数据至hdfs中步骤二，Map Reduce验证 在进行大数据测试时，第二个关键步骤是“Map Reduce”验证。在本阶段，我们主要验证每一个处理节点的业务逻辑是否正确，并验证在多个运行后，确保：Map Reduce过程工作正常数据聚合、分离规则已经实现数据key-value关系已正确生成验证经过map reduce后数据的准确性等特性步骤三，结果验证 在本阶段主要验证在经过大数据工具/框架处理后，生成的最终数据的成果。主要验证：

验证数据转换规则是否正确应用验证数据的完整性和是否成功持久化到目标系统验证无数据损坏架构测试

Hadoop处理海量数据是非常的消耗资源的，良好的架构是确保大数据项目成功的基础。糟糕的涉及会导致性能急剧的下降，进而使得系统无法满足我们的需要，因此我们需要，或是说至少在Hadoop环境下进行性能测试、故障恢复测试，以应改进效率和应对可能的最糟糕的情况。

性能测试是一个复杂的工作，它贯穿整个测试周期，需要关注内存、CPU、网络等等指标。

故障恢复测试则是验证数据处理过程中可能出现的故障，为做好意外的恢复做好相应的应对措施。

性能测试

大数据性能测试主要包含以下几个部分：

数据提取、存储效率在本阶段，我们主要验证大数据应用从源数据中提取、加载数据的效率。

一是验证单位时间内数据的提取、加 载效率。

二是验证数据持久化至mongodb等库的效率等等

数据处理在本阶段，我们验证map reduce任务的执行效率，重点关注的是数据处理的效率。当然这个过程可能也会涉及到数据的持久化相关指标，例如存储至HDFS读写效率等等，同样也会涉及在内存中处理效率，即我们的处理算法效率等等

子组件性能大数据处理，一般都会需要综合利用各种组件来辅助处理，所以我们也是需要关注这些辅助组件的性能

性能测试策略

大数据应用性能测试涉及海量的结构化和非结构化的数据，与我们平时所面对的业务系统有所不同，所以我们需要针对大数据应用制定特定的测试策略，以应对海量的数据。

根据上图性能测试执行过程一般是这样的：

在性能测试前需要先初始化大数据集群环境梳理和设计大数据性能测试场景准备大数据性能测试脚本执行并分析测试结果（如果指标异常，则调优相应的组件并重新测试）优化配置性能测试基础准备

在大数据性能测试时，需要准备相关的基础工作，如下：

数据准备，我们需要在不同的节点准备什么量级数据？日志预估，在测试过程中，可能会生成多大的日志，日志的可能增量是什么样的？并发，在测试时，可能会有多少线程并发读和写？超时设置，应对设置怎样的连接超时？查询超时？写超时等等？JVM参数，如何设置最优的jvm参数，heap size、GC机制等等Map Reduce，我们应该选择什么样的sort、merge等算法？消息队列，消息队列长度会怎么样？等等必备的测试环境

大数据测试不同于常规的应用测试，你应该具备以下一些基础环境：

拥有足够的存储设备来存储和处理大数据拥有集群来做分布式节点和数据处理至少拥有足够的cpu、内存来确保有高性能的处理基础大数据测试的挑战

对于从事大数据测试的软件测试工程师而言，与传统的测试工作相对比，我们可能面临的以下几个可能的挑战：

自动化自动化测试是从事大数据测试必备的技术，但自动化测试工具可能并不具备处理测试过程所引发的异常的能力，意味着现有工具可能并不适用，编程能力将是更好的一种技能。虚拟化 当前业内大规模使用虚拟化技术，但虚拟机的延迟有可能造成大数据实时测试处理的异常。对大数据而言，管理影像信息也将是一个巨大的问题。

海量数据集需要验证的数据量巨大，而且需要更快的处理速度需要有效的自动化测试手段需要尽可能的跨平台大数据性能测试的挑战

对于从是大数据性能测试，与传统性能测试相比较，我们要面临是样的挑战呢，可能有以下几个方面：

技术的多样化，复杂化，面对不同的大数据解决方案，我们可能需要掌握不同的技术和定制不同的测试解决方案无通用的工具，目前业界暂无通用的标准的大数据性能测试工具，这意味着我们需要根据大数据应用解决方案技术，要自行开发或整合多种相关工具才可能解决问题测试环境复杂化，因为海量的数据，我们所需要测试环境亦会更加复杂，所消耗的基础成本会更高监控解决方案，目前有的监控解决方案有限，但通过整合不同的监控工具，大致可能拥有一套相对可行的监控解决方案诊断方案，由于大数据应用所涉及的技术、环境复杂性，对于问题的诊断调优，我们需要根据实际情况来进行开发定制从上面几个方面来看，从事大数据性能测试所要面临的问题是相对复杂的，尤其对当下国内的测试工程师而言，要走的路还很长，很艰难。

小结

随着大数据工程和数据分析逐步的进入新的阶段，大数据测试将成为必然，也必定成为未来的一个热门的职业方向大数据处理必须是批量的，实时的、可交互的大数据应用测试的三大阶段：数据验证Map Reduce 验证数据处理结果验证架构测试也是非常重要的一个测试类型，糟糕的架构可能直接导致您的大数据项目的失败性能测试三大节点：数据提取、存储效率数据处理效率子组件工作效率大数据测试不同于传统的测试，不仅仅是类型、策略的不同，工具等具体技术都会有区别大数据因其复杂性，其测试所面临的挑战也会不同于传统的测试大数据性能测试将会是软件测试工程师进一步艰难攻克的目标之一

注：本文参考的资料包括但不限于IBM、Microsoft、hadoop、spark、apache等等官方网站