一 数据分析处理需求分类

1 事务型处理

在我们实际生活中，事务型数据处理需求非常常见，例如：淘宝网站交易系统、12306网站火车票交易系统、超市POS系统等都属于事务型数据处理系统。

这类系统数据处理特点包括以下几点：

一是事务处理型操作都是细粒度操作，每次事务处理涉及数据量都很小。

二是计算相对简单，一般只有少数几步操作组成，比如修改某行的某列;

三是事务型处理操作涉及数据的增、删、改、查，对事务完整性和数据一致性要求非常高。

四是事务性操作都是实时交互式操作，至少能在几秒内执行完成;

五是基于以上特点，索引是支撑事务型处理一个非常重要的技术。

在数据量和并发交易量不大情况下，一般依托单机版关系型数据库，例如ORACLE、MYSQL、SQLSERVER，再加数据复制(DataGurad、 RMAN、MySQL数据复制等)等高可用措施即可满足业务需求。

在数据量和并发交易量增加情况下，一般可以采用ORALCE RAC集群方式或者是通过硬件升级(采用小型机、大型机等，如银行系统、运营商计费系统、证卷系统)来支撑。

事务型操作在淘宝、12306等互联网企业中，由于数据量大、访问并发量高，必然采用分布式技术来应对，这样就带来了分布式事务处理问题，而分布式事务处理很难做到高效，因此一般采用根据业务应用特点来开发专用的系统来解决本问题。

2 数据统计分析

数据统计主要是被各类企业通过分析自己的销售记录等企业日常的运营数据，以辅助企业管理层来进行运营决策。典型的使用场景有：周报表、月报表等固定时间提供给领导的各类统计报表;市场营销部门，通过各种维度组合进行统计分析，以制定相应的营销策略等。

数据统计分析特点包括以下几点：

一是数据统计一般涉及大量数据的聚合运算，每次统计涉及数据量会比较大。

二是数据统计分析计算相对复杂，例如会涉及大量goupby、 子查询、嵌套查询、窗口函数、聚合函数、排序等;有些复杂统计可能需要编写SQL脚本才能实现。

三是数据统计分析实时性相对没有事务型操作要求高。但除固定报表外，目前越来越多的用户希望能做做到交互式实时统计;

传统的数据统计分析主要采用基于MPP并行数据库的数据仓库技术。主要采用维度模型，通过预计算等方法，把数据整理成适合统计分析的结构来实现高性能的数据统计分析，以支持可以通过下钻和上卷操作，实现各种维度组合以及各种粒度的统计分析。

另外目前在数据统计分析领域，为了满足交互式统计分析需求，基于内存计算的数据库仓库系统也成为一个发展趋势，例如SAP的HANA平台。

3 数据挖掘

数据挖掘主要是根据商业目标，采用数据挖掘算法自动从海量数据中发现隐含在海量数据中的规律和知识。

数据挖掘主要过程是：根据分析挖掘目标，从数据库中把数据提取出来，然后经过ETL组织成适合分析挖掘算法使用宽表，然后利用数据挖掘软件进行挖掘。传统的数据挖掘软件，一般只能支持在单机上进行小规模数据处理,受此限制传统数据分析挖掘一般会采用抽样方式来减少数据分析规模。

数据挖掘的计算复杂度和灵活度远远超过前两类需求。一是由于数据挖掘问题开放性，导致数据挖掘会涉及大量衍生变量计算，衍生变量多变导致数据预处理计算复杂性;二是很多数据挖掘算法本身就比较复杂，计算量就很大，特别是大量机器学习算法，都是迭代计算，需要通过多次迭代来求最优解，例如K-means聚类算法、PageRank算法等。

因此总体来讲，数据分析挖掘的特点是:

1、数据挖掘的整个计算更复杂，一般是由多个步骤组成计算流，多个计算步骤之间存在数据交换，也就是会产生大量中间结果，难以用一条sql语句来表达。

2、计算应该能够非常灵活表达，很多需要利用高级语言编程实现。

二 大数据背景下事务型处理系统相关技术

在google、facebook、taobao等大互联网公司出现之后，这些公司注册和在线用户数量都非长大，因此该公司交易系统需要解决“海量数据+高并发+数据一致性+高可用性”的问题。

为了解决该问题，从目前资料来看，其实没有一个通用的解决方案，各大公司都会根据自己业务特点定制开发相应的系统,但是常用的思路主要包括以下几点：

(1)数据库分片，结合业务和数据特点将数据分布在多台机器上。

(2)利用缓存等机制，尽量利用内存，解决高并发时遇到的随机IO效率问题。

(3)结合数据复制等技术实现读写分离，以及提高系统可用性。

(4)大量采用异步处理机制，对应高并发冲击。

(5)根据实际业务需求，尽量避免分布式事务。

1相关系统介绍

1) 阿里CORBAR系统

阿里COBAR系统是一个基于MYSQL数据库的分布式数据库系统，属于基于分布式数据库中间件的分布式数据库系统。该系统是前身是陈思儒开发的“变形虫”系统(以前调研过)，由于陈思儒离开阿里去了盛大，阿里当心“变形虫”稳定性等问题，重新开发该项目。

该系统主要采用数据库分片思路，实现了：数据拆分、读写分离、复制等功能。由于此系统由于只需要满足事务型操作即可，因此相对真正并行数据库集群(例如TeraData等)，此类系统提供操作没有也不需要提供一些复杂跨库处理，因此该系统存在以下限制：

(1)不支持跨库的join、分页、排序、子查询。

(2)insert等变更语句必须包括拆分字段等。

(3)应该不支持跨机事务(以前变形虫不支持)。

说白了此类系统不具备并行计算能力,基本上相当于数据库路由器!

另外此类系统的在实际应用的关键问题是，根据什么对数据进行切分，因为切分不好会导致分布式的事务问题。

2) 阿里OceanBase系统

该系统也是淘宝为了解决高并发、大数据环境下事务型处理而定制开发的一个系统。该系统主要思路和特点如下：

(1)他们发现在实际生成环境中，每天更新的数据只占总体数据的1%不到，因此他们把数据分为：基线数据和增量更新数据。

(2)基线数据是静态数据，采用分布式存储方式进行存储。

(3)只在一台服务器上存储和处理增量更新数据，并且是在内存中存储和处理更新数据。

(4)在系统负载轻的时候，把增量更新批量合并到基线数据中。

(5)数据访问时同时访问基线数据和增量更新数据并合并。

因此这样好处是：

(1)读事务和写事务分离

(2)通过牺牲一点扩展性(写是一个单点)，来避免分布式事务处理。

说明：该系统虽然能处理高并发的事务型处理，号称很牛逼，但其实也只是根据电商的事务处理来定制开发的专用系统，个人认为其技术难度小于oracle等通用型的数据库。该系统无法应用到银行或者12306等，因为其事务处理的逻辑远远比电商商品买卖处理逻辑复杂。

在目前的大数据时代，一定是基于应用定制才能找到好的解决方案!

3) 基于Hbase的交易系统

在hadoop平台下，HBASE数据库是一个分布式KV数据库，属于实时数据库范畴。支付宝目前支付记录就是存储在HBASE数据库中。

HBASE数据库接口是非SQL接口，而是KV操作接口(基于Key的访问和基于key范围的scan操作)，因此HBASE数据库虽然可扩展性非常好，但是由于其接口限制导致该数据库能支持上层应用很窄。基于HBASE应用的设计中，关键点是key的设计，要根据需要支持的应用来设计key的组成。

可以认为HBASE数据库只支持作为KEY的这一列的索引。虽然目前HBASE有支持二级索引的方案，二级索引维护将会比较麻烦。

2并发和并行区别

并发是指同时执行通常不相关的各种任务，例如交易型系统典型属于高并发系统。

并行是通过将一个很大的计算任务，划分为多个小的计算任务，然后多个小计算任务的并行执行，来缩短该计算任务计算时间。

两者主要区别在于：

(1)通讯与协调方面：在并行计算中，由于多个小任务同属一个大的计算任务，因此小任务之间存在依赖关系，小任务之间需要大量通讯和协调;相反，并发中的多个任务之间基本相互独立，任务与任务之间相关性很小。

(2)容错处理方面：由于并发任务之间相互独立，某个任务执行失败并不会影响其它的任务。但是并行计算中的多个任务属于一个大任务，因此某个子任务的失败，如果不能恢复(粗粒度容错与细粒度容错)，则整个任务都会失败。

3本章总结

数据量大不一定需要并行计算，虽然数据量大，数据是分布存储，但是如果每次操作基本上还是针对少量数据，因此每次操作基本上都是在一台服务器上完成，不涉及并行计算。只是需要通过数据复制、数据缓存、异步处理等方式来支撑高并发访问量

三 大数据背景下数据统计分析技术介绍

随数据量变大，和事务处理不同的是，单个统计分析涉及数据量会非常大，单个统计分析任务涉及数据会分散在多台服务器上，且由于计算量大，采用单台服务器进行计算，会导致计算时间非常长，单个统计分析任务必须采用并行计算方式来加快单个统计分析任务执行速度。

1并行查询与并行计算技术介绍

在大数据背景下的数据统计分析技术门类很多，常见的有：

n MPP并行数据库 : TeraData、GreenPlum、Vertica等。

n 基于MapReduce并行计算框架的数据仓库：

HIVE(Hadoop平台) 、Tenzing(Google公司)

n 基于Hbase的Phoenix系统

n HadoopDB系统

n EMC公司的hapt系统

n MPP分布式查询引擎： Dremel、Impala、Presto、Shard query、Citusdb。

n 基于SPARK的Shark、基于Dryad的SCOPE、基于Tez的stinger。

n 基于hadoop+index的JethroData系统

n 基于内存计算的Druid系统

这些系统都解决了海量数据下的数据统计分析的问题，并且这些系统另外一个共同特点是都提供了SQL或者类SQL接口。

为了能够较好研究这些系统，我们需要对并行查询与并行计算的相关技术做一个简要的介绍。

首先所有的系统都可以分为三个层次: 语义层、并行计算引擎层、分布式存储层。语义层提供一个编程接口让用户表达所需要计算，并负责把该计算翻译成底层并行计算引擎可以执行的执行计划，并由并行计算引擎来执行，最下面一层是分布式存储层。

对于提供类SQL接口并行计算系统，语义层可以认为是SQL解析层。

1) 语义层

SQL语言是一种声名式语言，SQL只是表达了要做什么，而没有表达怎么做。为此，SQL解析层主要作用是：将用户提交的基于SQL的统计分析请求，转化为底层计算引擎层可以执行的执行计划。也就是解决“怎么做”的问题。

SQL解析层工作主要包括两个大方面:

(1) 通过语法分析技术来理解要做什么。在关系数据库中，一般会把SQL语言分析后，形成树型结构的执行计划。

(2) 在语法分析技术上，利用各种优化技术和算法，找出一种最经济物理执行计划。

优化可以分为两个方面：一是逻辑层面优化、二是物理执行层面优化。

(1) 逻辑层优化

逻辑层面个人认为主要是因为同样表达一个分析请求，有的人SQL写的好，有的人SQL写的烂，因此在逻辑层面可以通过一些等价关系代数变换，实现查询重写，将写的比较烂的sql变换为好的写法。

比较典型优化是：“把投影和过滤下沉，先执行过滤和投影操作”，减少中间结果。

(2) 物理层优化

物理层面优化是在逻辑优化后，结合实际物理执行过程，找出最优的物理执行计划。生成物理查询计划的工作包括:

ü 增加一些操作符： 包括扫描和排序等。

ü 确定各个操作符实现算法。例如扫描是全表扫描还是利用索引;Join是采用HASH连接、索引连接、合并排序等实现算法中的那一种。

ü 确定操作符之间的数据流转方法：物化还是流水线方式。

ü 采用基于代价估算方法确定最优的物理执行计划，目前代价估算主要是以估算该物理计划需要的IO量。另外对于并行数据库，则还要考虑通讯代价，即尽量减少数据在各个机器之间的传递。

在物理层优化的代价估算过程中，代价估算需要依靠很多统计信息，如表有多大，表中相关列的值分布是什么样子等。传统数据库在数据Load过程中会事先计算好这些统计信息。并行计算中还需要考虑通讯代价。

需要指出是，由于imapla、Presto、HIVE等系统只是一个查询引擎，它们可以直接查询以普通文件方式存储在HDFS系统上的文件，因此这些系统一般无法使用索引和各种统计信息来进行物理执行计划的优化，这些系统一般只能在逻辑层进行一些基于规则静态优化。根据SHARK论文，SHARK系统支持根据前面一些节点计算获得的信息，来动态优化后面执行计划。

(3) 物化与流水线执行方法

一条SQL语句对开发人员而言，感觉只是一次调用，但是实际上在数据库内部，一条SQL语句执行其实是有多个操作符组合而成的的树型结构计算流。如下图：

针对该计算流有两种执行方式：一是基于物化或者是实体化执行方式，另外一种是基于数据流的执行方式。

第一种方法的过程是： 把各个操作运算排序，并把每个操作运算的输出的中间结果存储在磁盘上，直到被另外一个操作运算所...

文|小天文章源自：起点学院学习联盟

在小白们眼里，大神们的数据分析报表基本上是这样的……

要么就是像这样的……

而大部分人，差不多是这样的……

啊多么痛的领悟……

怎样才能又快又好地做出一份高颜值的数据报表呢？带着立志要把这样的图表从癞蛤蟆脱胎成白天鹅的坚定和悲壮，这里搜集了5个笔者之前用过，用户评价不错，用起来还顺手的可视化数据平台。

话不多说，直接上正文。如果你也有推荐的平台，欢迎留言分享~

-1-Echarts

没想到这个第一次用就惊艳到我的产品竟然是国产，而且还来自百度，简直堪称良心。先上几张用Echarts制作的效果图。

貌似很多小伙伴喜欢用Echarts制作地图类的可视化效果……毕竟酷炫……

除了这些惊艳的地图，Echarts同样可以运用于散点图、折线图、柱状图等这些常用的图表的制作。

如果你需要展示实时变化的数据，相信Echarts里的动态接口会对你十分有帮助。

Echarts的优点在于，文件体积比较小，打包的方式灵活，可以自由选择你需要的图表和组件。而且图表在移动端有良好的自适应效果，还有专为移动端打造的交互体验。

-2-Highcharts

这个也是很多小伙伴在使用的一个平台。完全不用担心找不到参考的样图，因为已经有很多中国区的用户在上面更新并维护着很多实例，你往往能从这些丰富的例子找到类似的表达样图。

它的图表类型自然也是很丰富啦，线图、柱形图、饼图、散点图、仪表图、雷达图、热力图、混合图等类型的图表都可以制作，也可以制作实时更新的曲线图。

Highcharts对非商用免费，对于个人网站，学校网站和非盈利机构，可以不经过授权直接使用Highcharts系列软件。Highcharts还有一个好处在于，它完全基于HTML5技术，不需要安装任何插件，也不需要配置PHP、Java等运行环境，只需要两个JS文件即可使用。

-3-帆软报表（FineReport）

FineReport的可视化效果虽然没有上面两种那么酷炫，因为定位是报表软件。但是赢在操作相当简易，不会上面那些复杂的代码也没关系。它采用类似于Excel的编辑器，只需要点选拖拽等操作，拖动数据列绑定至对应单元格，简单设置就可以在web端查看数据展示。

目前，它有普通报表、聚合报表和决策报表三类报表设计模式，基本可以满足企业各类日常数据分析的情景需求。

数据的可视化与交互效果也很不错。最牛逼的可以做高大上的动态报表

还有一个比较强大的地方，就是它的数据填报。区别于传统意义上只能做数据展示的报表，FineReport允许用户对数据库的增删改。而且，它填报报表的流程非常简单，只要四步：报表设计、控件添加、设置填报属性和填报录入，这样，填报工作就能轻松搞定啦~

-4-数说立方

数说立方是大数据应用与服务提供商“数说故事”旗下一款面向数据分析师的在线商业智能产品。在数据的可视化呈现方面，操作比较简便，即使是非数据分析的专业人员，也能轻松实现。

同时，它的实时数据可视化引擎也能让使用者可以第一时间获得数据的可视化反馈，直观地了解到数据的变化情况。

-5-PowerBI

PowerBI是微软发布的一款可视化BI工具，类似Excel升级版的大表哥。一改以往excel需要数据透视表，写大量函数的复杂特点，这款工具拖拖拽拽操作起来十分简单。

经历近半个世纪的信息化过程后，信息（数据）量呈爆炸式增长，信息（数据）处理能力快速提高，海量数据的积累与交换、分析与运用极大地促进生产效率提高，信息（数据）成为独立的生产要素。同时，信息（数据）要素显现出不同于资本、劳动力和技术等物质要素的经济特征：一是具有即时性，数据生成实时在线，处理速度快，与经济发展同步；二是信息（数据）要素的出让者并未因出让数据而丧失数据的使用价值，具有共享性特征；三是信息（数据）具有边际生产力递增性，即数据

网络分析工具可以帮助你收集、预估和分析网站的访问记录，对于网站优化、市场研究来说，是个非常实用的工具。

每一个网站开发者和所有者，想知道他的网站的完整的状态和访问信息，目前互联网中有很多分析工具，本文选取了10款最好的分析工具，可以为你提供实时访问数据。

1.GoogleAnalytics

这是一个使用最广泛的访问统计分析工具，几周前，GoogleAnalytics推出了一项新功能，可以提供实时报告。你可以看到你的网站中目前在线的访客数量，了解他们观看了哪些网页、他们通过哪个网站链接到你的网站、来自哪个国家等等。

2.Clicky

与GoogleAnalytics这种庞大的分析系统相比，Clicky相对比较简易，它在控制面板上描供了一系列统计数据，包括最近三天的访问量、最高的20个链接来源及最高20个关键字，虽说数据种类不多，但可直观的反映出当前站点的访问情况，而且UI也比较简洁清新。

3.Woopra

Woopra将实时统计带到了另一个层次，它能实时直播网站的访问数据，你甚至可以使用WoopraChat部件与用户聊天。它还拥有先进的通知功能，可让你建立各类通知，如电子邮件、声音、弹出框等。

4.Chartbeat

这是针对新闻出版和其他类型网站的实时分析工具。针对电子商务网站的专业分析功能即将推出。它可以让你查看访问者如何与你的网站进行互动，这可以帮助你改善你的网站。

5.GoSquared

它提供了所有常用的分析功能，并且还可以让你查看特定访客的数据。它集成了Olark，可以让你与访客进行聊天。

6.Mixpanel

该工具可以让你查看访客数据，并分析趋势，以及比较几天内的变化情况。

7.Reinvigorate

它提供了所有常用的实时分析功能，可以让你直观地了解访客点击了哪些地方。你甚至可以查看注册用户的名称标签，这样你就可以跟踪他们对网站的使用情况了。

8.Piwik

这是一个开源的实时分析工具，你可以轻松下载并安装在自己的服务器上。

9.ShinyStat

该网站提供了四种产品，其中包括一个有限制的免费分析产品，可用于个人和非营利网站。企业版拥有搜索引擎排名检测，可以帮助你跟踪和改善网站的排名。

10.FoxMetrics

该工具提供了实时分析功能，基于事件和特征的概念，你还可以设置自定义事件。它可以收集与事件和特征匹配的数据，然后为你提供报告，这将有助于改善你的网站。

End.

中国统计网，是国内最早的大数据学习网站。

0.Hadoop

Hadoop是一个开源框架，它允许在整个集群使用简单编程模型计算机的分布式环境存储并处理大数据。它的目的是从单一的服务器到上千台机器的扩展，每一个台机都可以提供本地计算和存储。

1.Druid

Druid是实时数据分析存储系统，Java语言中最好的数据库连接池。Druid能够提供强大的监控和扩展功能。

2.Ambari

大数据平台搭建、监控利器；类似的还有CDH

提供Hadoop集群

Ambari为在任意数量的主机上安装Hadoop服务提供了一个逐步向导。Ambari处理集群Hadoop服务的配置。

管理Hadoop集群

Ambari为整个集群提供启动、停止和重新配置Hadoop服务的中央管理。

监视Hadoop集群

Ambari为监视Hadoop集群的健康状况和状态提供了一个仪表板。

3.Spark

大规模数据处理框架（可以应付企业中常见的三种数据处理场景：复杂的批量数据处理（batch data processing）；基于历史数据的交互式查询；基于实时数据流的数据处理，Ceph:Linux分布式文件系统。

4.Storm

Storm是一个免费开源、分布式、高容错的实时计算系统。Storm令持续不断的流计算变得容易，弥补了Hadoop批处理所不能满足的实时要求。Storm经常用于在实时分析、在线机器学习、持续计算、分布式远程调用和ETL等领域。Storm的部署管理非常简单，而且，在同类的流式计算工具，Storm的性能也是非常出众的。

以上5个大数据处理/数据分析/分布式工具，有任何IT问题都欢迎问我~这里有一些我收集的资料想要的评.论！回复【资料】即可

目前，数据处理呈现出3大重要趋势，其一是从离线到在线的趋势，圈里现在基本都不怎么提离线分析了，而是在讨论在线分析。第二个趋势是从统计到AI的趋势，用AI技术去做数据处理不再是未来的事儿，而是现在已经正在发生着。第三个趋势是在线分析平台化，支持多样化的数据如文本、Json、图片等，实现数据融合、统一、联合计算。

他认为，这些趋势在未来的5年以内，会在中国乃至全球普及，未来数据分析是开放化、在线化的时代。他还指出，对未来企业业务的改造，怎么样让数据部门不再是企业的负担，而是一种增值，也是个很重要的探索方向。

PB级大数据在线分析对数据计算的要求不仅要面对越来越大的数据量能被在线计算，更要求实时，几秒内返回，还可以被界面交互，并且可以让人人都可以当分析师，同时可以去探索，需要足够的开放性。

目前阿里大数据分析在线化和开放化的实践，主要应用于电商业务、营销业务、O2O、交通、物流、娱乐、金融、征信、安全等几十个场景。涉及营销管理，安全风控，推荐，预测，洞察等多个方面。

架构图中，我们发现与众不同的是AnalyticDB，这是阿里自研的大规模高性能分析型数据库，其实AnalyticDB并不是个新产品。会后，离哲在接受笔者采访时表示，AnalyticDB在2014年就上云了，主要目标是做极速低成本的PB级实时数据仓库。

AnalyticDB主打三个功能：一、低成本;二、极速分析，包含延迟，并发上做到极速。三、上层提供了足够好的应用性，让用户能像用单机数据库一样，绝大部分语言和工具，都能连接。用户可以通过任何BI工具，甚至excel都能连接上来做分析，其目的是让阿里的在线分析能力能被用户以足够低的成本连接和被使用。

关注佳源信息，关注更多资讯。

【版权与免责声明】如发现内容存在版权问题，烦请提供相关信息发邮件至jy@jiayuaninfo，我们将及时沟通与处理。

来源|全媒派（id:quanmeipai）

数据处理及可视化呈现已越来越成为新闻人必备的一门手艺。全球知名咨询公司麦肯锡甚至说：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。”

各大新闻媒体的数据新闻作品

本期全媒派（quanmeipai）整合4家权威可信的数据网站，推荐2种专业数据分析工具、7款各有所长的数据可视化工具，为你在数据大潮中扬帆导航。

调查奠基石

最有价值的数据收集网站

正如“术业有专攻”，现如今的数据网站也有各自专注钻研的领域。从宏观数据、微观数据到数据分析、舆情监控，有着多种形式数据服务需求的我们，在浩如烟海的数据网站中，究竟该去敲响哪一家的门？

地球上最权威的宏观数据：世界银行

世界银行是国际复兴开发银行（IBRD）及国际开发协会（IDA）两者的联合代称，是非盈利国际组织

世界银行集团（WBG）旗下的组织，隶属联合国。

为了给自身的融资决策提供依据，也为广大发展中国家提供借鉴，世行提供公开数据及数据分析的服务。WBG拥有189个成员国，其数据来源于各成员国的官方数据库。

世行旗下的公开数据网站提供世界范围内的宏观数据。所有数据可以按照国家或者种类的分类依据进行查看，共有超过两百个国家、地区及经济体，20个大类的数据。值得一提的是，网页可选择中文模式，浏览没有障碍。

世行的20种数据分类

除了宏观数据查询的功能，世行公开数据网还有9个数据小工具，包括提供微观数据的“微数据”、创建个人数据报告的“Data Bank”等。可谓功能齐全，且都是免费服务。

6.72亿人口的“数据化”：IPUMS

international.ipums.org

Integrated Public Use Microdata Series （IPUMS）是世界上最大的基于个体的人口数据库。如果说世行提供的主要是官方的宏观数据，IPUMS提供的就是专业的微观数据。

IPUMS的数据由美国的微观数据样本及国际普查数据组成，其国际板块的数据来源自多个国家的统计局，共涉及到6.72亿人的普查记录。

在网页中，用户可以变量+样本的形式进行数据搜寻，支持多个变量和多个样本的结合。虽然IPUMS提供免费的数据服务，但是要生成报告必须成为网站的注册用户。

在注册过程中需要提供准确的个人信息，并用75词全英文阐述自己的数据搜查原因和使用方式，交由网站审核。审核通过后，用户可以获得报告，但往后每一年都要再进行资格审查。

以挖掘数据价值为己任：Quandl

quandl/alternative-data

在大量数据网站井喷的年代，Quandl不仅提供数据，更在乎对数据的解读。“Our mission is to extract value from the world's data.”是该网站对自己的定位。

Quandl拥有一支多学科背景的团队，成员的专业领域包括但不限于金融、技术、天体物理学，致力于挖掘难以找到的数据和数据背后蕴含的信息。

在繁多的数据类别中，Quandl尤其侧重提供金融和经济数据。付费数据来自专业的数据供应商，免费数据则来源于各大交易所、中央银行、政府机构和私人公司。

“爆款文”数据库：NewsWhip

NewsWhip是世界上最大的内容分析数据库，BBC、《赫芬顿邮报》及《赫斯特杂志》等著名媒体都是它的客户。

技术后台以每两分钟一次的速度扫描全球主要传媒平台的文章，包括Facebook,Twitter,Instagram, LinkedIn和Pinterest，再将扫描信息与2014年以来的上百万篇文章进行对比，分析出传播速度最快的文章有哪些特性，为媒体人创造更具用户参与度和传播效率的文章提供参考。

数据“精加工”

专业数据分析工具

SAS

满足多层次数据整理需求

SAS为任何有需要的人提供数据整理的帮助，用户可以自己整合数据、发掘数据价值。创建和共享充满活力的交互式报告。

除了基础的数据处理，IDC研究显示，SAS在高级分析领域占有33%的主导型市场份额。其高级分析软件基于最为尖端和创新的算法，可以协助解决较大的难题，挖掘可能被忽略的内在信息。

SPSS

学术级别的数据研究工具

SPSS隶属于IBM，致力于提供高效、易用的统计分析软件，解决数据分析问题，从而使数据分析广泛地应用于决策制定中。

该软件不仅在商业分析领域广泛运用，也是现今学术领域数据分析的主要选择。软件可操作性强，并且提供视频教学。

数据呈现DIY

可视化工具箱

除了客观数据的搜集，如何将数据整合成可读性强的内容，是大数据背景下媒体人的另一项必备技能。

近些年来，可供选用的数据可视化工具越来越多，地图型、图表型、文字云的数据呈现方式都能在网页上快速生成。许多知名新闻编辑室也与数据可视化商业网站签订了合作协议，为自家的数据新闻提供技术保障。

GoogleFusion Tables/xDatainsight：

多样数据呈现的简易入门

对于数据可视化的入门者来说，Google Fusion Tables是一个不错的选择。该网页应用可以在线制作多种数据图表，包括折线图、柱状图，饼图，甚至把数据与地理位置、时间线结合成为数据地图、时间图表。

操作简单、功能多样，是该软件最大的优势。

如果不熟悉英文操作界面，国内的xDatainsight则是可供考虑的选择。与GoogleFusion Tables相似，该网站提供丰富的可视化选择，伴随简易的操作步骤，还有中文页面可以选择。

CartoDB：

把数据“放在地上”

如果你需要做一张炫酷的数据地图，CartoDB就是这方面的佼佼者了。多种多样的数据地图不仅在视觉上带来极大的满足，受众还可以手动放大缩小。查看特定区域的数据，与地图进行互动。

infogr.am：

知名新闻编辑室的秘密武器

除了互动性的数据地图，infogr.am还提供制作互动性的数据图表的服务，并且能适应营销、传播、教育、汇报等多方面的需求。许多知名的传媒及商业公司都是它的忠实客户。

Wordle：

文字的数据可视化

Wordle是一个在线生成词云图的工具网站。用户只需要输入文本，它就可以快速地分析其中的词频，生成词云，并且支持用户自定义颜色和字体。

网站还为图片生成链接、提供保存下载以及通过社交软件分享的服务。但是Wordle目前只支持英文和数字文本的分析。

图悦：

中国好词云

想分析中文文本怎么办？这款国产的在线词频分析工具你就千万别错过了。网站操作非常简单，容易上手，提供标准、微信、地图等多种模式的词云。既可以生成权重图，也可以生成词频图，一键切换，是词云制作入门的好选择。

以全媒派文章《纽约时报/卫报如何找钱？非营利组织资助报道，是公益还是捆绑》为例，输入URL地址后，图悦制作的权重图（左）及词频图（右）：

Tagxedo：

为你画一幅自画像

Tagxedo提供多种样式的词云制作。你甚至可以把情书输入进去，生成一张爱心形状的词云向TA表达心意。

更值得一试的是，用户可以输入自己的博客地址或者推特ID，该网站就会对你在社交平台上发布过的内容进行分析，为你的网络形象创作“速写”。

这些数据网站及数据工具你用过哪些，体验如何？除了它们，你还有哪些私藏干货？欢迎在评论区留言与大家分享。

许可证全称：增值电信业务经营许可证-在线数据处理与交易处理业务

　　业务类型：第二类增值电信业务中的在线数据处理与交易处理业务

　　业务范围：仅限经营类电子商务或不含经营类电子商务

　　业务内容：经营类电商平台(有商家入驻类的)、物联网平台、车联网平台、交易平台;

一什么是EDI在线数据处理与交易处理许可证?

　　在线数据处理与交易处理业务是sp业务中第二类增值电信业务(B21类)。

　　在线数据处理与交易处理业务是指利用各种与公用通信网或互联网相连的数据与交易/事务处理应用平台，通过公用通信网或互联网为用户提供在线数据处理和交易/事务处理的业务。在线数据处理与交易处理业务包括交易处理业务、电子数据交换业务和网络/电子设备数据处理业务。

　　(1)交易处理业务包括办理各种银行业务、股票买卖、票务买卖、拍卖商品买卖、费用支付等。

　　(2)网络/电子设备数据处理指通过通信网络传送，对连接到通信网络的电子设备进行控制和数据处理的业务。

　　(3)电子数据交换业务，即EDI，是一种把贸易或其它行政事务有关的信息和数据按统一规定的格式形成结构化的事务处理数据，通过通信网络在有关用户的计算机之间进行交换和自动处理，完成贸易或其它行政事务的业务。

二哪些业务需要办EDI在线数据处理与交易处理许可证?

　　从业务角度可以分为三类：交易处理业务、网络/电子设备数据处理业务、电子数据交换业务。

　　“交易处理业务”是指办理各种经营类电子商务、银行业务、股票买卖、票务买卖、拍卖商品买卖、费用支付等。

　　”网络/电子设备数据处理业务”是指通过通信网络传送，对连接到通信网络的电子设备进行控制和数据处理的业务。

　“电子数据交换业务”，也就是EDI，是sp业务中的一类，是一种把贸易或其它行政事务有关的信息和数据按统一规定的格式形成结构化的事务处理数据，通过通信网络在有关用户的计算机之间进行交换和自动处理，完成贸易或其它行政事务的业务。

EDI在线数据处理与交易处理许可证未办有何处罚?

　　根据国务院和工信部以及国家行业管理部门颁布的《中华人民共和国电子签名法》、《商用密码管理条例》、《电子银行业务管理办法》、《网络交易平台服务规范》、《电子认证服务管理办法》、《电子支付指引》和《互联网安全保护技术措施规定》等相关法规和法律文件的规定，未经省通信管理局/工信部审批核准的企业不得从事互联网交易处理业务、网络/电子设备数据处理业务、电子数据交换业务。

　　未取得经营许可证，擅自从事经营性互联网信息服务，或者超出许可的项目提供服务的，由省、自治区、直辖市电信管理机构责令限期改正，有违法所得的，没收违法所得，处违法所得3倍以上5倍以下的罚款;没有违法所得或者违法所得不足5万元的，处10万元以上100万元以下的罚款;情节严重的，责令关闭网站。

四申请EDI在线数据处理与交易处理许可证所需必要条件：

　　1、经营者为依法设立的内资公司;有港澳地区股东的可申请在线数据处理与交易处理;

　　2、注册资本不少于100万元人民币;

　　3、提供至少3名以上人员劳动合同，社会保险证明等人员证明材料。

五申请EDI在线数据处理与交易处理许可证需要基础必要材料：

　　1、公司的企业法人营业执照副本;

　　2、公司章程(加盖工商局档案查询章原件);

　　3、完整详细的股权结构图(签定协议后，由金三科技提供);

　　4、公司的管理、技术人员的身份证复印件(不少于3人);

　　5、公司为员工所上近三个月的社保证明(不少于3人)(应加盖社保机构红章);

　　6、至少3名员工的劳动合同原件(原件会退回)。

金三科技的服务优势：

　　1、专业顾问团队，7*24小时在线贴心服务;

　　2、500余人的专业化的服务精英团队，按照用户的不同需求，提供更加专业和贴心的一对一专属服务，能够100%保证顺利取得资质；

　　3、提供一站式服务体验和完善的售后服务，为您的创业之路保驾护航。

1.EDI许可证的定义是什么？

在线数据处理与交易处理业务是指利用各种与公用通信网或互联网相连的数据与交易/事务处理应用平台，通过公用通信网或互联网为用户提供在线数据处理和交易/事务处理的业务。在线数据处理与交易处理业务包括交易处理业务、电子数据交换业务和网络/电子设备数据处理业务。

2、哪些业务需要办EDI在线数据处理与交易处理许可证？

从业务角度可以分为三类：交易处理业务、网络/电子设备数据处理业务、电子数据交换业务。

“交易处理业务”是指办理各种经营类电子商务、银行业务、股票买卖、票务买卖、拍卖商品买卖、费用支付等。

”网络/电子设备数据处理业务”是指通过通信网络传送，对连接到通信网络的电子设备进行控制和数据处理的业务。

“电子数据交换业务”，也就是EDI，是一种把贸易或其它行政事务有关的信息和数据按统一规定的格式形成结构化的事务处理数据，通过通信网络在有关用户的计算机之间进行交换和自动处理，完成贸易或其它行政事务的业务。

申请条件：

（1）经营者为依法设立的独立法人公司；

（2）跨地区经营的注册资本最低认缴限额为1000万元人民币，省内经营的注册资本最低认缴限额为100万元人民币；有外资必须在工信申请。

（3）有与开展经营活动相适应的专业人员；

（4）公司及其主要出资者和主要经营管理人员三年内无违反电信监督管理制度的违法记录。

准备材料：

（1）申请企业法人营业执照副本、法定代表人身份证；

（2）工商档案查询章程；

（3）一级股东证件证明材料（企业法人股东公司营业执照副本和工商档案查询章程、自然人股东身份证）；

（4）公司联系人、信息安全负责人、客服负责人3个人的身份证和一个月社保证明/省证3个人3个月社保。

(5）网站

许可概述

资质全名：第二类增资电信业务经营许可证—EDI许可证

审批机构：工信部/省管局

审核时间：行政受理后受理后45-55个工作日下证代办费市场价待定，各地区价格不一样

年检要求：省内证每年1月1日-3月31日年报，全国证每年3月1日-3月31日年报;

有效期限：5年

常见问题：1：

类似于：京东，淘宝第三方平台及PTP金融平台都需要办理。

2、无证经营会有哪些处罚

依据《中华人民共和国电信条例》（国务院291号令）第七十条之规定“擅自经营电信业务的，或者超范围经营电信业务的，由国务院信息产业主管部门或者省、自治区、直辖市电信管理机构依据职权责令改正，没收违法所得，处违法所得3倍以上5倍以下罚款；没有违法所得或者违法所得不足5万元的， 处10万元以上100万元以下罚款；情节严重的，责令停业整顿！”

许可证全称：增值电信业务经营许可证

业务类型：第二类增值电信业务中的在线数据处理与交易处理业务

业务范围：仅限经营类电子商务或不含经营类电子商务

业务内容：经营类电商平台(有商家入驻类的)、物联网平台、车联网平台、交易平台

增值电信业务经营许可证

一、什么是在线数据处理与交易处理许可证?

在线数据处理与交易处理业务是sp业务中第二类增值电信业务(B21类)。

在线数据处理与交易处理业务是指利用各种与公用通信网或互联网相连的数据与交易/事务处理应用平台，通过公用通信网或互联网为用户提供在线数据处理和交易/事务处理的业务。在线数据处理与交易处理业务包括交易处理业务、电子数据交换业务和网络/电子设备数据处理业务。

(1)交易处理业务包括办理各种银行业务、股票买卖、票务买卖、拍卖商品买卖、费用支付等。

(2)网络/电子设备数据处理指通过通信网络传送，对连接到通信网络的电子设备进行控制和数据处理的业务。

(3)电子数据交换业务，即EDI，是一种把贸易或其它行政事务有关的信息和数据按统一规定的格式形成结构化的事务处理数据，通过通信网络在有关用户的计算机之间进行交换和自动处理，完成贸易或其它行政事务的业务。

二、哪些业务需要办在线数据处理与交易处理许可证?

从业务角度可以分为三类：交易处理业务、网络/电子设备数据处理业务、电子数据交换业务。

“交易处理业务”是指办理各种经营类电子商务、银行业务、股票买卖、票务买卖、拍卖商品买卖、费用支付等。

”网络/电子设备数据处理业务”是指通过通信网络传送，对连接到通信网络的电子设备进行控制和数据处理的业务。

“电子数据交换业务”，也就是EDI，是sp业务中的一类，是一种把贸易或其它行政事务有关的信息和数据按统一规定的格式形成结构化的事务处理数据，通过通信网络在有关用户的计算机之间进行交换和自动处理，完成贸易或其它行政事务的业务。

三、EDI许可证未办理有何处罚?

根据国务院和工信部以及国家行业管理部门颁布的《中华人民共和国电子签名法》、《商用密码管理条例》、《电子银行业务管理办法》、《网络交易平台服务规范》、《电子认证服务管理办法》、《电子支付指引》和《互联网安全保护技术措施规定》等相关法规和法律文件的规定，未经省通信管理局/工信部审批核准的企业不得从事互联网交易处理业务、网络/电子设备数据处理业务、电子数据交换业务。

未取得经营许可证，擅自从事经营性互联网信息服务，或者超出许可的项目提供服务的，由省、自治区、直辖市电信管理机构责令限期改正，有违法所得的，没收违法所得，处违法所得3倍以上5倍以下的罚款;没有违法所得或者违法所得不足5万元的，处10万元以上100万元以下的罚款;情节严重的，责令关闭网站。

四、申请EDI许可证所需必要条件：

1、经营者为依法设立的内资公司;有港澳地区股东的可申请在线数据处理与交易处理;

2、注册资本不少于100万元人民币;

3、提供至少3名以上人员劳动合同，社会保险证明等人员证明材料。

五、申请EDI许可证需要基础必要材料：

1、公司的企业法人营业执照副本;

2、公司章程(加盖工商局档案查询章原件);

3、完整详细的股权结构图;

4、公司的管理、技术人员的身份证复印件(不少于3人);

5、公司为员工所上近三个月的社保证明(不少于3人)(应加盖社保机构红章);

6、至少3名员工的劳动合同原件(原件会退回);

六、金三科技服务流程：

1、商谈业务意向

2、商务合作洽谈

3、基础材料准备

4、提交审核

七、金三科技服务优势

1、专业顾问团队，7*24小时在线贴心服务;

2、第一时间响应客户，服务流程业内周期最短，并且提供最优方案;

3、提供一站式企业资质咨询服务，引领互联网行业规范化发展。