- ?
全球100款大数据工具汇总
帮主
展开
1、 Talend Open Studio
是第一家针对的数据集成工具市场的ETL(数据的提取Extract、传输Transform、载入Load)开源软件供应商。Talend的下载量已超过200万人次,其开源软件提供了数据整合功能。其用户包括美国国际集团(AIG)、康卡斯特、电子港湾、通用电气、三星、Ticketmaster和韦里逊等企业组织。
2、DYSON
探码科技自主研发的DYSON智能分析系统,可以完整的实现大数据的采集、分析、处理。DYSON智能分析系统专业针对互联网数据抓取、处理、分析,挖掘。可以灵活迅速地抓取网页上散乱分布的信息,并通过强大的处理功能,准确挖掘出所需数据,是目前使用人数最多的网页采集工具.
3、YARN
一种新的Hadoop资源管理器,它是一个通用资源管理系统,可为上层应用提供统一的资源管理和调度,解决了旧MapReduce框架的性能瓶颈。它的基本思想是把资源管理和作业调度/监控的功能分割到单独的守护进程。
4、Mesos
由加州大学伯克利分校的AMPLab首先开发的一款开源群集管理软件,支持Hadoop、ElasticSearch、Spark、Storm 和Kafka等架构。对数据中心而言它就像一个单一的资源池,从物理或虚拟机器中抽离了CPU,内存,存储以及其它计算资源, 很容易建立和有效运行具备容错性和弹性的分布式系统。
5、Datale
由探码科技研发的一款基于Hadoop的大数据平台开发套件,RAI大数据应用平台架构。
6、 Ambari
作为Hadoop生态系统的一部分,提供了基于Web的直观界面,可用于配置、管理和监控Hadoop集群。目前已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。
7、ZooKeeper
一个分布式的应用程序协调服务,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的工具,让Hadoop集群里面的节点可以彼此协调。ZooKeeper现在已经成为了 Apache的顶级项目,为分布式系统提供了高效可靠且易于使用的协同服务。
8、Thrift
在2007年facebook提交Apache基金会将Thrift作为一个开源项目,对于当时的facebook来说创造thrift是为了解决facebook系统中各系统间大数据量的传输通信以及系统之间语言环境不同需要跨平台的特性。
9、Chukwa
监测大型分布式系统的一个开源数据采集系统。建立在HDFS/MapReduce框架之上并继承了Hadoop的可伸缩性和可靠性,可以收集来自大型分布式系统的数据,用于监控。它还包括灵活而强大的显示工具用于监控、分析结果。
10、Lustre
一个大规模的、安全可靠的、具备高可用性的集群文件系统,它是由SUN公司开发和维护的。该项目主要的目的就是开发下一代的集群文件系统,目前可以支持超过10000个节点,数以PB的数据存储量。
11、HDFS
Hadoop Distributed File System,简称HDFS,是一个分布式文件系统。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。
12、GlusterFS
一个集群的文件系统,支持PB级的数据量。GlusterFS 通过RDMA和TCP/IP方式将分布到不同服务器上的存储空间汇集成一个大的网络化并行文件系统。
13、Alluxio
前身是Tachyon,是以内存为中心的分布式文件系统,拥有高性能和容错能力,能够为集群框架(如Spark、MapReduce)提供可靠的内存级速度的文件共享服务。
14、Ceph
新一代开源分布式文件系统,主要目标是设计成基于POSIX的没有单点故障的分布式文件系统,提高数据的容错性并实现无缝的复制。
15、PVFS
一个高性能、开源的并行文件系统,主要用于并行计算环境中的应用。PVFS特别为超大数量的客户端和服务器端所设计,它的模块化设计结构可轻松的添加新的硬件和算法支持。
16、QFS
Quantcast File System (QFS) 是一个高性能、容错好、分布式的文件系统,用于开发支持 MapReduce处理或者需要顺序读写大文件的应用。
17、 Logstash
一个应用程序日志、事件的传输、处理、管理和搜索的平台。可以用它来统一对应用程序日志进行收集管理,提供了Web接口用于查询和统计。
18、Scribe
Scribe是Facebook开源的日志收集系统,它能够从各种日志源上收集日志,存储到一个中央存储系统(可以是NFS,分布式文件系统等)上,以便于进行集中统计分析处理。
19、Flume
Cloudera提供的一个高可用的、高可靠的、分布式的海量日志采集、聚合和传输的系统。Flume支持在日志系统中定制各类数据发送方,用于收集数据。同时,Flume支持对数据进行简单处理,并写入各种数据接受方(可定制)。
20、RabbitMQ
一个受欢迎的消息代理系统,通常用于应用程序之间或者程序的不同组件之间通过消息来进行集成。RabbitMQ提供可靠的应用消息发送、易于使用、支持所有主流操作系统、支持大量开发者平台。
21、ActiveMQ
Apache出品,号称“最流行的,最强大”的开源消息集成模式服务器。ActiveMQ特点是速度快,支持多种跨语言的客户端和协议,其企业集成模式和许多先进的功能易于使用,是一个完全支持JMS1.1和J2EE 1.4规范的JMS Provider实现。
22、Kafka
一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模网站中的所有动作流数据,目前已成为大数据系统在异步和分布式消息之间的最佳选择。
23、Spark
一个高速、通用大数据计算处理引擎。拥有Hadoop MapReduce所具有的优点,但不同的是Job的中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。它可以与Hadoop和Apache Mesos一起使用,也可以独立使用。
24、Kinesis
可以构建用于处理或分析流数据的自定义应用程序,来满足特定需求。Amazon Kinesis Streams 每小时可从数十万种来源中连续捕获和存储数TB数据,如网站点击流、财务交易、社交媒体源、IT日志和定位追踪事件。
25、 Hadoop
一个开源框架,适合运行在通用硬件,支持用简单程序模型分布式处理跨集群大数据集,支持从单一服务器到上千服务器的水平scale up。Apache的Hadoop项目已几乎与大数据划上了等号,它不断壮大起来,已成为一个完整的生态系统,拥有众多开源工具面向高度扩展的分布式计算。高效、可靠、可伸缩,能够为你的数据存储项目提供所需的YARN、HDFS和基础架构,并且运行主要的大数据服务和应用程序。
26、Spark Streaming
实现微批处理,目标是很方便的建立可扩展、容错的流应用,支持Java、Scala和Python,和Spark无缝集成。Spark Streaming可以读取数据HDFS,Flume,Kafka,Twitter和ZeroMQ,也可以读取自定义数据。
27、Trident
是对Storm的更高一层的抽象,除了提供一套简单易用的流数据处理API之外,它以batch(一组tuples)为单位进行处理,这样一来,可以使得一些处理更简单和高效。
28、Flink
于今年跻身Apache顶级开源项目,与HDFS完全兼容。Flink提供了基于Java和Scala的API,是一个高效、分布式的通用大数据分析引擎。更主要的是,Flink支持增量迭代计算,使得系统可以快速地处理数据密集型、迭代的任务。
29、Samza
出自于LinkedIn,构建在Kafka之上的分布式流计算框架,是Apache顶级开源项目。可直接利用Kafka和Hadoop YARN提供容错、进程隔离以及安全、资源管理。
30、Storm
Storm是Twitter开源的一个类似于Hadoop的实时数据处理框架。编程模型简单,显著地降低了实时处理的难度,也是当下最人气的流计算框架之一。与其他计算框架相比,Storm最大的优点是毫秒级低延时。
31、Yahoo S4 (Simple Scalable Streaming System)
是一个分布式流计算平台,具备通用、分布式、可扩展的、容错、可插拔等特点。程序员可以很容易地开发处理连续无边界数据流(continuous unbounded streams of data)的应用。它的目标是填补复杂专有系统和面向批处理开源产品之间的空白,并提供高性能计算平台来解决并发处理系统的复杂度。
32、HaLoop
是一个Hadoop MapReduce框架的修改版本,其目标是为了高效支持 迭代,递归数据 分析任务,如PageRank,HITs,K-means,sssp等。
33、Presto
是一个开源的分布式SQL查询引擎,适用于交互式分析查询,可对250PB以上的数据进行快速地交互式分析。Presto的设计和编写是为了解决像Facebook这样规模的商业数据仓库的交互式分析和处理速度的问题。Facebook称Presto的性能比诸如Hive和MapReduce要好上10倍有多。
34、 Drill
于2012年8月份由Apache推出,让用户可以使用基于SQL的查询,查询Hadoop、NoSQL数据库和云存储服务。它能够运行在上千个节点的服务器集群上,且能在几秒内处理PB级或者万亿条的数据记录。它可用于数据挖掘和即席查询,支持一系列广泛的数据库,包括HBase、MongoDB、MapR-DB、HDFS、MapR-FS、亚马逊S3、Azure Blob Storage、谷歌云存储和Swift。
35、Phoenix
是一个Java中间层,可以让开发者在Apache HBase上执行SQL查询。Phoenix完全使用Java编写,并且提供了一个客户端可嵌入的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多个HBase scan,并编排执行以生成标准的JDBC结果集。
36、Pig
是一种编程语言,它简化了Hadoop常见的工作任务。Pig可加载数据、转换数据以及存储最终结果。Pig最大的作用就是为MapReduce框架实现了一套shell脚本 ,类似我们通常熟悉的SQL语句。
37、Hive
是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。
38、SparkSQL
前身是Shark,SparkSQL抛弃原有Shark的代码并汲取了一些优点,如内存列存储(In-Memory Columnar Storage)、Hive兼容性等。由于摆脱了对Hive的依赖性,SparkSQL无论在数据兼容、性能优化、组件扩展方面都得到了极大的方便。
39、Stinger
原来叫Tez,是下一代Hive,由Hortonworks主导开发,运行在YARN上的DAG计算框架。某些测试下,Stinger能提升10倍左右的性能,同时会让Hive支持更多的SQL。
40、Tajo
目的是在HDFS之上构建一个可靠的、支持关系型数据的分布式数据仓库系统,它的重点是提供低延迟、可扩展的ad-hoc查询和在线数据聚集,以及为更传统的ETL提供工具。
41、Impala
Cloudera 声称,基于SQL的Impala数据库是“面向Apache Hadoop的领先的开源分析数据库”。它可以作为一款独立产品来下载,又是Cloudera的商业大数据产品的一部分。Cloudera Impala 可以直接为存储在HDFS或HBase中的Hadoop数据提供快速、交互式的SQL查询。
42、 Elasticsearch
是一个基于Lucene的搜索服务器。它提供了一个分布式、支持多用户的全文搜索引擎,基于RESTful web接口。Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎。设计用于云计算中,能够达到实时搜索、稳定、可靠、快速、安装使用方便。
43、Solr
基于Apache Lucene,是一种高度可靠、高度扩展的企业搜索平台。知名用户包括eHarmony、西尔斯、StubHub、Zappos、百思买、AT&T、Instagram、Netflix、彭博社和Travelocity。
44、Shark
即Hive on Spark,本质上是通过Hive的HQL解析,把HQL翻译成Spark上的RDD操作,然后通过Hive的metadata获取数据库里的表信息,实际HDFS上的数据和文件,会由Shark获取并放到Spark上运算。Shark的特点就是快,完全兼容Hive,且可以在shell模式下使用rdd2sql()这样的API,把HQL得到的结果集,继续在scala环境下运算,支持自己编写简单的机器学习或简单分析处理函数,对HQL结果进一步分析计算。
45、Lucene
基于Java的Lucene可以非常迅速地执行全文搜索。据官方网站声称,它在现代硬件上每小时能够检索超过150GB的数据,它拥有强大而高效的搜索算法。
46、Terracotta
声称其BigMemory技术是“世界上首屈一指的内存中数据管理平台”,支持简单、可扩展、实时消息,声称在190个国家拥有210万开发人员,全球1000家企业部署了其软件。
47、 Ignite
是一种高性能、整合式、分布式的内存中平台,可用于对大规模数据集执行实时计算和处理,速度比传统的基于磁盘的技术或闪存技术高出好几个数量级。该平台包括数据网格、计算网格、服务网格、流媒体、Hadoop加速、高级集群、文件系统、消息传递、事件和数据结构等功能。
48、GemFire
Pivotal宣布它将开放其大数据套件关键组件的源代码,其中包括GemFire内存中NoSQL数据库。它已向Apache软件基金会递交了一项提案,以便在“Geode”的名下管理GemFire数据库的核心引擎。
49、 GridGain
由Apache Ignite驱动的GridGrain提供内存中数据结构,用于迅速处理大数据,还提供基于同一技术的Hadoop加速器。
50、MongoDB
是一个基于分布式文件存储的数据库。由C++...
- ?
数据整理那么难?Excel提取大法超简单
余光
展开
最新有订阅粉留言,大意如图所示,统计用的原始数据内一个部门内多个人,想整理成以人单独列表,如果手动摘录太费时间,有没有办法让Excel自动拆分提取?小编试着弄了一下,还真琢磨出来了,这里也分享给所有人,以后有类似的需求,大家都能够用Excel自动拆分,不需要手工摘录了。
点击任意数据(人员列表)然后切换选项卡到“数据”,选中“从表格”,弹出的数据来源默认即可,点击确定,生成带有选单的表格,并弹出查询编辑器。
小提示:
查询编辑器即Power Query,此功能需要以插件形式单独下载,安装到Excel 2010或Excel 2013版本中才能使用,而Excel 2016直接集成了该功能,所以在界面显示上也有所区别,本文以Excel 2016为例,2010、2013的用户可以根据实际情况操作。
在弹出的查询编辑器中,单击“列2”选中,切换到“转换”选项卡,点击“拆分列”中的“按分隔符”。
单击“选择或输入分隔符”下拉选单,选中“自定义”,并输入顿号“、”(注:本例中是人员是以顿号分割)点击确定。
这时,查询编辑器的数据已经变为多个列,人员名单已经独立分拆。我们特意留了一个错误,列2.2的第6行是以逗号“,”分割人员,所以没有被提取出来,所以建议大家在转换提取时,要统一分割符号。注意,这里使用分列和在工作表中使用分列有所不同。如果需要分列的右侧列中还有其他的内容,会自动扩展插入新的列,右侧已有数据列自动后延。而在工作中使用分列,右侧有数据时则会被覆盖掉。
接下来,按住Ctrl并单击所有列,在“转换”选项卡中点击“逆透视列”。
新转换的列表已经改成以人员为基准数据的拆分方案,但是多了一列“属性”单击选中后右键选择“删除”。
最后,点击“文件”中的“关闭并上载”,回到Excel界面,这样再看是不是已经通过这一系列的操作,数据提取转换过来了?部门重复罗列,但是人员名单为单独独立存在了。
——电脑爱好者
- ?
做统计,来看看常用的统计软件!
冰蝶
展开
1.SAS
是目前国际上最为流行的一种大型统计分析系统,被誉为统计分析的标准软件。尽管价格不菲,SAS已被广泛应用于政府行政管理,科研,教育,生产和金融等不同领域,并且发挥着愈来愈重要的作用。目前SAS已在全球100多个国家和地区拥有29000多个客户群,直接用户超过300万人。在我国,国家信息中心,国家统计局,卫生部,中国科学院等都是SAS系统的大用户。尽管现在已经尽量“傻瓜化”,但是仍然需要一定的训练才可以使用。因此,该统计软件主要适合于统计工作者和科研工作者使用。
2.SPSS
SPSS作为仅次于SAS的统计软件工具包,在社会科学领域有着广泛的应用。SPSS是世界上最早的统计分析软件,由美国斯坦福大学的三位研究生于20世纪60年代末研制。由于SPSS容易操作,输出漂亮,功能齐全,价格合理,所以很快地应用于自然科学、技术科学、社会科学的各个领域,世界上许多有影响的报刊杂志纷纷就SPSS的自动统计绘图、数据的深入分析、使用方便、功能齐全等方面给予了高度的评价与称赞。迄今SPSS软件已有30余年的成长历史。全球约有25万家产品用户,它们分布于通讯、医疗、银行、证券、保险、制造、商业、市场研究、科研教育等多个领域和行业,是世界上应用最广泛的专业统计软件。在国际学术界有条不成文的规定,即在国际学术交流中,凡是用SPSS软件完成的计算和统计分析,可以不必说明算法,由此可见其影响之大和信誉之高。因此,对于非统计工作者是很好的选择。
3.Excel
它严格说来并不是统计软件,但作为数据表格软件,必然有一定统计计算功能。而且凡是有Microsoft Office的计算机,基本上都装有Excel。但要注意,有时在装 Office时没有装数据分析的功能,那就必须装了才行。当然,画图功能是都具备的。对于简单分析,Excel还算方便,但随着问题的深入,Excel就不那么“傻瓜”,需要使用函数,甚至根本没有相应的方法了。多数专门一些的统计推断问题还需要其他专门的统计软件来处理。
4.S-plus
这是统计学家喜爱的软件。不仅由于其功能齐全,而且由于其强大的编程功能,使得研究人员可以编制自己的程序来实现自己的理论和方法。它也在进行“傻瓜化”,以争取顾客。但仍然以编程方便为顾客所青睐。
5.Minitab
这个软件是很方便的功能强大而又齐全的软件,也已经“傻瓜化”,在我国用的不如SPSS与SAS那么普遍。
6.Statistica
也是功能强大而齐全的“傻瓜化”的软件,在我国用的也不如SAS与SPSS那么普遍。
7.Eviews
这是一个主要处理回归和时间序列的软件。
(本文内容由百度知道网友了不起的小芳儿贡献)
- ?
Excel数据表的管理利器:表格工具
水瑶
展开
三表结构中的数据表是整个数据文件的基石。
还记得那些要求么?
1、标题行在第一行
2、标题明确,不为空
3、数据整洁、格式一致、不缺、补漏、不重复
4、不合并任何单元格
5、数据表可延展,可以不断增加数据
基本上是这个样子:
如果你要经常通过数据表查询数据,
那还要注意将查询的主键放在第一列,
并且保证主键唯一。
其实Excel提供了专门的表格工具来管理数据表:
一、激活
激活这个工具的方法是套用表格格式:
具体的操作方法看动图:
1、全选表格
2、点击套用表格格式
3、勾选标题行
4、给表格命名
套用表格格式后,整个表格变成一个整体,自动斑马纹不容易看错行。
二、表格的计算
套用表格格式后,数据是按列计算引用数据是引用列的名称:
=[@成本价格]*[@数量]
三、表格的切片器
和透视表一样,套用表格后支持切片器功能:
这个切片器实际就是筛选功能,不过更加直观。
四、表格删除重复项
表格工具也提供了删除工具,和数据里面的删除工具一样的操作方法:
看来又多了一个删除重复项的方法了。
五、表格的透视
表格透视和普通数据表透视是一样,只是原来的选区,变成了表格名字:
表格工具,是Excel的一个进化,必须要熟练掌握的技能。
因为,表格是后面Power Query、Power Pivot中的基本概念。
如果不能领悟表格的概念,学习Power Query、Power Pivot就会变得很困难。
- ?
【收藏】万能输入表,轻松搞定周月报统计
Marcy
展开
/ 1 /
Excel就是输入和统计
工作中,我们在使用Excel的时候,做的事情的不外乎就两类,一个是输入,一个是汇总统计。
我们在设计制作表格的时候,添加的一些合并单元格呀,标记一些颜色呀,做个下拉列表,每天一个sheet等等,这些都是为了方便输入。
而后续我们使用各种复杂的函数公式,比如:
用VLOOKUP进行数据匹配用SUMIF函数进行条件求和用COUNTIF函数按条件进行统计用LOOKUP函数进行条件查询等等。
最终的目的,是为了满足汇总统计的需求,但是相比之下,汇总统计的过程非常的麻烦。
那么怎么样能够让汇总统计的这个过程变得更加简单呢,有一个比较好的方法就是使用一维数据表。
/ 2 /
高效输入 vs 快速统计
上面这个表格就是一个典型的一维表。
数据从上往下一条一条的记录,有了这个数据表,我们一方面写函数公式简单,另一方面我们可以直接使用Excel当中非常强大的数据透视表,快速的进行数据的汇总统计。
但是这样做有一个弊端,数据表是一维的数据的罗列,这种数据形式输入起来非常的不方便。
对应上面这个简单的二维表,只有5行的数据。但是如果用一维数据表来输入,一下子变成了16行的数据。
另外,这么多行的数据,数据查看起来也非常的不直观。
相比之下,使用表单式,或者二维表形式的表格,可以更方便、更直观的输入数据。
这样看来,高效输入和快速统计,好像是鱼和熊掌不可兼得的两件事情。
有没有什么方法,能够让我们使用表单式的形式来输入数据,并且能够快速的转换成数据表,方便我们后续的数据统计呢?
/ 3 /
万能输入表,兼顾快速统计
为了达到这个目的,我专门做了一个万能的输入表格。
我们可以依旧像往常一样,使用表单式或二维表结构的形式,来输入数据。然后只需要轻轻的点击一下按钮,就可以把这些数据,转换并保存一维数据表当中。
这样后续再汇总统计的时候,我们只需要使用数据透视表就可以轻松搞定。来看看下面的效果图:
看到这里很多人可能会想,那这个表格肯定是用VBA写了代码的吧,这样的表格,通常都比较有针对性和局限性。看教程写的非常的棒,但是放到自己的实际工作案例当中,根本没办法使用。
考虑到这一点呢,在设计这个表格的时候,一个初衷就是能够通用。所以我把它设计成了一个模板。
在这个模板中,我们可以设定指定的变量,只要用花括号包括起来,这个字段就变成了一个{变量}。然后我们复制模板sheet,在变量单元格中,输入实际值,取代这些变量就可以了。
这样只要明白了规则,我们可以按照我们自己的输入格式,随意的调整模板,并且自动生成对应的数据表。看看下面这个效果图。
大致步骤是这样的:
1- 在[模板]sheet中,设定好变量,变量用花括号包裹起来。2- 点击【新建空表】,新建一个空白的输入表(变量里的花括号会自动去掉)3- 输入对应的数据,地啊你【保存数据】,输入表的数据会被转成一维数据,保存到【数据表】中4- 在“输入表”里点击【新建空表】情况当前表格,再输入新的数据进行保存,这样数据就会不断的添加到【数据表】中。
我们不需要了解VBA代码怎么写的,只要根据自己输入表格式,设置好模板中的{变量},点击【保存数据】,就可以轻松完成转换。
/ 4 /
如何使用万能输入表
万能输入表格使用起来不难,只需要简单的3步。
1- 设定模板
在模板文件中,根据自己的输入表格样式,设置对应的字段变量。
比如这个工资明细表,字段名称就是黑色的标题,那么我们就用花括号,把这些字段变成{变量},模板设置完如下:
需要注意的是,这有这么几种变量的类型:
1- 单值变量
比如表格中的{日期},就是一个单值变量,他会自动添加到数据表的每1条记录中。
2- 行标题变量
比如表格中的{{组别,组号,产品…备注}},我们用两个花括号,把连续的一串标题标记出来,那么这整个标题都是变量。
万能输入表,会把标题下面(连续)的数据,自动提取到数据表中。
3- 列标题变量
比如表格中的{{工资类型,工资类型,工资类型}},如果标题中变量出现了重复,那么这个字段就是一个列标题变量。万能输入表,会把它识别成二维表,并把行、列标题交叉位置的数据,记录到数据表中。
对应的数据表中,会出现一个“工资类型”的列,记录工资的类型,也就是输入表中的“产量达标率,质量达标率,物料控制”等等。
2- 创建空白表
模板中的变量设置完成之后,点击【新建空表】,会自动生成一个新的空白表格,并删除了变量标记(花括号),我们只需要按照习惯的方式,填入对应的数据就可以了。
3- 一键转换
数据填写完成之后,点击【保存记录】,所有的数据就自动转换成一维数据表了。
4- 注意
需要注意的是,工作表【模板】【数据表】是代码要识别的工作表名称,一定不能修改,否则会导致代码运行错误。
/ 5 /
下载万能输入表
- ?
数据透视表做数据统计
丝特拉
展开
做数据统计,有人用筛选排序,有人用分类汇总,有人用合并计算,当然还有数据透视表。
正所谓,条条大路通罗马,行行会计出状元!这不,今天老板想考验一下新招的小姑娘是否可胜任这份工作,让小姑娘快速统计一下数据,小姑娘使了我教她的这一招,征服了老板,职位保住了。
今天,我们就来看看,小姑娘是如何操作征服老板的。
假设有以下销售表格,需要统计一下每种商品的销售金额。
1、源数据表的规范
在建立数据透视表以前,首先要检查源数据表有没有存在下面这几种不规范的情况。
标题行
名称缺失,无法正常建立数据透视表,需要把标题名称补充完整。
名称重复,导致创建数据透视表后,字段名称相同并标注序号,导致语义不明确,需要修改相同名称的标题。
源数据
合并单元格,无法正常使用筛选和排序,合并单元格除了首个单元格有数据以外,其他单元格数值为空,解除合并单元格并补充完整数据。
文本型数字,统计值为零,无法正常参加求和、平均值等数值计算,使用分列功能重新修改为数值。
不规范日期,无法正常使用筛选排序和组合,使用分列功能规范日期格式。
2、插入数据透视表
选中需要做统计分析的源数据表,点击插入选项卡,点击数据透视表,在新工作表或现有工作表中的单元格新建数据透视表。“选择一个表或区域”用鼠标选择A1到E18整个区域就可以了。“选择放置数据透视表的位置”如果选择放在现有工作表,就是当前光标所在的位置。
3、选择要添加到报表的字段
源数据表中的标题行为数据透视表中的统计字段,用于拖动到不同的区域。
数据透视表的区域分成四个部分:
筛选区域,用于对数据透视表整体的筛选
行区域,字段放在行区域,以行的方式展示
列区域,字段放在列区域,以列的方式展示,行区域和列区域
值区域,把字段拖动到值区域,实现不同类型的计算,达到数据统计的效果。
那如何正确地拖到字段到数据透视表的区域呢?
我要统计出每种商品的销售总额,在这里,行标签是商品名称,统计值是销售金额,统计类型是求和,可以得到下图的数据透视表。
这个方法简直是太赞了!此技能你get到了吗?
- ?
8个公开大数据网站推荐,帮数据收集的新手入门!
窦雨灵
展开
如果您对传统企业互联网转型、大数据、工业4.0等内容的文章、资料、PPT等感兴趣(有提供下载哦~),欢迎关注强企阅闻公众号。
来源/钱塘大数据
在这个用数据说话的时代,能够打动人的往往是用数据说话的理性分析,无论是对于混迹职场的小年轻,还是需要数据进行分析和研究的同学,能够找到合适的数据源都是非常重要的。特别是想要对一个新的领域进行研究和探索,拥有这个领域的数据那都是有十分重要的意义的。
1.- 国家数据 -
http://data.stats.gov/index.htm
数据来源于中国国家统计局,包含了我国经济民生等多个方面的数据,并且在月度、季度、年度都有覆盖,较为全面和权威,对于社会科学的研究不要太有帮助。最关键的是,网站简洁美观,还有专门的可视化读物。
2.- CEIC -
http://ceicdata/zh-hans
最完整的一套超过128个国家的经济数据,能够精确查找GDP, CPI, 进口,出口,外资直接投资,零售,销售,以及国际利率等深度数据。其中的“中国经济数据库”收编了300,000多条时间序列数据,数据内容涵盖宏观经济数据、行业经济数据和地区经济数据。
3.- wind(万得)-
http://wind/
万得被誉为中国的Bloomberg,在金融业有着全面的数据覆盖,金融数据的类目更新非常快,据说很受国内的商业分析者和投资人的亲睐。
4.- 搜数网 -
http://soshoo/
已加载到搜数网站的统计资料达到7,874本,涵盖1,761,009张统计表格和364,580,479个统计数据,汇集了中国资讯行自92年以来收集的所有统计和调查数据,并提供多样化的搜索功能。
5.- 中国统计信息网 -
http://tjcn.org/
国家统计局的官方网站,汇集了海量的全国各级政府各年度的国民经济和社会发展统计信息,建立了以统计公报为主,统计年鉴、阶段发展数据、统计分析、经济新闻、主要统计指标排行等。
6.- 亚马逊aws -
http://aws.amazon/cn/datasets/?nc1=h_ls
来自亚马逊的跨科学云数据平台,包含化学、生物、经济等多个领域的数据集。
7.- figshare -
https://figshare/
研究成果共享平台,在这里你会发现来自世界的大牛们的研究成果分享,同时get其中的研究数据,内容很有启发性,网站颇具设计感。
8.- github -
https://github/caesar0301/awesome-public-datasets
如果觉得前面的数据源还不够,github上的大神已经为大家整理好了一个非常全面的数据获取渠道,包含各个细分领域的数据库资源,自然科学和社会科学的覆盖都很全面,简直是做研究和数据分析的利器。
随便上几个图,满满的都是资源啊
免责声明:本公众号所载文章为本公众号原创或根据网络搜集编辑整理,文章版权归原作者所有。如涉及作品内容、版权和其他问题,请与我们联系! 文章内容为作者独立观点 ,并不代表兮易强企赞同或支持其观点。
- ?
利用excel数据透视表统计大量数据,再也不用对上千行数据发愁了
宛白
展开
如果有一张上千行的销售表,像下图(各个地区按天统计的1至12月的物品销量),要统计每个月,每个地区的数据,当看到上千行的数据,是不是发愁无从下手呢,利用数据透视表,轻松搞定。
1、选中数据表中任意单元格,点击工具栏插入——数据透视表。弹出创建透视表对话框,点击确定。
2、在右边数据透视表字段对话框添加字段,这里勾选订购日期、地区、分类、销售额和成本。字段勾选根据数据分析的要求勾选。
勾选后,左边单元格会生成下图所示数据表。
3、但是日期是按天来统计,我们需要的是按月统计,选中行标签统计的某一天的单元格,例如2015/1/24,右键创建组,在组合对话框中,选择月,确定。
4、确定后生成下图所示的统计表,但是原始数据没有统计利润,这里我们为了说明问题,我们简单统计利润。
5、增加字段,统计利润,假设利润为销售额减去成本,点击数据透视表工具的分析菜单选项。
6、点击字段、项目和集——计算字段。
7、在插入计算字段对话框中,名称填写利润,公式填写=销售额-利润,确定。
8、则上千行的数据按月份统计完成。
这里只是数据透视表的基本用法,数据透视表还可以排序、筛选,还可以转换称图表,还有很多更强大用途。
- ?
年度数据统计,超级透视表显神威!
左落雁
展开
又到年底,是时候学这招了,将一年12个表格合并起来并统计。我知道你需要,所以提前为你准备好了。
格式相同的12个表格,现在要统计每个销售人员销售的产品对应的总数量。
关于多表统计,高手可以借助VBA和SQL,普通人也有非常方便的方法。一起来看看超级透视表如何进行统计的?
Step 01 新建一个工作簿,点击数据→新建查询→从文件→从工作簿。
Step 02 浏览到工作簿所在位置,点击导入。
Step 03 选择整个工作簿,点击编辑。
Step 04 删除不需要的列,展开Data获取所有数据。
Step 05 将第一行作用作标题,取消多余的标题筛选,关闭并上载。
Step 06 根据合并后的数据创建数据透视表统计。不包含空格的数据,可以直接用勾选而不需要用拖拉字段,更方便。
Step 07 布局以表格形式显示,并对销售量进行降序。
这样一份年度数据统计表就完成了。
使用过程中的一些问题:
01 超级透视表是Excel2016新增加的功能,Excel2013可以下载一个Power Query插件,复制链接到浏览器http://microsoft/zh-cn/download/details.aspx?id=39379
下载安装以后就可以找到这个功能。
02 导入数据以后,有时会出现一些不相关的表格,比如最后那个,直接取消筛选即可。
取消以后,导入数据就恢复正常,否则会出错。
我能想到的就这些了,如果还有其他注意点,在留言区补充。
- ?
PPT巨作,240页数据统计图表大合集
德天
展开
浏览器版本过低,暂不支持视频播放找了好久终于找到了,今天推荐一套大多数人都需要的PPT模板,这套模板就是数据统计模板,包含多种多样的统计图表:条形图,柱形图,线型图,饼形图,散点图等等。
介绍一下本套模板所包含的素材文件,其中包含了两个PPTX文件,一个16:9尺寸和一个4:3尺寸,包含了90个XML配色文件,包含了所需的字体文件。
单套PPT模板页数为240页,是不是很震撼页数很多,并且为图形个设置了精美的动画效果,内页图形包含了条形图,立体条形图,折线图,饼形图,线型图,散点图,雷达图等。
预制了90种XML配色文件,更加丰富了本套PPT模板的配色,XML安装到电脑后,进入PPT选择设计-主题-颜色,挑选一种配色即可。
条形图,折线图,饼形图,线型图,散点图,雷达图等信息图表都是可以编辑的,修改图形的大小也是非常方便的,我们只需右击修改数据即可。
本套PPT模板下载地址为:百度搜索:顶尖PPT 进入网站即可免费下载此套PPT模板
欢迎关注顶尖PPT
分享来自全球最顶尖,最时尚的keynote、Powerpoint模板
数据统计表格下载
-
1、只需3秒快速实现求和
-
2、如何快速填充序号
-
3、如何自动填充序号(公式法)
-
4、数据条的神奇应用
-
5、多文本快速合并
-
6、查找与替换的不同玩法
-
7、快速定位到指定区域
-
8、数据排序、工资条制作
-
9、快速筛选(模糊、精确筛选)
-
10、快速插入空行
-
11、快速删除空行
-
12.快速跳转到天涯海角
-
13、.同时查看两个Excel文件
-
14、用条件格式扮靓报表
-
15、一键插入Excel图表
-
16、批量处理行高、列宽
-
17、利用拆分功能查看数据
-
18、批量录入相同内容
-
19、工作表快速跳转
-
20、批量录入表格模板(精品课程)
-
21、Excel函数与公式的应用、公式循环引用的查找
-
22、IF函数单条件判断同比增长
-
23、用sum函数 格式相同,连续多表数据汇总
-
24、excel快捷键
-
25、VLOOKUP函数——根据销售员匹配销售额
-
26、统计各部门销售总额
-
27、统计指定条件个数
-
28、怎样输入当前日期和时间、星期数
-
29、销售业绩排名
-
30、Sumproduct函数-万能函数(销售额汇总求和)
-
31、根据销售员,地区,商品名称汇总
-
32、批量替换PPT字体
-
33、给销售额数据批量添加万元单位
-
34、一秒快速核对两列数据
-
35、快速定位到指定单元格或区域
-
36、快速制作双行标题工资条
-
37、给你的表格做个瘦身
-
38、快速打开常用的Excel文件
-
39、快速打开多个Excel文件
-
40、利用创建组—快速隐藏/展开多列数据
-
41、快速制作下拉菜单
-
42、复制粘贴表格,如何保留数据源列宽格式一致?
-
43、两列数据位置互换
-
44、1秒钟扮靓报表——如何实现表格隔行换色
-
45、快速删除重复记录——保留唯一值
-
46、快速向下填充、向右填充,文本或公式
-
47、给Excel文件添加密码
-
48、插入带图片的批注
-
49、输入公式后不计算?
-
50、如何设置单元格缩进
-
51、快速解决Excel表格总显示货币格式
-
52、批量添加万元单位
-
53、你会四舍五入么?
-
54、用RAND函数机选彩票
-
55、冻结首行你会么?
-
56、超链接的高级应用
-
57、IFERROR函数-屏蔽错误值
-
58、批量填充颜色
-
59、录入数据
-
60、快速输入工号
-
61、快速行列转置
-
62、自定义缩放界面
-
63、多个单元格同时输入
-
64、如何计算立方米?
-
65、快速制作双行标题工资条
-
66、输入带方框的√和×
-
67、快速将姓名对齐
-
68、快速输入性别
-
69、按单位职务排序
-
70、自动计算合同到期日期
-
71、计算时间间隔
-
72、日期和时间的拆分
-
73、快速处理不规范的日期格式
-
74、快速填充合并单元格
-
75、效率加倍的快捷键
-
76、快速复制表格和对象
-
77、快速创建工作表副本
-
78、快速复制序列号
-
79、快速显示公式
-
80、多个单元格同时输入
-
81、快速调整显示比例
-
82、快速自动填充
-
83、快速填充(Ctrl+E)
-
84、Ctrl与数字键结合
-
85、快速将多列数据整理为1列
-
86、快速将1列数据拆分为多列
-
87、快速定位公式
-
88、快速录入数据
-
89、快速累计求和
-
90、身份证号码显示为0怎么办?
-
91、快速制作斜线表头
-
92、文本竖向显示
-
93、神奇的监视窗口
-
94、不一样的格式刷
-
95、快速美化图表
-
96、快速生成当前日期
-
97、快速找出循环引用
-
98、快速提取信息
-
99、二维表快速转换为一维表
-
100、快速多表合并