- ?
美国数据分析(Business Analytics)专业详细介绍
夜蔓
展开
Data Science 作为一个宽口径的新兴职业方向,充满了工作机会,同时,无论你是学什么与业出身的,都有新与业、新领域的知识要学。比如工作期间,学统计的去研究一下优化、计量经济,学计算机的深入加强统计知识,都可能有机会。看到市场对数据人才的追求日益激烈,许多大学开始与门开设数据分析类与业。
近几年来,美国很多学校也开设了analytics的多门硕士项目,比如 Northwestern、 NCSU,但是开设这类专业的学校,一般综合排名低,除了西北大学,以前少有学校问津 analytics;随着过去两年data science和bigdata的共起,UIUC、UT Austin、NYU等都相继开设了analytics、Data Science类的硕士项目,包括弗吉尼亚大学、哥伦比亚大学、俄亥俄州立大学等开设宣布计划开设数据科学方面的硕士研究生培养项目。例如,南加州大学马歇尔商学院就与门开设了商业数据分析的硕士项目。该项目总终的第一句话就是:商业数据分析是现在全美增长最迅速的领域。
数据科学专业需要具备的能力
(1)、计算机科学能力一般来说,数据科学与业大多要求具备编程、计算机科学相关的与业背景。简单来说,就是对处理大数据所必需的 Hadoop、Mahout等大规模幵发处理技术等机器学习相关的技能。(2)、数学、统计、数据挖掘的能力除了数学、统计方面的素养之外,还需要具备使用SPSS、 SAS等主流统计分析软件的技能。其中,面向统计分析的开源编程语言及其运行环境“R”最近备受瞩目。R 的强项不仅在于其包含了丰富的统计分析库,而专具备将结果迚行可视化的高品质图表生成功能,不可以通过简单的命令来运行。此外,它还具备称为CRAN(The Comprehensive R Archive Network)的包扩展机制,通过导入扩展包就可以使用标准状态下所不支持的函数和数据集。R语言虽然功能强大,但是学习曲线较为陡峭,建议从python 入手。
(3)、数据可视化
信息的质量很大程度上依赖于其表达方式。对数字罗列所组成的数据中所包含的意义迚行分析,开发Web原型,使用外部API将图表、地图、Dashboard等其他服务统一起来,从而使分析结果可视化,这是对于数据科学家来说十分重要的技能之一。
(4)、跨界为王麦肯锡认为未来需要更多的“translators”,能够在IT 技术,数据分析和商业决策之间架起一座桥梁的复合型人才是最被人需要的。”translators“可以驱劢整个数据分析戓略的设计和执行,同时连接的IT ,数据分析和业务部门的团队。如果缺少“translators“,即使拥有高端的数据分析策略和工具方法也是于事无补的。天才的”translators“非常罕见。但是大家可以各敬其职,数据战略家可以使用IT 知识和经验来制定商业决策,数据科学家可以结合对与业知识的深入理解使用IT 技术开发复杂的模型和算法,分析顾问可以结合实际的业务知识不分析经验聚焦下一个行业爆点。
未来就业前景这类硕士项目的最大优势是在于读程设置,software system、machine learning、database、 optimization、decision science、statistics、business intelligence等所有涉及到的领域知识,往往都会学一些。因此,跟比如学统计戒者计算机出身的同学相比,有analytics硕士学位的同学,知识结构更合理、更全面。也正是因为这点,目前学这个与业的同学找工作很容易。以下数字可以说明数据人才有多稀缺。一个拥有博士学位的数据科学家的起薪通常是六位数,工作两年后,就可以轻松赚到 20万至30万美元的年薪。在美国职业社交网站领英网(LinkedIn),有3.6万个数据科学家的职位虚位以待。另一家网站的数据显示,去年底有6000家公司正在招聘数据方面的人才。
【选校大揭底】
美国目前总有45所大学开设的数据分析相关与业硕士研究生读程项目。小科对这45 所院校做了整理的查校,总结如下:所有都相对集中在美国的东部、北部区域,所开设的大数据分析硕士学位课程可以分为三个类型。
1、数据分析科学硕士学位课程(MSA,Masterof Science in Analytics) 美国有14所大学,总性是属新开发的跨学科读程,将应用数学、统计学、计算机科学,以及各种商业学科诸如营销、财务等融合在一起,即使一些学位使用预测分析(Predictive Analytics)戒数据分析(Data Analytics)冠名其读程内容也大致相同;
2、商业数据分析硕士学位课程(MSBA,Masterof Science in Business Analytics) 美国有17所大学开设此学位课程,其特点基本上是由各大学商学院新开设戒改名而来的,也会有不与其他学院联合办学的情况,和MSA类似面向技术的读程稍少一些,但也不意味着MSBA就完全偏向商科。
3、属其他学科的硕士学位但主修方向是数据分析(Other M.S. Programs, Analytics Tracks andConcentrations) 开设该项目课程的有14所院校,常冠以数据科学(Data Science)这个名称,一般开设在商学院以外的学院,将数据分析课程与其他学科结合的硕士学位,还有的情况是将原有的旧专业改为数据分析与业,有时还可能沿用原有的与业名称,目标是从庞大数量种类的数据中去获得能有效沟通的可执行见解。
以下我们筛选了其中5所院校做以详细的查校结果汇总,如果想要了解更多院校查校信息
1、加州大学伯克利分校信息与数据科学专业(MS in Information and Data Science):
专业介绍: 加州大学伯克利分校有两个相关的学位项目:数据科学工程硕士Masterof Engineering (concentration in Data Science),信息数据科学硕士Master of Information andData Science (MIDS),伯克利的两个硕士项目综合教授技术和企业运营的技能,立足现有最前沿的技术,扎实务实地培养学生成为领域内的佼佼者。
加州大学伯克利分校官网申请大数据:
GPA要求:3.0;TOEFL要求:90;IELTS要求:7.0;GRE 要求:Required;GRE Subject:Not Required
申请学期:夏季申请截止日期:2月14日
学费:$2,222.22/学分
申请说明:信息数据科学硕士(MS in Information and Data Science):为期20个月,总计27个学分,受西部学校和学院学会(WASC)认证。要求申请者本科毕业,有计算机科学、数据结构、算法分析、线性代数等相关工作戒实习经验,如有5年以上工作经验则更受欢迎。毕业生可从事航空工程人员、建筑师、商业分析师、商业智能分析师、首席技术官、合同技术与家、数据分析师、互联网安全顾问、定量分析师、研究工程师、系统工程师等职业。无奖学金申请,国际学生需自费攻诺。
录取数据:
招生年:2016年春季学期;女生比例:24%;平均年龄:33;年龄范围:22-57;本科平均GPA: 3.49;GMAT数学均分:76%;GMAT 阅读均分:84%;GRE数学均分:82%;GRE阅读均分:82%;
伯克利是有着矛盾的两面性:一方面是草根的,平民的,大众的。BerkeleyHippie成为了伯克利学生自黑的主要槽点,校园附近随处可见千奇百怪的各色人等,如某街头艺人;但是,另一方面是尖端的,精英的,前沿的,比如叧有诺贝尔奖获得者才能用的停车位。在伯克利接触到的学生基本上可以分为两拨:一拨是以科研为主的有志青年(包括绝大多数的PhD 和极少部分的本科生),他们对本与业的热情天赋让我毫不怀疑地相信这波人是会引领未来人类科技进步的行业精英;另一拨则是普普通通的学生,他们由于机缘巧合,家庭背景,或者自己个人的奋斗,得以相聚在伯克利的校园里。他们大多想找个好工作回馈父母家人,他们得益于伯克利这个平台的帮劣也因此对这个平台感恩戴德,他们和平常人一样,不过多了顶绣着伯克利商标的帽子,他们中的大多数未来会湮没在茫茫人海中。
2、哥伦比亚大学数据科学专业(MS Data Science Track)
专业介绍:
哥伦比亚大学有一个业界顶尖的大数据科学的工程研究室(Institute for Data Sciences and Engineering),学生在此参与实验科研项目。该项目是2014年秋季新开设的,由此可见其对于这一与业的重视。项目开设在工学院下,项目侧重数据挖掘、算法和统计建模(i.e., Algorithms for Data Science, Machine Learning for DataScience, Statistical Inference & Modeling),培养方案面向业界需求。
哥伦比亚大学官网申请大数据:开设学位:MS
要求:TOEFL99;GPA要求:3.0;IELTS要求:6.5;GRE要求:Required;GRE Subject: Not Required;
可申请学期:秋季申请截止日期:2月 15日学费:$1,858/学分
申请说明:
哥伦比亚大学数据科学(Data Science)与业由数据科学所(Data Science Institute)开设,研究生招收MS 学生。要求申请者本科毕业,拥有一定的数学及编程基础,需要递交GRE成绩,但无最低GRE、GPA等分数要求,不可使用GMAT代替GRE成绩。该MS 项目为期1 年,总修30个学分,无需撰写毕业论文。哥伦比亚大学工程不应用科学学院未设定有最低TOEFL/IELTS 分数要求,此外,该学院还认可PTE成绩,总分要求不低于68分;该项目无最低GPA要求,按美国大学研究生申请一般规定,GPA尤其是在校成绩平均不低于3.0 分;所有与业均需有GRE 成绩;除应用物理与业外,所有与业均无需GRE Subject成绩;未设定有最低GRE分数要求,但录取学生的GRE阅读平均百分比排名多在64%以上,数学多在82%以上;不接受GMAT成绩。
3、纽约大学数据科学专业(MS in Data Science)
专业介绍:
纽约大学的data science 既不是在 stern商学院下面,也不是在computer science下面,而是在 math下面。申请的时候应该比较看重数学背景,该与业开设于2013年,开设在 math下面的一个与门的Center for Data Science,为想迚入NYU的申请者多提供了一个录取的可能通道。基于这个与业的培养目标focuses on the development of new methods for data science。它录取的学生背景大多是理工科背景的居多:Math,Stat,也录取过几个 CS, EE, Econ与业的学生。
纽约大学官网申请大数据:开设学位:MS
要求:GPA要求:3.0;TOEFL要求:100;IELTS要求:不接受;GRE要求:Required;GRE Subject:NotRequired;
可申请学期:秋季申请截止日期:2月4日学费:$1,664/学分
申请说明:纽约大学数据科学硕士(MS in Data Science)一般为期4个学期,要求学生有足够强大的数学知识背景和一定的计算机科学基础知识,学习过微积分、线性代数、统计学、概率论以及计算机科学等读程。该项目仅秋季学期可以申请,截止日期为2月4日,无需GRE Subject数学科目考试成绩。该项目基本无奖学金。
纽约大学文理研究生院按学分收取学费,一般PhD要求修满72个以上的学分,硕士要求修满32-34个学分。按全日制授课项目,平均每年可修学分至少24个。此处为2016-17学年文理研究生院平均每个学分的学费标准,需要注意的是,该费用每年会有较小(不超过5%)的涨浮。
TOEFL:不低于100分,无单项要求,不接受IELTS成绩;数据科学硕士项目仅限秋季学期申请,申请截止日期为2月4日。课程设置:
该与业学制两年,总修36学分。
录取统计:我们从这个项目2013Fall 第一次招生的录取数据来看:打算要30个人,收到152封申请,发了50 个ad,刚好来了30个。 30个人里面,背景情况,undergraduate有11个,已经拿到一个 graduate的大概有10个(有1,2个phd,其余都是 master),剩下的就是已经工作了的。所以这 30个人是同时包括part-time和full-time 的。粗略分布: White10人,Asian20人吧,其中2个印度人,1个韩国人,1个日本人,1个台湾人,其余都是大陆的。average age=25. 大陆分布:10个左右美本,5个非美本吧。美本来源包括umn,uiuc,u of toronto, wisc-madison,git等等等等。感觉美本基本都是美国的数学强校,本科与业也都是math,stat,ieor,有几个cs ee econ的。非美本有 5个,其中一个港大,一个清华ee。当然随着Data Science的持续火热,未来的申请人数预测会增长到至少300人!知乎学长经验谈以下是NYU总体给我的感觉: NYU的优势是在于Data 的读太多了,DS自己的读不说,Cournat的CS也包含了一部分Big Data, NLP之类的读(同被DS的 Big Data坑= =,不过Cournat CS有门Real Time Big Data Analytics不知道会不会好些),Steinhard 的A3SR会有很多应用统计的读程,Stern有统计的PhD,还有 Info的偶尔也提供一些读程可以上, Tandon CS有可视化,CUSP 有城市数据分析(ML,Big Data这些的我们都开,不过和 DS的侧重不一样,还有通过传感器去采集数据,如何分析声音图像数据等等)Tisch的ITP还包含了一部分数据可视化(Data Art),前端(Creating API)和传感器的读程。除了Stern的读比较难选以外,其他学院的读基本开了就能选到。
4、普渡大学商业分析与信息管理专业(MS Business Analytics & Information Management, BAIM)
专业介绍:和麻省理工学院的MBA一样,该项目都有个单独的分支是商业分析,学生学习的基础读程涵盖高级商业分析、数据挖掘、数据管理等,选修课程可以从以下三个领域选择:
●商业分析咨询
●金融/财务咨询
●市场营销咨询
普渡大学官网申请大数据: USNEWS排名:47(商学院排名)GPA要求:3.0;TOEFL 要求:93;IELTS要求:7.5;GMAT要求: Required;工作经验要求:无;
可申请学期:夏季申请截止日期:1月16日-3月1 日学费:$46,000
申请说明:
普渡大学商业分析不信息管理硕士(MS Business Analytics & Information Management, BAIM)项目为期11个月,总计修36个学分。要求申请者本科毕业,不限与业背景,无前ç½...
- ?
MSA数据分析方法和应用案例
晓蕾
展开
测量系统是用来对被测特性定量测量或定性评价的仪器或量具、标准、操作、方法、夹具、软件、人员、环境和假设的集合; 是用来获得测量结果的整个过程。从这个定义中可以看出, 测量过程实际上是一个制造数据的过程,获得正确的测量数据则是保证产品质量的第一步。如果不能科学地评价测量系统产生的数据的可靠性, 就无法对测量系统的有效性进行控制, 质量管理和控制就失去了最基本的前提。因此,在ISO/TS16949汽车行业质量体系标准中,测量系统分析(简称MSA)被列为该标准的五大工具之一。
测量系统分析(MSA) 的目的是确定测量数据的可靠性, 它实际上是一个对测量系统的监督检查程序, 在一定程度上可以看作是一个检验产品控制计划满足程度的把关程序。即对已判定为合格的零件进行抽样检查, 经过科学的统计理论分析, 找出因测量系统因素导致不合格的因素, 并加以整改, 逐渐减少产生不合格产品因素的存在,从而达到控制产品质量的最终目的。
1 基本MSA方法
测量系统分析,顾名思义针对的是整个测量系统的稳定性和准确性,它的核心是分析
测量系统的位置变差、宽度变差。在位置变差中包括测量系统的偏倚、稳定性和线性;在宽度变差中包括测量系统的重复性、再现性。测量系统的偏倚、稳定性、线性、重复性和再现性就是人们通常所说的“五性”。因此,MSA 可简单概括为:分析整个测量系统(仪器或量具、标准、操作、方法、夹具、软件、人员、环境和假设的集合)在测量过程中存在哪些风险和误差的过程。MSA采用的数据分析方法有:独立样本法、图表法、极差法、方差分析法等。按照测量系统分析过程前后顺序,相关方法摘记如下。
1.1 识别数据类型 在进行测量系统分析前首先要识别测量数据的类型,了解了数据的类型才能使用合适的方法进行测量系统分析。一般数据类型有两种:计数型数据和计量型数据。计数型数据是指不能连续取值的,如砂眼数、裂纹处、疵点数等。计量型数据是可以连续取值的,如长度、尺寸、温度等。
1.2 选定测量系统分析方法 测量系统分析常用的方法有Gage R&R研究、专家再评估、检验一致性和专家循环研究。重点研究Gage R&R。Gage R&R方法主要用于计量型数据,评定标准是用Gage R&R值。一般Gage R&R值在小于10%以下可接受,Gage R&R值在10%-30%之间为灰色区域,也许可接受,Gage R&R值大于30%,测量系统需改进。同时还要看可区分数NDC,当NDC大于等于5时,通常认为测量系统可靠。用Gage R&R值作为评定标准时还要考虑零件的关键特性,对关健特性测量系统分析结果Gage R&R值大于15%时,我们就要考虑对这个测量系统进行改进。
1.3 测量系统的重复性和再现性分析方法(简称%GR&R%或R&R) 确定研究主要变差形态的对象/量具(如:游标卡尺、电子秤、硬度计、千分尺等)。工序量具、产品和质量特性;选择使用极差法,均值和极差法中的其中一种方法对检验、测量和试验设备进行分析;从代表整个工作范围的过程中随机抽取样品进行;测量系统分析的工作人员在进行检验、测量和试验设备测量系统的重复性和再现性分析时,必须先对被分析的检验、测量和试验设备进行零件评价人平均值和重复性极差分析,同时所分析的零件评价人平均值和重复性极差之结果必须均受控方可进行被检验、测量和试验设备测量系统的重复性和再现性分析工作;否则该检验、测量和试验设备的测量系统不能检查出零件间的变差且不能将其用于过程控制中。
1.4 平均值和重复性极差分析 1)选择2-3个操作员(至少2人)在全然不知情的状况下利用校准合格的量具对随机抽取的5-10个样品进行盲测,每个操作员对同一样品的同一特性在盲测的情况下重复测量2-3次。 2)操作员或进行%R&R测量系统分析的工作人员将所测量的结果记录于“零件评价人平均值和重复性极差控制图”上。 3)负责组织此项测量系统分析研究的工作人员,依据“零件评价人平均值和重复性极差控制图”上的数据和产品质量特性规格进行计算和分析,并将其分析的结果记录于“零件评价人平均值和重复性极差控制图”上。
1.5 均值和极差法(X-R) 1)选择2-3个操作员(至少2人)在全然不知情的状况下利用校准合格的量具对随机抽取的5-10个样品进行盲测,每个操作员对同一样品的同一特性重复测量2-3次。 2)操作员或进行%R&R测量系统分析的工作人员将所测量的结果记录于“量具重复性和再现性X-R分析数据表”上。 3)负责组织此项测量系统分析研究的工作人员,依据“量具重复性和再现性X-R分析数据表”上的数据和产品质量特性/规格进行计算,并将其记录于“量具重性和再现性X-R分析报告”上。
1.6 极差法(R) 1)选取两位评价人和5个产品进行分析,每个评价人对每个产品进行盲测一次,并将测量结果记录于“量具极差法分析表”中(每个操作员应熟悉和了解使用量具的一般操作程序,避免应操作不一致而影响测量系统的可靠性),并评估不同操作员对量具使用的熟练程度; 2)针对重要特性(尤其指有特殊特性符号的)测量所使用量具的精度应是被测量产品公差的1/10(即其最小刻度应能读到1/过程变差或规格公差较小者),以避免量具的分辩力不足,而一般特性测量所使用量具的精度应是被测量产品公差的1/5;
3)负责组织此项%R&R测量系统分析研究的工作人员,依据“量具极差法分析表”的数据和产品质量特性/规格进行计算,并将其计算结果记录于“量具极差法分析表”上;必要时,可将其作成X-R控制图。
4)%R&R接受准则: a)、%R&R<10%,可接受;b)、10%≤%R&R≤30%,依据量具的重要性、成本及维修费用等因素,决定是否可接受或不可接受;c)、%R&R>30%,不能接受,必须进行改进。
1.7 线性分析法
在测量系统工作范围内选定5个产品,它们的测量值应覆盖量具工作范围;在计量室或工具间用全尺寸检验设备(精密量具)测量每个产品10次,并计算其平均值,然后将其确定为“基准值”,同时确定它们各自所取得的“基准值”是否覆盖了被检量具的工作范围;让一位经常使用该量具的操作员(评价人)对5个产品以盲测的方式按随机抽取 顺序分别测量每个产品各10次(或更多次),并将其测量值记录于“量具线性分析报告”中,然后计算各产品的测量平均值,此值即为每个产品的“观察平均值”。
2 MSA与计量的关系
MSA主要针在现场环境下,由现场控制人员按照《控制计划》要求的频次,对具体的零件使用正确的监视或者测试设备,按照《检验作业指导书》的方法进行有效的检测和监控(即人机料法环等环节),在每个时期,针对不同的目的,采用不同的MSA方法,研究分析每个环节产生的变差(即分离分离各个变差),最后消除或减小变差,使得我们生产的产品满足技术要求。MSA的数学理论基础为《概率与数理统计》。
计量主要是实现单位统一和量值准确可靠的测量,它以保证测量统一和准确为目的。测量环境有严格的控制要求。测量的变差分析的数学理论基础为《误差分析与数据处理》,也是根据《概率与数理统计》原理基础上建立起来的。本文主要指计量体系和管理,不涉及具体计量内部运作,只谈与测量系统的相互关系。
MSA关注对产品技术要求测量的综合反应有影响的结果,用来研究和分析整个测量系统以及影响测量的各个因素。计量的含义则是保证量值传递或溯源准确可靠,而将影响量值的其他分量进行控制,如环境、温度等,更关注的是测量方法。可以这样说:综合研究的是MSA,测量系统分析;只研究测量的是计量,所以也称之为“测量分析”。
3 两个例子
3.1 案例一
盛玉在他的文章《MSA实例分析》中,针对一把高度尺应用MSA分析方法的全过程。
下面通过日常监控分析常用的线性和R&R 的实例。
1、线性———验证一把高度尺,基本内容见下表。
1)在现场取一根曲轴,选其上5 个不同尺寸;
2)选用比高度尺精度高(一般高3 倍以上)的精密三坐标测量出5 个尺寸的基准值;
3)用高度尺分别测量5 个尺寸,每个尺寸重复测12 次
4)输入软件,自动得到结果;
5)接收准则:≤5%接收,≥10%拒收;5%—10%有条件接收;
6) 结果处理:该例中线性自动计算为3%至5%,按照接收准则线性可接收。
若大于5%,我们要从人、机、料、法、环、测几个方面去查找根本原因并改进,若已对产品质量造成影响,还需去追溯造成影响的产品,重新检测,直到满足要求。
2、重复性和再现性,简称R&R
在实际生产应用中,R&R 通常一起分析。如:验证曲轴OP100 综合检具上法兰轴头直径∮88.8(+0.804/+0.004),具体计算如下表所示。
1)按照MSA 计划分别在不同时段收集OP100曲轴共10 根;
2)3 名熟练操作工分别测量10 个工件,每个件重复测3 次;
3)把3 人3 次共90 个测量数据输入计算软件(表2 中有底色部分),则会自动得到结果;
4)接收准则:
a. R&R 低于10%,测量系统可接受;
b. 介于10%到30%之间,基于应用的重要性,该量具可能会被接受;
c. 大于30%,测量系统需要改善,识别出原因并纠正它们;
d. 数据分级数NDC>=5 测量系统可接受。
5)分析结果
前文表格中测量结果明显看出该测量系统不可接受,EV=65.7%、R&R=73.1%且NDC=1。我们测量小组一起到现场查找原因,通过排除法最终找到R&R 超差根本原因如下:
a. %EV=65.7% (计算软件要求%EV<30%),零件安装时有转动,不稳定;
b. 数据分级数(NDC)=1 (计算软件要求NDC>=5,测量软件显示分辨力不够,稳定生产条件下被测件尺寸稳定,分组少。
6)解决方案
针对a. 零件安装时有转动问题,经过现场反复装夹测量,结果差异0.002mm,由于重新加工制作条件不成熟,对这影响量0.002 mm,我们和工艺一起确认采取收紧控制限方法避免;
针对b. NDC 分级数偏低问题,现场排除一切可能影响因素,分析软件仍显示分辨力不够,最终确认是10 件样件产品尺寸太接近造成,也可以说是我们现在的产品质量很稳定。对于NDC 偏低问题,在做MSA 取样时要充分考虑到尺寸范围,如留下换刀或平时偶发时发现的不合格产品。
7)重新取样
找到2 件接近公差限样件,重新测量输入测量软件后计算结果满足要求见下表,表明我们现在的测量系统稳定可靠,不需要去追溯已经测量的产品。
一般情况下如果重复性比再现性大,原因可能是:
1)仪器需要维护;
2)计量检测设备应重新设计来提高刚度;
3)夹紧和检验点需要改进;
4)存在过大的零件变异。
如果再现性比重复性大,原因可能是:
1)评价人需要更好的培训如何使用计量检测设备和数据读取方式;
2)计量检测设备刻度盘上的刻度不清楚或校正不良;
3)需要某种夹具帮助评价人提高使用计量检测设备的一致性。
3.2 案例二
作者洪涛在他的论文《MSA在电能表误差检验中的应用研究》中介绍了MSA方发在分析电能表测量误差中的具体应用过程。
(一) MSA在电能表误差检验中具体应用
(1) 研究方案
在测量系统分析中,准确性特性一般可通过检验装置的量值传递或对比来解决,目前电能表制造企业都已采用。本文重点介绍测量系统的R&R分析。本设计方案和具体实施都是依托国内某知名电能表生产企业的计量测试中心的电能表误差检验系统展开的,
具有一定的代表性。
(二) 稳定条件的确定
进行MSA分析前提是系统处于稳定状态。本文的研究涉及的稳定性包括两个方面:一是检验装置的稳定性,二是电能表的稳定性。综合起来就是电能表误差检验系统的稳定性。方案选择了7块电能表和3个检验装置作为研究对象。对于稳定性的研究,用标准试验室的标准装置(误差等级为0.01级,中国科学研究院比对校准)测试所选7块表的0.1Ib点误差:每块表测试5次,每次读取10个数据,共取得35组350个数据,每次测试前预热十分钟。整个试验是在标准试验室进行的,试验的温度都是严格控制在20±3℃以内。
试验所取得7块表的数据便是其真值,对数据修约后进行分析,做出Xbar- R控制图,如下图所示,进行分析和判定,发现2号表的误差不稳定,有多个均值统计量和极差统计量超出控制限,淘汰2号表用剩下的6块表做剩下的试验和研究。
采用同样的方法,对三台检验装置进行稳定性测试和判定,结果3台检验装置均符合要求。
(三) 重复性和再现性试验及研究
由于现在的电能表误差检验系统已经实现了测试、读数、计算、显示的自动化,人的影响因素已经消除,针对电能表误差检验系统而言,重复性是指在用同一检验装置检测同一批次电能表时,测试结果之间的一致程度。再现性是指用不同检验装置检测同一批次电能表时,测试ç...
- ?
数据分析:大数据时代背景下对应用统计学专业的思考,看完长见识
冰双
展开
大数据时代背景下对应用统计学专业的思考
一、概述 众所周知,统计学自古至今就是一门以研究数据为主的学科,至今已经形成了较为成熟的数据研究体系与框架。统计学专业的学生的主要就业方向是银行、会计师事务所、市场调查公司或其它企事业单位。因此目前统计学教育的主要目的是能够培养出独立完成问卷设计、数据收集、应用模型进行数据分析的高级统计人才,其主要专业课程包括:高等概率论与数理统计、应用回归、多元统计、市场调查实务、时间序列分析、金融计算等,这些课程仍然是传统的课程设置,并不符合大数据时代数据科学家的专业知识构成。因此,在大数据时代背景下对应用型本科院校应用统计学专业的培养模式和教学改革的思考是非常有必要的。 2012年3月29日,美国在倡议书中指出,美国将应用收集巨大、复杂数据的挖掘能力,加速科学与工程学科的创新脚步,改革学生培养模式。北京师范大学邱东教授探讨了面对大数据潮流人们应持有的科学态度,从大数据的概念功能、统计学与数据科學的关系、大数据潮流对统计学产生的影响等4个方面论述了大数据对统计学的挑战[1]。英国学者维克托·迈尔·舍恩伯格认为大数据的精髓在于分析信息时的3个转变:一是可以分析和处理更多甚至是全部的数据,不再依赖随机抽样;二是研究数据如此之多,以至于人们不再追求精确度;三是人们不再热衷于寻找因果关系[2]。为适应大数据时代对数据处理人才更高综合素质的要求,统计学科教师与专业教育应在知识结构、教育内容、教育方式和人才培养模式等方面,主动进行与时俱进的充实、调整及变革[3]。文章拟从数据挖掘与统计分析的联系与区别、大数据对统计教育及统计人才的机遇与挑战的新形势下从政府、企业和人才等多个角度进行展开调查,对于应用型本科院校培养顺应时代发展的应用统计学专业的高层次人才提供相应的建议。
二、统计分析与数据挖掘的区别与联系 统计分析是指运用统计收集整理方法及与分析对象有关的知识,从定量与定性的结合上进行的研究活动。 统计分析过程:描述要分析的数据的性质,研究基础群体的数据关系,创建一个模型,总结数据与基础群体的联系,证明(或否定)该模型的有效性,采用预测分析来预测将来的趋势。 统计分析方法:(1)描述统计:将研究中所得的数据加以整理、归类、简化或绘制成图表,以此描述和归纳数据的特征及变量之间的关系的方法。集中趋势、离散程度、相关强度等、指标有平均数、标准差、相关系数等;(2)推断统计:用概率形式来决断数据之间是否存在某种关系及用样本统计值来推测总体特征的一种重要的统计方法。总体参数估计、假设检验、Z检验、T检验、卡方检验等数据挖掘是从庞大的数据中分析出有目标数据群,筛选出利于决策的有效信息。数据挖掘的数据量极大,注重数据查询分析的可行性。数据挖掘是着眼于预测未来,从大量的数据中寻找某些规律。
数据挖掘过程:(1)定义问题:分析业务需求、定义问题的范围、定义计算模型所使用的度量、定义数据挖掘项目的特定目标等;(2)准备数据:删除错误数据或插入缺失值、查找数据中的隐含相关性、标识最准确的数据源、确定哪些列最适合用于分析;(3)浏览数据:计算最小值和最大值、计算平均偏差和标准偏差、查看数据的分布;(4)部署和更新模型:根据实际数据部署、更新模型;(5)浏览和验证模型:测试模型的性能、需要使用不同配置创建多个模型,并对所有这些模型进行测试,查看哪个模型为最佳;(6)生成模型:通过创建挖掘结构定义要使用的数据列、将挖掘结构链接到数据源,但只有对挖掘结构进行处理后,该结构才会实际包含数据。 从上可以看出大数据虽与统计学密切相关,但二者也在研究目的、数据处理对象和技术工具上有着诸多差异。大数据的兴起不仅在分析手段、工作重心和价值理念上给统计学带来了重大影响,而且也使担负着培养现代统计工作和数据分析之人才的统计教育面临严峻挑战。
三、大数据对统计人才及统计教育的机遇与挑战 根据2014年大数据应用现状和趋势展开的调研分析,被调查者最关注的大数据技术中,排在前三位的分别是数据分析(统计分析与数据挖掘等)(25.5%)、数据采集(19.9%)、数据处理 (18.5%)。企业数据管理面临的挑战:缺乏专业的大数据人才(26.95%)成为企业面临的最大挑战,其次是非结构化数据的分析和处理(26.65%)、传统技术难以处理大数据(25.27%)以及新技术门槛过高(21.13%)。根据2015年2月Forrest报告,很多企业都在努力挖掘其拥有的大量数据,包括结构化、非结构化、半结构化数据等,探索对数据的深入利用。从国内企业大数据应用的现状和规划来看,已经部署大数据应用的企业所占比例达到21.89%,计划1年内部署的企业占27.92%,计划2年内部署的企业占14.34%,没有相关计划和不确定的企业分别占11.32%和24.53%。大数据相关人才的欠缺将会成为影响大数据市场发展的一个重要因素。据Gartner预测,到2016年,全球将新增440万个与大数据相关的工作岗位,且会有25%的组织设立首席数据官职位。大数据的相关职位需要的是复合型人才,能够对数学、统计学、数据分析、机器学习和自然语言处理等多方面知识综合掌控。 根据学院统计学不同方向等专业的学生、老师、专家以及政府范围工作人员等进行访问调查的结果,然后结合现如今大数据时代企业和政府对人才的需求,最终制定应用型人才培养方案分别如下: (一)深化课程教学内容改革 1. 更新教学内容,紧跟时代发展——大数据、互联网金融、国民经济统计、货币银行、经济预测与决策;2. 强化统计基础,提高实践操作——统计方法、软件实现、贝叶斯统计、非参数估计、统计软件、数据挖掘;3. 强调专业导向,拓宽就业方向-选修、考证;金融类、经济类、管理类、会计类;统计从业资格证书。 最终根据学院不同方向统计学专业设置专业核心课如下: (1)应用统计学:主要专业课 调整为:概率论、数理统计、统计学、回归分析、时间序列分析、多元统计分析,抽样技术、数据挖掘、贝叶斯统计、计量经济学、统计软件、非参数统计、统计调查等;(2)应用统计学(金融统计):主要专业课 调整為:概率论、数理统计、统计学、回归分析、时间序列分析、多元统计分析,抽样技术、数据挖掘、金融计量学、风险管理、保险学、非寿险精算、统计软件、国民经济核算、统计调查等;(3)经济统计学:主要专业课 调整为:概率论、数理统计、统计学、回归分析、时间序列分析、多元统计分析,抽样技术、数据挖掘、国民经济核算、风险管理、保险学、非寿险精算、统计软件、金融计量学、统计调查等。
(二)重视教学方法改革 1. 教师教学理念——单向灌输式转向引导探究式、教学案例能贴近实际问题(体测数据、大学生婚恋、手机);2. 鼓励学生参与各类项目——科研、调研、方案设计、抽样调查、统计调查、学科竞赛、教师课题(分解子课题);3. 注重综合能力提升——表达、协作、创新、研究报告、PPT展示等。 (三)建立完善的实践教学系统 1. 基本知识技能实验——理论教学的课内实验,大一、二:数学类;大二、大三(上):专业基础;2. 综合性实践教学——综合性数据的采集、处理、分析,大三(下)、四(上):数据挖掘、统计软件、统计调查;3. 探索性实践教学——社会调查、毕业实习、毕业论文,大四(下)。 (四)改革课程考试方式 1. 基本知识(理论)+实验报告(平时)+综合实验(期末)数学类;专业基础课程;2. 方案设计、调研报告、抽样调查、统计调查;3. 综合实验,数据挖掘、统计软件。 四、结束语 最终学院统计系下设两个教研室和一个研究中心,即基础统计教研室、专业统计教研室和大数据统计科学应用研究中心。秉承和依托母体学校——上海财经大学的办学宗旨和学术底蕴。在全校统计学公共课教学方面,针对学生的特点,课程教学采用课堂教学、调查实践与统计调查大赛相结合的教学方式与形式。也采取和校外企业、单位等合作项目老师指导学生参与的形式,这样既提高学生的实践能力又加强了师生之间的交流。在这样边学理论边实践的过程中也让学生足够了解现在企业所需人才的类型、找到自己的不足再补充理论方面的知识,然后学生还可以向学校反馈信息,这样最终形成一个学院专业始终跟得上经济的发展形势,不断地改革和完善教学内容,争取培养出在各级政府机关、银行、证券以及上市公司、企业集团、跨国公司等企事业单位和经营管理机构从事统计、市场调研、市场预测与决策、信息咨询、可行性研究和综合评价等实际工作以及科研单位从事研究工作的应用型人才。
- ?
数据分析:新课标下小学数学统计与概率形成浅谈,看完长见识了!
秋烟
展开
新课标下小学数学统计与概率形成性教学浅谈
小学有关数学统计与概率这部分知识看起来抽象,实际上是认识现实世界与处理日常生活的一种思想方法,有助于学生形成尊重事实、用数据说话的态度。同时,从宏观上,使他们逐步形成统计与概率观念,帮助他们形成科学的世界观与方法论。统计与概率这一领域的内容对学生来说是抽象而又充满吸引力的,但是通过具体的教学环节也可以充满趣味和吸引力的。如:可以动手收集与呈现数据或是做概率游戏等,因为其本身就是对思维的一种挑战和一个非常有趣的过程,有助于培养学生对数学的积极情感体验。 具体地看,小学数学课程内容结构中的“统计与概率”主要有如下一些基本部分构成:①知道数据在描述、分析、预测以及解决一些日常生活中的现象与问题的价值;②学会一些简单的数据收集、整理、分析、处理和利用的基本的能力;③会解读和制作一些简单的统计图表;④认识一些随机现象,并能运用适当的方法来预测这些随机现象发生的可能性。 现在以人教版《小学三年级上册》第八单元有关“可能性”部分的内容为例来进行分析。
一、导入部分 通过示范游戏让学生体验确定现象与不确定现象,列举可能的结果。 (1)教师:“从一只装有5个白球,5个黑球的袋中摸出一球,问:摸到白球的概率有多大?摸到黑球的概率有多大?”
学生:(答案各异) 活动目的:让学生学会求一些简单事件的可能性。 (2)让学生在设计如何在一个口袋中装入若干个形状和大小都完全相同的球,使得从口袋中摸到一个白球的概率是1/5。 (3)进行日常活动的关联。如:“我们班同学明天要和邻班的同学进行足球比赛,请预测这两支球队赢的可能性分别有 活动目的:要求学生想到用统计的方法收集以往比赛中两球队的相关信息,然后对这些数据进行整理与分析,算出各球队胜负的比例,最后做出推断。 二、教师引导学生进行思考 通过小组内游戏的方式,进行实验,利用统计的方式呈现实验的结果,初步思考原因,引导学生在实验的结果中寻找统计学上的规律。 活动内容一:以组为单位,让学生自己反复抛掷一枚硬币,然后通过对记录的数据进行统计与观察。 (1)学生得出结论:“正面朝上与反面朝上的次数这两个数据逐渐接近”。 (2)教师给与肯定:“这两者发生的可能性是一样的”。 当然,这里还包含着一个基本的极限思想的问题,所以教师还需要给与指导,明确指出:“只有当事件的频数(抛掷硬币的次数)趋向无限大时,正面朝上与反面朝上的机会才是相等的。 活动内容二:
老师拿出一个盒子,盒子里有 4个白球和1个黑球。 (1)教师:如果从中任意摸出1个球,可能是什么颜色的球? 摸到白球的可能性有多大,黑球呢? 要求学生进行思考后并组内交流。 (2)学生 1:可能摸到白球,也可能是黑球。 (3)学生 2:摸到白球的可能性是 4/5 ,因为有5个球,其中4个是白球。 学生此时的反应分为两种:同意和不同意。 (4)教师:好,下面就请同学们进行分组摸球,记录摸球的结果,验证一下大家的想法。摸到白球的可能性是 4/5是肯定的还是否定的? 活动内容三: (1)教师:当你一打开电视机,在10分钟内就会看到广告节目的可能性有多大?” (2)学生:只会给出猜测性的答案。 (3)教师此时要引导学生去统计一小时内广告节目出现的频率,然后依据收集到的数据再做出判断。 三、理论验证
通过组合的理论来验证实验的结果。可以用不同的方式来进行组合,让学生探讨次数之间的关系,进一步对“可能性”进行感知和思索。 在此过程中可以结合课本中的习题进行理论验证。 (1)第8题:掷骰子游戏,使学生进一步感受事件发生的等可能性。 (2)第9题:①通过有趣的抽签游戏,让学生体会不确定事件发生的可能性的大小。②让学生用“最不可能”和“最有可能”说一说其他两个事件发生的可能性。 实验过程中,要让学生体会到两点:第一,每次抽出的结果是随机的,不以人的主观意愿而变化。第二,随着摸的次数多了以后,就会呈现某种共同的规律性,就是体现出了统计与概率的问题了。 (3)第10题:猜一猜①猜硬币在哪个盒子里。②简单统计猜测情况。③揭示结果。④说说为什么猜错的比猜对的多。 让学生初步感受到实验结果与理论概率之间的关系,并进行思索,进行下一步教学引导。 (5)第11题:开放题,学生会有多种涂法,只要涂色后正方体的红面比蓝面多就可以。 (6)可以通过小组合作,说一说自己的想法和实验情况,在全班交流。 由于实验结果与理论概率存在的差异,也可能得不到预期的结果,可以让学生再做几次,让学生根据试验的结果初步感受到可能性是均匀的,结果出现的可能性是相等的。 (7)第12题:让学生设计一个方案,帮助学生更加深刻地理解事件发生的可能性的大小。 最后,通过小组合作,独立思考以及教师引导得出结论,给出理论验证。
四、教学反思 由于实验结果与理论概率存在的差异,也可能得不到预期的结果。比如对于掷一枚均匀的硬币的实验游戏。首先,根据统计与概率理论得知一个硬币,先假定它出现正面和反面的可能性是 1/2通过概率的定义得到的,而不是依靠学生掷硬币验证出来的,因此,学生会有疑惑。并且在实际的游戏实验中,学生做了很多次实验也得不到 1/2,那么这个困惑会影响学生对于理论得出的质疑或者说是不完全认同。再者,运用定义的方式进行的教学随机,在实际教学中不能很好的培养学生的随机观念,这与随机的理论本质不同。 那么,这个实验游戏怎么进行?我们可以换一种统计思想进行。如,仍然是这个掷硬币的问题,在统计上我么可以采取如下的方式进行试验游戏:先让学生多次掷硬币,计算出现正面的比例,然后来估计一下出现正面的可能性是多大,如果这个可能性接近 1/2 的话,就推断这个硬币正反面出现的可能性是均匀的。运用这样的统计思想(即:“统计是通过数据来获取一些信息,来帮助人们做出一些判断”)来指导学生进行试验游戏就会得到预期的教学目标。
- ?
如何做市场调研及经营数据的采集与分析?
月日天
展开
最近在研究商超零售的数据分析,有不少干货和想法可分享。此前,一直注重店铺管理、商品库存管理、财务绩效管理的数据分析。后来发现,无论是零售商铺的选址,还是百货商场的招商营运,都有不少需要运用到数据管理思维的地方。
店铺选址前或者招商营运前都要进行市场调研,小规模的店家可能会说,我照自己的经验,观测人流量以及周边店铺的经营情况来判断,这样的方法确实是有迹可寻。但是,店铺不是放着让你来选的,店铺商也是需要去谈的,甚至对于那些成体系的,每年都在扩张的一些企业,必须需要一套成体系的数据分析方法论来指导。
一、市场调研的要点
1、着重于项目周边状况调查,如:业态布局、购买力等;
2、网点及竞争对手调研的要点
3、收集品牌资源,是否符合定位,有无可备选方案,效益最大化;
针对选址,
可采用常用的SWOT分析模型,分析内部环境以及外部环境的优劣势;而后采用3C模型(Company商铺,Customer顾客,Competitor 竞争者)对开店的选址分析;看附近1小时经济圈、2小时经济圈、3小时经济圈的覆盖范围。
而正式营运之后,最主要关注的就是客流量。
传统零售的数据是基于交易客流,基本等同于俗称的会员。商超里面的客流其实分为交易客流、返店客流、进店客流、到达客流、潜在客流。这里最容易获取的就是交易客流,因为企业现有的CRM系统或者收银系统基本都能涵盖这部分客流。怎么得顾客数据?这就要建立一整套的全顾客全消费行为管理的客流分析系统。
客流数据分析建模
二、如何去经营分析?
经营分析是指商业运营管理者通过数据采集并运用统计、分析、图表呈现等方式,对商场整体经营情况进行深入解析。
确定这样一个流程后,经营分析按照时间划分一般分为日、周、月以及一些关键时期,比如活动、法定节假日等等。形式以经营报表为主。
大体分析内容
经营分析的指标解析
做好全百货的经营分析要发挥主观能动性,有了数据和图表,要做好经营分析,还要发挥人的主观能动性,营运人员需根据数据和图表阐述现象并提出相关建议,加强与店铺、品牌负责人的沟通和联系,充分了解店铺的经营现状。
三、关于品牌店铺活动的分析
经营分析案例分享及关注点(日经营分析)
以上每日的客流与销售趋势图,需要关注波动趋势、波动周期和波动异常。比如波峰大多是重大节假日或企划活动,或者特殊事件。
店铺活动分析
活动前期搭建好相关指标,收集活动数据,实时监测分析。
至于如何搭建这样的分析体系,譬如以上用finereport搭建的活动监测模板,这里不多赘述。前提需要明确分析的指标,之后就是数据收集、整合、分析、展现的额工作啦~
- ?
2017年全球及中国音响行业市场规模分析(附数据图表)
Larry
展开
经过30年来的高速发展,中国音响行业取得了长足的发展,目前中国已经发展成为世界音响设备的生产和出口大国。根据中国电子音响行业协会统计,自1999年开始,我国电子音响产值以平均每年超过30%的速度增长,至2006年,产值已达2069亿元。但是,受到用工成本增加、原材料价格上涨、人民币汇率波动等因素综合影响,我国主要电子音响产品产值增速从2006年开始放缓。
2017年全球电子音响市场规模将达4942亿元
全球电子音响市场产值从2010年至2016年整体规模呈增长趋势,2011年和2014年实现较高增速,但各年度增速均为个位数,2016年出现负增长。2016年全球电子音响行业产值约为4728亿元。中商产业研究眼预测,2017年全球电子音响将近5000亿元。
数据来源:中国电子音响协会
全球电子音响品牌主要集中在欧美发达国家和地区。全球电子音响生产企业主要集中在中国、越南、巴西等发展中国家,欧美、台湾等发达国家和地区也有部分产能。
从出口国际市场的角度看,发展中国家音响生产企业对国际市场的依存度较高,约占全行业销售收入的70%,且出口市场主要集中在美国、日本等国家和地区,共占出口总额的50%左右。虽然行业发展程度与出口集中度水平两者并无明显联系,且经济发达、市场成熟的国家出口稳定性明显高于发展中国家,但出口市场过于集中降低了行业抵抗风险的能力。美国次贷危机引发的国际金融危机爆发后,欧美等国家和地区个人消费支出随即收缩,从而对电子音响行业的出口影响较大。同时,欧美等地为贸易摩擦高发地区,出口市场集中于此使企业出口风险相对较高。
2017年中国电子音响市场规模将近3000亿元
全球电子音响行业的市场情况直接影响我国电子音响行业的出口。受全球电子音响行业低速增长的影响,我国电子音响出口额在2007至2009年期间出现负增长的情况。之后,随着国际电子音响市场企稳回升,我国电子音响出口额才恢复增长。2015年中国电子音响行业保持稳定增长态势,总产值约为2808亿元,同比增长1.23%;出口总额首破300亿美元关口,达301.10亿美元,同比增长。
数据来源:中国电子音响行业协会
2010年以来,除2011年和2014年增速较快外,行业总体处于低速调整期,呈波动上升趋势。2014年,由于国际市场的复苏和我国居民收入增长较快、网络零售持续增长,国内国际市场均取得了良好的发展。2016年我国电子音响产品产值约为2741亿元。
数据来源:中国电子音响行业协会
近年来,随着产品更新换代,多媒体音响、汽车音响等产品成为电子音响行业发展的重点和热点。
电子音响各细分行业的需求特征:多媒体音响等产品
电子音响行业的主要产品包括多媒体音响、家庭影院、汽车音响和专业音响等。各细分行业由于产品形态和使用群体之间有较大的差异,因此各细分行业的需求特征有所不同。
多媒体音响发展趋势:2018年产值将近300亿元
a、向三、四、五级市场渗透目前,对于城镇居民来说,电脑已成为不可或缺的家用电器,而农村家庭电脑拥有率还非常低,随着我国人均可支配收入的快速增长及城镇化进程的加速推进,未来三、四、五级市场将成为推动多媒体音箱需求的生力军。
b、产品类型更加丰富目前,国内多媒体音响生产还主要以电脑的外围设备为主,对消费者的个性需求考虑较少,外观设计也较为单调。随着多媒体音箱适用范围不断拓宽以及消费者群体的需求差异化发展,多媒体音箱产品类型将趋于多元化。在总体功能更丰富的同时,每个类型的产品本身还要有个性,适应不同的播放设备、不同年龄的消费群体以及消费者的具体使用需求。
c、数码科技的广泛应用随着数码科技的发展,越来越多的新技术将应用于音频,无线音频、数字音频、数字功放、数字音频中心等新技术将推动多媒体音响市场的发展。多媒体音响将由之前单一的回放设备,变为整合多种功能的设备,如收音机、音乐闹钟、读卡器等,甚至可以连接网络,直接从网上获取音乐文件或收听网络电台。
d、多媒体音响规模预测随着产品加速向三、四、五级市场渗透,多媒体音响适用范围不断拓宽、消费者群体的需求差异化发展,以及多媒体音响发展成为融合多种功能的数码音频设备,我国多媒体音响市场将保持持续增长,预计到2018年我国多媒体音响产值规模将达到293.71亿元。
数据来源:中国电子音响协会、中商产业研究院整理
家庭影院发展趋势:2018年产值将近150亿元
2010年,我国先后出台并实施了《家庭影院用环绕声放大器通用规范》和《家庭影院用组合扬声器系统通用规范》两条标准,结束了我国家庭影院产品无行业标准的局面,推动我国家庭影院行业走上发展正轨。数字化技术的迅速推广和数字电视的逐步普及,激发了人们对新一代家庭影院产品的需求,成为拉动中国家庭影院市场发展的强劲动力。
2014年末,中国高净值人群规模突破100万人,具备较高消费能力人群的增加将促进家庭影院的销售增长。因此,随着中国经济规模的继续增长、数字电视的不断普及以及居民消费能力的不断增强,中国家庭影院市场将继续保持稳定增长的态势。
数据来源:中国电子音响协会、中商产业研究会整理
汽车音响发展趋势:2018年产值将超过14亿
a、汽车前装市场保持稳定增长汽车音响行业伴随汽车行业发展而发展,中国汽车产销量已连续5年世界第一,2015年我国汽车产销2,450.33万辆和2,459.76万辆,同比增长3.25%和。随着经济、道路和能源等条件的持续改善,未来我国我国汽车产量仍有较大的增长空间,汽车保有量将有很大的提升空间。
根据IHS预测,中国的汽车销量(不包括公共汽车和卡车)在2020年将增长至3,068万辆。前装音响的等级与车型的市场定位有关,对于市场售价为8-15万的A级车,一般配置为4声道或6声道,音响设备价值量为500-1,000元,等级越高的车型则汽车音响的档次也越高。在消费者需求不断提升和市场竞争加剧的推动下,新车型的不断推出将大幅提升汽车音响的配备率。
b、汽车后装市场发展空间巨大后装市场中,由于音响改装能为消费者带来更好的体验,对音效要求更高的车主愿意支付一定成本。对于普通车型,改装成本约1,000-2,000元,若配置低音炮则近3,000元,后装市场的渠道主要是4S店、改装店等。
2015年末全国民用汽车保有量达到17,228万辆,民用轿车保有量9,508万辆,其中私人轿车8,793万辆。中国日益庞大的民用汽车拥有量为汽车音响后装市场的发展提供了广阔的增量空间。
c、汽车音响市场规模预测随着中国居民收入的提高和消费观念的转变,国内汽车消费需求增加,人们对高质量音效的追求,中国汽车音响市场将不断扩大,国产品牌将会迎来一个快速的发展时期。
数据来源:中国电子音响协会、中商产业研究会整理
专业音响市场现状:产值达到了81.25亿元
专业音响泛指能够满足公共场所或业务用途需要的音响器材,其被广泛应用于体育场馆、影剧院、音乐厅、多功能厅、演艺大厅、KTV包厢、购物中心、广播电视台、巡回演出等专门的公共场所和活动现场。
我国专业音响行业的主要下游应用领域为体育赛事、文化娱乐、会议系统、公共广播等行业,得益于近年来国家宏观经济的增长,这些行业发展迅速,对专业音响的需求与日俱增。2008-2012年,中国专业音响产值规模由亿元增加至80.57亿元,年复合增长率达到了12.85%。2013年,先后出台的取消三公消费、限制政府建房、提倡节俭办晚会等政策,让灯光音响行业在娱乐、公建、演出等项目上受到了一定的影响,市场竞争加剧,部分企业利润缩水,2013年我国专业音响产值为79.6亿元,同比下降1.20%。2016年我国专业音响产值达到81.25亿元。
数据来源:中国电子音响协会、中商产业研究会整理
- ?
描述性统计分析与绘图
崔奎
展开
import pandas as pd
pandas 是基于NumPy 的一种工具,该工具是为了解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型,提供了高效地操作大型数据集所需的工具。pandas提供了大量能使我们快速便捷地处理数据的函数和方法
import numpy as np
NumPy系统是Python的一种开源的数值计算扩展。这种工具可用来存储和处理大型矩阵,比Python自身的嵌套列表(nested list structure)结构要高效的多(该结构也可以用来表示矩阵(matrix))
import matplotlib.pyplot as plt
Matplotlib 是一个 Python 的 2D绘图库,它以各种硬拷贝格式和跨平台的交互式环境生成出版质量级别的图形
import matplotlib
import seaborn as sns
Seaborn其实是在matplotlib的基础上进行了更高级的API封装,从而使得作图更加容易,在大多数情况下使用seaborn就能做出很具有吸引力的图,而使用matplotlib就能制作具有更多特色的图。应该把Seaborn视为matplotlib的补充
import os
#get_ipython().magic('matplotlib inline')
为了让图直接在notebook中直接显示
os.chdir(r'D:\Python_book\4Describe')
修改工作目录
snd = pd.read_csv("sndHsPr.csv") 读取文件
snd["all_pr2"]=snd[["price","AREA"]].apply(lambda x:x[0]*x[1], axis = 1 )
按行相乘;
语法:lambda [arg1[, arg2, ... argN]]: expression
lambda只是一个表达式,函数体比def简单很多。
lambda的主体是一个表达式,而不是一个代码块
apply(func[, nkw][, kw])
使用0值表示沿着每一列或行标签\索引值向下执行方法使用1值表示沿着每一行或者列标签模向执行对应的方法下图代表在DataFrame当中axis为0和1时分别代表的含义:
snd.head()
把dist变量重新编码为中文,比如chaoyang改为朝阳区
district = {'fengtai':'丰台区','haidian':'海淀区','chaoyang':'朝阳区','dongcheng':'东城区','xicheng':'西城区','shijingshan':'石景山区'}
snd['district'] = snd.dist.map(district)
大多数的for循环可以用map来代替,用法是:map(func,seq),对seq中的每个元素进行操作,具体什么操作在func里定义。
snd.district.value_counts()
from pylab import mpl
mpl.rcParams['font.sans-serif'] = ['SimHei'] # 指定默认字体
mpl.rcParams['axes.unicode_minus'] = False # 解决保存图像是负号'-'显示为方块的问题
snd.district.value_counts().plot(kind = 'bar')
snd.price.agg(['mean','median','sum','std','skew'])
连续变量的分布与集中趋势
连续变量的离散程度
极差、方差、标准差、平均绝对偏差
数据分布的对称与高矮
统计制图
表分析:分析两个分类变量的联合分布情况,提供每个单元格的频次、百分比和边沿分布情况
snd_price = list(zip(snd.price.groupby(snd.district).mean().index,
snd.price.groupby(snd.district).mean().values))
zip()函数用于将可迭代的对象作为参数,将对象中对应的元素打包成一个个元组,然后返回由这些元组组成的列表。
attr, value = Map.cast(snd_price)
min_ = snd.price.groupby(snd.dist).mean().min()
max_ = snd.price.groupby(snd.dist).mean().max()
map = Map('北京各区房价', width = 1200, height = 600)
map.add('', attr, value, maptype = '北京', is_visualmap = True, visual_range=[min_, max_], visual_text_color = '#000', is_label_show =True)
map.render()
运行后,在代码文件所在目录生成一个render的html文件,用浏览器打开
自从 0.3.2 开始,为了缩减项目本身的体积以及维持 pyecharts 项目的轻量化运行,pyecharts 将不再自带地图 js 文件。如用户需要用到地图图表,可自行安装对应的地图文件包。下面介绍如何安装。
全球国家地图: echarts-countries-pypkg (1.9MB): 世界地图和 213 个国家,包括中国地图
中国省级地图: echarts-china-provinces-pypkg (730KB):23 个省,5 个自治区
中国市级地图: echarts-china-cities-pypkg (3.8MB):370 个中国城市
需要这些地图的朋友,可以装 pip 命令行:
pip install echarts-countries-pypkg
pip install echarts-china-provinces-pypkg
pip install echarts-china-cities-pypkg
snd.price.groupby(snd.district).mean().plot(kind="bar")
snd.price.groupby(snd.district).mean().sort_values(ascending= True).plot(kind = 'barh')
figure(num=None, figsize=None, dpi=None, facecolor=None, edgecolor=None, frameon=True)
num:图像编号或名称,数字为编号 ,字符串为名称
figsize:指定figure的宽和高,单位为英寸;
dpi参数指定绘图对象的分辨率,即每英寸多少个像素,缺省值为80 1英寸等于2.5cm,A4纸是 21*30cm的纸张
facecolor:背景颜色
edgecolor:边框颜色
frameon:是否显示边框
subplot语法
subplot(nrows,ncols,sharex,sharey,subplot_kw,**fig_kw)
add_subplot新增子图
add_subplot的参数与subplots的相似
ax1 = fig.add_subplot(111)
ax1.bar(x,GDP)
ax1.set_ylabel('GDP')
ax1.set_title("GDP of China(2000-2017)")
ax1.set_xlim(2000,2018)
ax2 = ax1.twinx()
ax2.plot(x,GDPCR,'r')
ax2.set_ylabel('Increase Ratio')
ax2.set_xlabel('Year')
import matplotlib.pyplot as plt
x = list(gdp.year)
GDP = list(gdp.GDP)
GDPCR = list(gdp.GDPCR)
fig = plt.figure()
ax1 = fig.add_subplot(1,1,1)
ax1.bar(x,GDP)
ax1.set_ylabel('GDP')
ax1.set_title("GDP of China(2000-2017)")
ax1.set_xlim(2000,2018)
#ax1.plot(x,GDP)
ax2 = ax1.twinx()
ax2.plot(x,GDPCR,'r')
ax2.set_ylabel('Increase Ratio')
ax2.set_xlabel('Year')
plt.show()
- ?
图表绘制与处理的常用软件
俞醉蓝
展开
欢迎关注天善智能,我们是专注于商业智能BI,大数据,数据分析领域的垂直社区,学习,问答、求职一站式搞定!
“工欲善其事,必先利其器”,学术绘图软件的选择与使用特别重要。不同学科的研究人员使用的软件有所不同,但是基础的绘图思想与理念是相通的 (这部分会在后面的章节讲解)。工科背景的人员常使用Matlab,计算机背景的人员常使用Python,统计学科的人员常使用R,医学背景的人员常使用Graphpad等。常用的论文图表绘制软件包括Excel、Origin、Sigmplot、Graphpad、Matlab、Python、R等,如图1-2-1所示。每个绘图软件的图表都有不同的图表风格。
1. 常用绘图软件
我列出了常用的七款学术论文绘图软件如表1-2-1所示。从技能要求的角度主要可以分为两大类:编程与界面操作
像Excel、Origin、Sigmaplot、GraphPad这4款软件,就不需要编程、只要点击界面按钮就可以绘制图表。尽管这些工具都非常容易使用,但也存在一些缺憾。只需鼠标操作无疑十分便捷,但随之而来的却是丧失一定的灵活性。你可以改变颜色、字体和标题,但仅限于软件所提供的那些元素。这些软件只能由你去适应它的操作规则、让你使用现有的图表,而并不能创造新的图表。
像Matlab、Python和R这3款软件,需要编程才能实现图表的绘制。这些软件本身包含很多数据可视化的函数(function)或者包(package),供用户绘图使用。尤其针对不同的数据集需要重复操作的情况,如果使用绘图软件可能需要从头到尾将绘图流程重新实现一遍,而相比之下,通过代码来处理数据就会更加容易,因为针对不同的数据集只需稍微改动一下代码就可以解决。如果你充分掌握代码与算法,你也可以自己编写函数设计新颖的图表。
1.1 R
相较于其他的所有软件,R的优势之一在于它是专为数据分析而设计的。R是用于统计分析、绘图的语言和操作环境。R是属于GNU系统的一个自由、免费、源代码开放的软件,它是一个用于统计计算和统计制图的优秀工具。R语言有一系列的数据可视化包(packages),包括lattice、leaflet、playwith 、atticist 、iplots 、ggvis、ggmaps,以及很流行的ggplot2包(两本关于ggplot2的经典书籍:《ggplot2 Elegant Graphics for Data Analysis》和《R.Graphics.Cookbook》),R语言ggplot2包的官网:Function reference ggplot2
另外,R还提供了部分地图功能,地区数据分析( CRAN Task View: Analysis of Spatial Data)提供了有关地区分析的综合性R工具包列表。地理统计制图实用指南(A Practical Guide to Geostatistical Mapping )提供了关于如何使用R及其他工具分析空间数据的可免费下载的电子书。
1.2 Python
Python是一种面向对象的解释型计算机程序设计语言。Python具有丰富和强大的库。它常被昵称为胶水语言,能够把用其他语言制作的各种模块(尤其是C/C++)很轻松地联结在一起。Python语言也有一系列的数据可视化包(packages),包括Pandas、Matplotlib、Seaborn、ggplot、Bokeh、Pygal等(可参考Overview of Python Visualization Tools ),
Matplotlib 包的官网:Python plotting - Matplotlib 2.0.2 documentation ;
Seaborn包的官网:Seaborn: statistical data visualization ;
ggplot包的官网:ggplot | Home。
1.3 Matlab
MATLAB是美国MathWorks公司出品的商业数学软件,用于算法开发、数据可视化、数据分析以及数值计算的高级技术计算语言和交互式环境。MATLAB可以进行矩阵运算、绘制函数和数据、实现算法、创建用户界面、连接其他编程语言的程序等,主要应用于工程计算、控制设计、信号处理与通讯、图像处理、信号检测、金融建模设计与分析等领域。Matlab软件本身就提供了很多绘图函数,可以满足数据可视化的基本需求:MATLAB Plot Gallery。但是还有另外两款Matlab绘图包很值得推荐使用:PlotPub和Gramm,其中,Gramm包是在Matlab中实现了R ggplot2的绘图风格,大大提高了Matlab绘图的美观程度。
PlotPub包的官网:masumhabib/PlotPub,
Gramm包的官网:piermorel/gramm ,
1.4 Sigmaplot
Sigmaplot是一款最佳的科学绘图软件! 使用SigmaPlot画出精密的图型是件极容易的事,目前巳有超过十万的使用者,特别设计给科学家使用。本软件允许您自行建立任何所需的图型,您可插入多条水平或垂直轴,指定Error bar的方向,让您的图更光彩耀眼,只要用SigmaPlot将图制作完成即可动态连结给其它软件展示使用,并可输出成EPS、TIFF、JPEG等图形格式,或置放于您的网站上以供浏览。非常适合网站动态显示图形使用之场所如长时间纪录之气象,温度等等场合。
1.5 Origin
Origin为OriginLab公司出品的较流行的专业函数绘图软件,是公认的简单易学、操作灵活、功能强大的软件,既可以满足一般用户的制图需要,也可以满足高级用户数据分析、函数拟合的需要。Origin自1991年问世以来,由于其操作简便,功能开放,很快就成为国际流行的分析软件之一,是公认的快速、灵活、易学的工程制图软件。Origin 2017版本增加了许多颜色主题方案,可以大大改进图表的美观程度。
1.6 Graphpad
GraphPad Prism是一款集数据分析和作图为一体的数据处理软件,尤其适合生物医学类,可以直接输入原始数据获得高质量的科学图表。它在统计分析上劣于SPSS 等统计软件,但是不需要输入程序语言,只需输入原始数据,容易操作,绘图美观。可与ppt,word相链接。
1.7 Excel
几乎所有人都知道这款软件。Microsoft Excel是微软公司的办公软件Microsoft office的组件之一,是由Microsoft为Windows和Apple Macintosh操作系统的电脑而编写和运行的一款试算表软件。Excel 是微软办公套装软件的一个重要的组成部分,它可以进行各种数据的处理、统计分析和辅助决策操作,广泛地应用于管理、统计财经、金融等众多领域。Excel能实现大部分二维图表的绘制与基础的数据处理与分析,具体可以参考学习《Excel 数据之美: 科学图表与商业图表绘制》。
实例分析
为更好地学习这7款绘图软件的风格,现采用相同的数据集合,分别绘制了散点图、曲线图、(堆积)柱形图和箱型图4种图表类型,如图1-2-2到-8所示。
1. 图1-2-2 R ggplot2的图表风格最为独特与美观,这种图表在部分论文中也是有直接使用的。使用R ggplot2 Set3的颜色主题,绘图区背景填充颜色为RGB(229, 229, 229)的灰色,以及白色的网格线[主要网格线的颜色为RGB(255, 255, 255),次要网格线的颜色为RGB(242, 242, 242)];
2. 图 1-2-3 Python Seaborn的图表风格也很有特色,使用Seaborn包的颜色主题方案,绘图区背景填充颜色为RGB(234,234, 242)的淡蓝色,以及RGB(255, 255, 255)的白色的主要网格线(无次要网格线);
3. 图1-2-4 是使用Matlab 2014b 通过编程绘制的图表,使用Matlab默认的颜色主题方案Parula,网格线设定为“无”。Matlab通过函数(Function)直接绘制的图表,可以通过图表编辑器对图表优化,但是也并不能实现箱型图颜色的填充。如果Matlab使用Gramm包可以绘制更加美观的图表。
4. 图 1-2-5到-7 分别对应Sigmaplot、Origin和GraphPad绘制的图表,这是最为常见的学术图表。它们的图表风格基本相同:绘图区背景填充颜色为RGB(255,255,255)的白色,这样可以导致背景不太复杂,尤其适应于图表尺寸较小的时候保证数据的清晰展示;这些图表使用绘图软件的默认颜色主题,由于不同软件的颜色主题不同,及时相同的图表样式,也会导致图表的美观存在较大的审美差异。
5. 图1-2-8 是使用Excel绘制的图表,使用Excel默认颜色主题方案“Office 2007-2010”。Excel 2016 添加了几种新型图表类型,包括树状图、箱型图等;Excel 2013及以前版本只能通过堆积柱形图间接地实现箱型图。
工具的选择 绘图软件始终只是使用的一个工具而已。归根结底,对数据的分析和图表的设计取决于你自己。只要把基础的绘图思想与理念融会贯通,使用其中一门绘图软件就可以绘制出其他软件的图表风格。《Excel 数据之美: 科学图表与商业图表绘制》就是使用Excel实现其他绘图软件的图表风格,包括R、Python、Matlab等具有鲜明特色的图表风格。
2. 图片处理软件
在论文中,都需要把图表另存为一定分辨率和格式的图片,再插入文档中。有时候需要调整图片的大小、分辨率和格式以满足期刊的投稿要求。下面主要介绍三种常用的图片编辑处理软件:Photoshop、Adobe Illustrator和Paint。
2.1 Photoshop
Photoshop(简称“PS”)主要处理以像素所构成的数字图像。使用其众多的编修与绘图工具,可以有效地进行图片编辑工作。PS有很多功能,在图像、图形、文字、视频、出版等各方面都有涉及。Photoshop的专长在于图像处理,而不是图形创作。图像处理是对已有的位图图像进行编辑加工处理以及运用一些特殊效果,其重点在于对图像的处理加工;图形创作软件是按照自己的构思创意,使用矢量图形等来设计图形。
Photoshop 中国官方产品页面: Adobe Photoshop CS6
2.2 Adobe Illustrator
Adobe Illustrator是一种应用于出版、多媒体和在线图像的工业标准矢量插画的软件,作为一款非常好的矢量图形处理工具,Adobe Illustrator广泛应用于印刷出版、海报书籍排版、专业插画、多媒体图像处理和互联网页面的制作等。
Adobe Illustrator是设计业界的标准。《纽约时报》中送印的每一幅图表都是在Illustrator中创建或编辑的。Illustrator被广泛用于印刷是因为它处理的是矢量图形,而非像素。这意味着你可以将图片无限放大,而不会损失显示质量。相对地,如果你放大的是低分辨率的照片(照片都是由固定数量的像素组成),那么就会发现图片出现严重的失真。
Adobe Illustrator官方产品页面: Adobe Illustrator CC。
VectorTuts(Graphic Design & Illustration Tutorials by Envato Tuts+)提供大量Illustrator的简明使用教程。
2.3 Paint
毕竟前面两款图像处理软件操作界面复杂,尤其是新手会感觉难以上手。另外,有时候简单的图片编辑处理根本没必要使用到这些高级软件,颇有点“杀鸡焉用牛刀”,所以我给大家推荐一款Window系统自带的图像处理软件:Paint (画图)。“画图”程序是一个位图编辑器,可以对各种位图格式的图画进行编辑,用户可以自己绘制图画,也可以对扫描的图片进行编辑修改,在编辑完成后,可以以BMP,JPG,GIF 等格式存档,用户还可以发送到桌面或其他文档中。
当用户要使用画图工具时,可单击“开始”按钮,单击“所有程序”|“附件”|“画图”,这时用户可以进入“画图”界面。
3. 常用截图软件
3.1 FastStone Capture
FSCapture是一款抓屏工具,体积小巧、功能强大。不但具有常规截图等功能,更有从扫描器获取图像,和将图像转换为 PDF 文档等功能。尤其值得称赞的是,其截图后,其自带的(图像查看/编辑器),功能强大,可以满足截图后,对图像的各种标注、裁切调节等需求,其功能不亚于 Windows 的Paint软件。而且 7.0 版本开始,加入了屏幕录像功能,质量堪比专业屏幕录像软件。是 Windows 中必备的扩展助手。
我最喜欢使用这个软件的原因是.截图后保存图片时,图片的分辨率可以设定成96-600 DPI的范围,这是很多其他截图软件无法达到的特点。尤其是很多论文对图片的分辨率要求至少300 DPI以上。
FSCapture官方网站:http://faststone.org/FSCapturerDownload.htm
3.2 ACDsee
ACDsee是非常流行的看图工具之一。它提供了良好的操作界面,简单人性化的操作方式,优质的快速图形解码方式,支持丰富的图形格式,强大的图形文件管理功能等等。其中,它还有一个很强大的截图功能。该截图软件截图后是不改变图片的分辨率的,而其他截图软件一般会改变图片分辨率。
打开ACDsee → 工具 → 屏幕截图 → 选择“来源”和“目标”→ 开始 → 同时按下 Ctrl + Shift + P → 画待截图片区域(或保存) → 保存。保存的时候一定要设置好图片的格式和分辨率。
ACDsee 官方网站:ACD Systems - Photo Editing Management Software
本文作者:EasyCharts 团队 张杰
- ?
BI报表分析和数据可视化,推荐这三个开源工具!
Florence
展开
原作者: 黄进然 文章自:土拨鼠的菜地园
开源篇
一、Superset
1、技术架构:Python + Flask + React + Redux + SQLAlchemy
2、使用人群:
(1)开发/分析人员做好看板,业务人员浏览看板数据
(2)业务人员可自行编辑图表,查看满足条件的结果,但使用上对业务人员不是很友好
3、安装部署:
(1)docker方式的安装部署最简单
4、数据源:支持各种数据源,包括Hive、Kylin等
5、创建步骤:连接数据源-->定义数据表/SQL查询-->图表-->看板
6、可视化:
(1)支持的图表类型多,达47种
(2)图表可视化选项少,例如,数据格式选项偏少,如需添加,需要修改配置文件
(3)可在看板中添加筛选框,支持在不同条件下查看
(4)不支持图表和看板分组管理
(5)没有提供图表的下钻功能,不支持多图表间的复杂联动
(6)不支持跨库的表关联查询
7、支持文档:
(1)安装部署和快速入门方面的文档详细
(2)但具体功能和图表制作方面的介绍文档几乎没有,需要自己摸索尝试
8、邮件通知:不支持
9、权限管理:
(1)报表权限设置复杂、繁琐、不好用
(2)可实现对菜单、数据源、数据表、字段、图表、看板等权限控制
10、二次开发:
(1)支持 RESTful API
(2)原属Airbnb的开源项目,有大公司团队维护,版本更新、Bug修复、二次开发有较大保障。
11、源代码:代码质量较差
12、Github星数:22132
二、Redash
1、技术架构:Python + Flask + AngularJS + SQLAlchemy
2、使用人群:由于是对SQL查询结果进行可视化,需要开发/分析人员做好看板,业务人员浏览看板数据。
3、安装部署:
(1)安装部署相对较麻烦
(2)参考文档:
4、数据源:支持数据源比superset少,不支持Kylin
5、创建步骤:连接数据源-->SQL查询-->图表-->看板
6、可视化:
(1)支持的图表类型不如Superset多,仅12种
(2)图表可视化选项多
(3)不支持在看板种添加筛选框
(4)不支持图表和看板分组管理
(5)没有提供图表的下钻功能,不支持多图表间的复杂联动
(6)不支持跨库的表关联查询
7、支持文档:
(1)提供快速入门教程
(2)每一个功能模块都有文档且条理清晰
8、邮件通知:支持定时发送邮件
9、权限管理:权限设置简单,仅控制用户组对数据源的权限(只有两个权限:Full access或View only)
10、二次开发:
(1)提供完整的 RESTful API 接口
11、源代码:代码质量比Superset要好,但比Metabase差一点
12、Github星数:10891
三、Metabase
1、技术架构:Clojure + React + Redux
2、使用人群:界面漂亮、友好,使用体验好,适合业务人员使用
3、安装部署:
(1)windows下安装部署非常简单
4、数据源:支持数据源少(12种),不支持Hive、Kylin
5、创建步骤:连接数据源-->图表-->看板-->定时任务
6、可视化:
(1)支持的图表类型不如superset多,仅14种
(2)图表可视化选项多,例如,提供数据格式多,设置灵活
(3)可在看板中添加筛选框,支持在不同条件下查看
(4)通过创建集合,支持图表、看板、定时任务分组管理
(5)提供图表的简单钻取功能,不支持图表间的复杂联动
(6)不支持跨库的表关联查询
7、支持文档:
(1)安装部署、快速入门、具体功能、API等方面的文档详细
8、邮件通知:支持定时发送邮件
9、权限管理:
(1)权限设置单一,只有访问权限
(2)仅实现对数据源、数据表、图表、集合等权限控制
10、二次开发:提供完整的API文档,即使完全不会 Clojure,依然可以凭借丰富的 API 与文档完成许多二次开发。
11、源代码:代码质量最好,结构清晰,整洁度高
12、Github星数:12368
最后,几个开源BI工具的详细对比
最后,除了以上的开源BI产品(大规模推广应用还是有难度的),可以试试个人版免费的FineBI,学习文档,产品稳定性,易用性相对开源都比较成熟。
FineBI
1、技术架构:纯java开发,后台业务层spring mvc + Hibernate,前台框架fineui,底层架构引擎不明,只知道有大数据引擎。
2、使用人群:
(1)开发/数据人员准备好数据,数据人员/业务人员分析。
(2)业务人员完全可自行分析、制作可视化。整个数据分析流程分工明确。
3、安装部署:
(1)直接官网下载电脑适配的版本安装激活即可
4、数据源:支持各种数据源,支持Apache Kylin、Derby、HP Vertica、IBM DB2、Informix、Sql Server、MySQL、Oracle、Pivotal Greenplum Database、Postgresql、ADS、Amazon Redshift、Apache Impala、Apache Phoenix、Gbase 8A、Gbase8S、Gbase 8T、Hadoop Hive、Kingbase、Presto、SAP HANA、SAP Sybase、Spark、Transwarp Inceptor、Hbase等主流的一些关系型数据库及非关系数据库MongoDB等
5、创建步骤:连接数据源-->建立数据业务包-->建立分析数据表-->图表分析-->看板
6、可视化:
(1)支持的图表类型多,达47种
(2)图表可视化选项少,例如,数据格式选项偏少,如需添加,需要修改配置文件
(3)可在看板中添加筛选框,支持在不同条件下查看
(4)不支持图表和看板分组管理
(5)没有提供图表的下钻功能,不支持多图表间的复杂联动
(6)不支持跨库的表关联查询
7、支持文档:
(1)安装部署和快速入门方面的文档详细,还有教学视频
(2)但具体功能和图表制作方面的介绍文档几乎没有,需要自己摸索尝试
8、邮件通知:支持
9、权限管理:
(1)有一套完整的数据、业务包、报表、人员部门权限管理,有流程节点。
(2)可实现数据源、数据表、字段、图表、看板等权限控制
10、二次开发:
(1)不支持java层面的开发
(2)只有web接口
(3)能与.NET集成、JBPM工作流集成、CAS单点登录
11、源代码:不公开,人家商业产品,有整个团队在运营。
12、个人用户使用免费,商业部署有两个并发限制,多了就要钱了,不过相比sap这种也不贵。
工具地址
私心回复“bi工具”获得。
由于一些限制,这里没法贴上安装部署的教程文档,我也将一并回复,整理成资料包。
以上都是精心推荐的BI工具,大家勤学勤用,期待你们的反馈。
最后,整理不容易,求转发点赞啦(●ˇˇ●)
- ?
三分钟教你使用各种工具,获取那些高大上的统计数据、图表与分析
秦中恶
展开
经常看到有些人在汇报时会拿出一大串的数据与图表,看着很高大上而且很有说服力。
但却没人告诉我那些数据与图表是如何获取的。
不告诉我又怎么样,我可以自己找啊!今天就将他们公之于众,看你们以后还怎么装!
举个例子,为了更好的说明,我们现在假设一个竞争对手“清风”,可别以为我被收买了。
首先我们可以通过百度指数查看竞争对手近期的大致状况。
这里,系统自动给出了几个峰值,但更重要的是低谷开始上升的时候,因为对手在低谷发了力,才会出现峰值。(这里我只截了一张图,在顶部标红线的地方还可以选择查看需求图谱、用户画像等内容)
当然,百度指数很好用,但还需要配合一个更高级的:微指数(大家不要着急,文章结尾我会将这些各种工具与使用方法打包给大家)
在这个图表中,点击每一个节点都可以看到波动原因。
然而仅仅靠这个来推测波动原因还是不够的,我们还可以在百度指数那一栏,点击资讯关注
也可以看到,每一次波动对应的数据,百度指数和微指数相结合,就差不多把握住大致方向了。
但仅仅做这些,还是有点low。
我们还可以用 百 度 新 闻 与微博搜索 (对手任何发动顾客做的事,都会在微博体现), 网络 广 告 监 测 数 据 与 新 闻 监 测 数 据,以竞争对手品牌名为关键词搜索,看竞争对手用付费媒体做了哪些事,用用户口碑做了哪些事。
然而我们忘了一件事……
微信!
不担心,这个直接用搜狗微信搜索就可以了
然后全部是公号文章,再加一个工具:新榜,直接就可以看出每篇文章或公号的影响力有多大,还可以实时监测操作、对比分析等。
然而以上这些学会了也没啥用,用这些工具得出来的东西于你而言顶多装一下格调!
土鸡瓦狗!
带不来实质性的改变与效果,下篇文章带大家在这些基础之上来一些更深层次的东西。
谢谢大家的阅读,我是王不留,一个营销人,致力于推动营销科学化、理性化。
数据图表与分析
-
1、只需3秒快速实现求和
-
2、如何快速填充序号
-
3、如何自动填充序号(公式法)
-
4、数据条的神奇应用
-
5、多文本快速合并
-
6、查找与替换的不同玩法
-
7、快速定位到指定区域
-
8、数据排序、工资条制作
-
9、快速筛选(模糊、精确筛选)
-
10、快速插入空行
-
11、快速删除空行
-
12.快速跳转到天涯海角
-
13、.同时查看两个Excel文件
-
14、用条件格式扮靓报表
-
15、一键插入Excel图表
-
16、批量处理行高、列宽
-
17、利用拆分功能查看数据
-
18、批量录入相同内容
-
19、工作表快速跳转
-
20、批量录入表格模板(精品课程)
-
21、Excel函数与公式的应用、公式循环引用的查找
-
22、IF函数单条件判断同比增长
-
23、用sum函数 格式相同,连续多表数据汇总
-
24、excel快捷键
-
25、VLOOKUP函数——根据销售员匹配销售额
-
26、统计各部门销售总额
-
27、统计指定条件个数
-
28、怎样输入当前日期和时间、星期数
-
29、销售业绩排名
-
30、Sumproduct函数-万能函数(销售额汇总求和)
-
31、根据销售员,地区,商品名称汇总
-
32、批量替换PPT字体
-
33、给销售额数据批量添加万元单位
-
34、一秒快速核对两列数据
-
35、快速定位到指定单元格或区域
-
36、快速制作双行标题工资条
-
37、给你的表格做个瘦身
-
38、快速打开常用的Excel文件
-
39、快速打开多个Excel文件
-
40、利用创建组—快速隐藏/展开多列数据
-
41、快速制作下拉菜单
-
42、复制粘贴表格,如何保留数据源列宽格式一致?
-
43、两列数据位置互换
-
44、1秒钟扮靓报表——如何实现表格隔行换色
-
45、快速删除重复记录——保留唯一值
-
46、快速向下填充、向右填充,文本或公式
-
47、给Excel文件添加密码
-
48、插入带图片的批注
-
49、输入公式后不计算?
-
50、如何设置单元格缩进
-
51、快速解决Excel表格总显示货币格式
-
52、批量添加万元单位
-
53、你会四舍五入么?
-
54、用RAND函数机选彩票
-
55、冻结首行你会么?
-
56、超链接的高级应用
-
57、IFERROR函数-屏蔽错误值
-
58、批量填充颜色
-
59、录入数据
-
60、快速输入工号
-
61、快速行列转置
-
62、自定义缩放界面
-
63、多个单元格同时输入
-
64、如何计算立方米?
-
65、快速制作双行标题工资条
-
66、输入带方框的√和×
-
67、快速将姓名对齐
-
68、快速输入性别
-
69、按单位职务排序
-
70、自动计算合同到期日期
-
71、计算时间间隔
-
72、日期和时间的拆分
-
73、快速处理不规范的日期格式
-
74、快速填充合并单元格
-
75、效率加倍的快捷键
-
76、快速复制表格和对象
-
77、快速创建工作表副本
-
78、快速复制序列号
-
79、快速显示公式
-
80、多个单元格同时输入
-
81、快速调整显示比例
-
82、快速自动填充
-
83、快速填充(Ctrl+E)
-
84、Ctrl与数字键结合
-
85、快速将多列数据整理为1列
-
86、快速将1列数据拆分为多列
-
87、快速定位公式
-
88、快速录入数据
-
89、快速累计求和
-
90、身份证号码显示为0怎么办?
-
91、快速制作斜线表头
-
92、文本竖向显示
-
93、神奇的监视窗口
-
94、不一样的格式刷
-
95、快速美化图表
-
96、快速生成当前日期
-
97、快速找出循环引用
-
98、快速提取信息
-
99、二维表快速转换为一维表
-
100、快速多表合并