中企动力 > 商学院 > 数据分析中bi是什么
  • ?

    关于BI商业智能的“8大问”|一文读懂大数据BI

    母狮子

    展开

    这里不再阐述商业智能的概念了,关于BI,就从过往的了解,搜索以及知乎的一些问答,大家困惑的点主要集中于大数据与BI的关系,BI的一些技术问题,以及BI行业和个人职业前景的发展。这里归纳成8个问题点,每个问题都做了精心的解答,希望能给大家带来帮助。

    问题1:商业智能BI和大数据是什么关系,如何选择?

    BI(BusinessIntelligence)即商业智能,它是一套完整的解决方案,用来将企业中现有的数据进行有效的整合,快速准确的提供报表并提出决策依据,帮助企业做出明智的业务经营决策。

    大数据(Big Data)是指在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。

    两者是不一样的概念,BI相对于大数据更倾向于决策,适合支持经营指标支撑类的问题,大数据则内涵更广,倾向于刻画个体,更多的在于个性化的决策。

    现今,大型互联网企业采用hadoop一类的大数据架构——数据仓库——自己研发的报表、OLAP分析等,或者前端选用成熟的商业智能报表和BI分析软件,像FineBI之类的大数据BI都能对接大数据平台。传统企业,小型的公司没有那么多的业务分析的需求,大多寻求excel、业务系统的简单报表功能或者专业的报表工具来解决问题;一般中大型企业数据量大时会构建数据仓库,用BI在前端分析展现。当然很多传统企业针对特定业务(比如用户画像、风控分析)采用大数据技术。

    整体来讲,选择大数据还是BI依据需求来定,大数据组件大多开源,需要大量的人力开发。BI大多商用,需要一定资金和一定时间的项目实施。

    问题2:什么是大数据BI?什么是自助式BI?和传统BI有何区别?

    大数据BI

    大数据BI有这样几类特性:能对接hadoop一类的大数据平台,做数据分析;能处理大数据量(亿级以上),响应速度快,比较考验的是BI的数据处理计算性能和数据库性能。

    传统BI &自助式BI

    传统BI重在于数据平台搭建,提供报表服务,以IT为主导;自助式BI重在于数据分析,以业务分析为主导。两者的数据处理流程相通。

    传统BI:通常指企业内部大而全的统一报表或分析平台,代表性的老牌BI工具厂商如 IBM的cognos,Oracle的OBIEE,SAP的BO等均包含丰富的功能模块,比较适合于打造一体化的大而全的统一平台。传统BI一般面向IT研发人员,他们多集中在企业的技术部门,传统BI的打造方式基本如下:

    自助BI:面向的是不具备IT背景的业务分析人员,与传统BI相比更灵活且易于使用,而且一定程度上摆脱对IT部门的大幅度依赖。不同于以往“IT主导的报表模式”,转而向“业务主导的自助分析模式”发展。自助BI通常的应用场景:

    问题3:BI的多维数据模型和OLAP是什么,实用价值在哪?

    试想一下分析业务数据时场景,经常会从不同的角度来审视业务的衡量指标。例如分析销售数据,可能会综合时间周期、产品类别、分销渠道、地理分布、客户群类等多种因素来考量。这些分析角度虽然可以通过报表来反映,但每一个分析的角度生成一张报表,各个分析角度的不同组合又生成不同的报表,每尝试分析一次,就得抽一次数,这会使得IT人员的工作量相当大。

    而OLAP的作用就是尽可能将所有的维度条件及聚合值都准备好,供使用者在分析时可以按照任意维度来分析。

    以BI的实际应用来讲,拿到数据,可能需要下钻到比较粗的粒度观察数据,比如从日期时间维度、从地域品类维度来分析数据,对应到BI的操作上,就是拖拽维度、过滤排序、维度切换,钻取等操作,cube或者数据仓库就要响应这种操作,这就使用到了下钻、切边、切块、转轴等功能。

    问题4:商业智能BI在数据分析工作中的作用,是必要的吗?

    在数据分析过程中,BI也算是一个工具,能自助取数,用于快速分析,制作分析报表。很多互联网、零售、金融企业会有自己的数据分析团队会专业的分析人员,使用的工具可能从SPSS、SAS、R、Python不等,这些工具能对准备好的数据做数理统计分析,取数的工作大多还是要交给IT人员去做。像目前的自助式BI因为上手很简单,对于多维度的数据可以从各方面来展示,而且能及时生成数据报告,可在平台上管理报表和分析表单。所以是否有必要,因需求而异。

    问题5:BI如何选型,需要考虑哪些点?

    BI工具可分为传统型BI以及自助型BI。传统型BI,国外以SAP BO、cognos、Oracle BIEE等为主;自助型BI,比如国外的Tableau、Qlikview,国内的FineBI、永洪bi等等。

    站在产品的企业的角度,可以从领先能力、产品能力、服务能力以及价格能力去着手衡量。可通过海比研究给出的一套《BI选型指标体系》来判断。

    1、领先能力=行业地位+领先性

    比如公司在行业中的低位、市场占有率、公司在该领域的专注性以及技术的领先性。商业智能目前的市场格局不算大,可扩展到报表领域去衡量。

    2、产品能力=公司产品线+核心产品功能+解决方案

    一般来讲,公司的产品线越完整,相关产品的整合能力越强,越好。但是,最重要的还是产品的功能是否实能解决企业最关注的的问题,是否能覆盖更多行业,BI解决的是行业通用性的问题,解决能力越强,产品越优秀。

    3、服务能力=服务专业能力+维护能力

    BI的实施很考察人员的专业性,过去由于国外IT巨头的称霸,很多产品的项目都承包给第三方实施,造成服务脱节。现在很多涌现的国内软件公司一般都会有专业的实施团队,本地化服务很占优势,所以这一点不妨考虑本土产品。

    4、价值能力=成功案例+性价比

    选型前可看看同行业的企业伙伴们用的是什么类的BI工具,使用情况如何。包括从功能费用、项目实施费用综合考虑来看的性价比。

    问题6:如何实施BI?

    实施BI的前提,最重要的是基础数据的统一。比如货品信息,客户信息,公司内部信息。缺少的数据虽然可以临时补,但是随着公司业务的扩展,这种数据化运营的方式需要不断精细,数据管理的规范任务要落实到业务员的考察,如果得到领导的支持会更容易推动。有了这些齐全的数据,BI的实施才有保障。

    然后是业务的统一。比如销售模式,采购模式,结算方法,质量管理的统一。比如销售模式不统一,有的分公司先结算后配送,有的公司先配送后结算,业务形式不统一,口径不统一,就会造成数据的时间差。

    其次是业务部署。每个公司的业务部署不同,有的是集中部署有的是分销部署,如果BI是放在总部实施,需要将各地分散的数据统一起来,建立数据仓库,保持基础数据的统一,但其中,如何提高速度,如何优化配合方式,这点需要研究。

    BI人才储备是否足够,需要业务人员和信息人员的积极配合,这个效果才能够比较良好的推动,而且还能够持续的发展。为了让技术和业务人员更好地贴合,要将技术和业务有效结合,最大效率的把报表和BI系统的功能发挥出来。

    对于上BI,还有其他考虑,比如价格预算,比如是否用开源,比如后续开发和维护,这里做个统一的解释。

    明确业务需求:强烈的业务需求,明晰的业务目标,能否抓住核心是一个项目成败的关键。

    “产品+定制+服务”的建设思路:是否要选择开源的产品?如果你有很强的开发能力,可以考虑。但建议专业的事情还是交给专业的工具来做,传统企业不比互联网企业,互联网企业是以数据来驱动的,与传统企业的模式不一样,再说,后续维护也是成本啊。业务项目建设如果不借助比较成熟的产品工具,从技术代码进行创新式的开发,不经过迭代以及检验很难规避风险,很难形成一个成熟的产品。如果觉得国外BI产品“庞大”,完全可以选择FineBI这一类轻量化的工具。

    最后,就是认清技术力量的现状,不妨建议敏捷开发、迭代开发和重构,注重技术和管理的配合。

    问题7:做BI人的前景在哪里?

    刚入门BI这一领域的人,未来的职业发展可以走技术、走管理、走开发。

    1、走技术方向:(按照技术路线进行划分)

    ETL,这块是BI永恒的重点之一,需求也是一直持续,只是相对来说,ETL会比较枯燥。在这一块,掌握一两款顺应潮流的大工具,拥有相应年限的工作经历,行业性要求不太高,可以找到一个不错的岗位。DS、INFA、SSIS这些都是蛮有需求的。

    数据仓库,主要指的数据仓库设计,架构设计等,一般来说LEVEL会比较高,薪水待遇也还行,属于偏高端人才了,一般都会要有5年、7年或更多年限的经验,对行业性经验要求比较高。

    前端应用,SAP BO、COGNOS、BIEE等工具的熟练应用,可以做甲方内部顾问也可以做乙方项目顾问。从前端切入去接触到更多业务和需求,对提高自己的业务水平有好处。

    数据挖掘数据分析方面,这块个人认为是最有前景的,数据分析师的需求一直在增加,但和BI的背景不是非常贴合,要学数据统计学知识,R、Python语言等,学的东西很多。

    2、走管理路线

    管团队管某块业务,做项目总监,而后上升到CIO之类的,偏向管理属性,对人的沟通交流尤其是与高层交流的水平较高,比较IT在企业大多属于业务支撑部门,很多事情很难推动,同时还要思考如何提升IT在企业的地位,这个你只要观察自己的部门领导怎么做的,慢慢摸索了。

    3、走开发

    第三方软件开发公司了,比如SAP之类的公司(有点难度),或者国内帆软、永洪等其他BI公司的软件开发了,难度是要有一定的程序开发基础,但是对业务的理解也能带来一些帮助。再或者是去一些创业公司带团队做BI产品,现在做前端可视化分析的公司有很多,虽然不完全类同于BI,但有很多共通之处。

    问题8:如何系统的学习BI知识?

    这里给出一个学习框架

    1、学习数据库知识, 掌握基础技能SQL

    2、技术选择:数据仓库 / ETL / 前端开发等等

    3、 选择技术工具:

    数据仓库-Oracle、SAP HANA、Hadoop都是主流;

    ETL- informatica 、kettle;

    自助式BI工具-Taleau、帆软FineBI、Power BI

    4、学习业务知识

    5、实操数据分析工作

  • ?

    一张图检测你的数据分析等级

    旺达

    展开

    大数据是一个非常好的发展方向。科学的数据统计与分析上至国家、企业,下至个人,都能提供出莫大的帮助,“不怕乱如麻,只怕不调查”数据是反馈一个集体或者个人以往表现最有力的证明。沧桑话巨变,数据铸辉煌。数据能力的强弱也能决定发展方向是否客观真实,决定了未来的可能成就。本文主要讲述数据分析等级是根据哪些方面划分的以及数据分析的日常工作。

    1、数据分析师的日常工作内容是什么?

    数据分析师这个职位,不同的公司,不同的行业,对于它的理解和工作内容都有所不同。在有些传统行业,数据分析师工作重点是做行业报告等;在阿里巴巴等大型互联网公司,职位区分比较明确,数据分析师大部分时间只做产品和运营的分析工作,至于基础数据处理、搭建数据产品等等不涉及;在创业公司等相对小型公司,数据分析师要干的活可能要不仅仅是产品和运营分析,基础数据采集和处理,数据产品搭建都属于数据分析师的工作范围。

    明确了数据分析师的工作范围,大概也就清楚了每天要做些什么,比如:

    产品和运营的数据提供(正常分析师工作)

    基础数据采集和处理(类似ETL工作)

    数据产品的思考和搭建(类似数据产品经理工作)

    数据价值的挖掘(类似数据挖掘工程师工作)

    2、数据分析师需要会什么?

    ①、数据分析理论要求及对数字的敏感性,包括统计学知识、市场研究、模型原理等。

    ②、工具使用,包括挖掘工具、数据库、常用办公软件(excel、PPT、VBA、word、脑图)等。

    ③、业务理解能力和对商业的敏感性。对商业及产品要有深刻的理解,因为数据分析的出发点就是要解决商业的问题,只有理解了商业问题,才能转换成数据分析的问题,从而满足部门的要求。

    ④、汇报和图表展现能力。这是临门一脚,做得再好的分析模型,如果不能很好地展示给领导和客户,成效就大打折扣,也会影响到数据分析师的职业晋升。

    3、数据分析师的成长阶段

    ①第一阶段(一般岗位叫数据专员)

    基本学会excel(VBA最好学会;会做透视表;熟练用筛选、排序、公式),做好PPT。这样很多传统公司的数据专员已经可以做了

    ②第二阶段

    这一阶段要会SQL,懂业务,加上第一阶段的那些东西。大多数传统公司和互联网小运营、产品团队够用了。

    ③第三阶段(数据分析师)

    统计学熟练(回归、假设检验、时间序列、简单蒙特卡罗),可视化,PPT和excel一定要溜。这些技术就够了,能应付大多数传统公司业务和互联网业务。

    ④第四阶段(分裂)

    数据分析师(数据科学家)、BI等:这部分一般是精进统计学,熟悉业务,机器学习会使用(调参+选模型+优化),取数、ETL、可视化啥的都是基本姿态。

    4.数据分析师就业方向

    数据分析师 – 偏向商业化的数据分析,运营广告等活动效果分析,销售额或利润预测,用户特征描述等,需要较好的统计知识,需要懂1-2门数据分析工具如SAS、R等;

    咨询顾问 – 面向客户,为客户提供数据抓取、数据分析、出数据报表、改进建议落实等咨询服务,需要有较好的沟通能力,需要懂1-2门数据分析工具如SAS、R等(咨询顾问其实也分技术和非技术,技术类的主要是为客户搭建数据平台)

    数据产品经理 – 一般是互联网公司独有,数据量大的公司会有自己的数据产品,如阿里巴巴的数据魔方等,主要是针对数据产品从产品立项、提开发需求、跟进产品开发、测试一直到产品上线等工作(相对来说并不需要对从业者要求很高的数据分析或统计能力,属于目前市场上为数不多但高工资的职位)

  • ?

    最常用的四种大数据分析方法

    Elvis

    展开

    本文主要讲述数据挖掘分析领域中,最常用的四种数据分析方法:描述型分析、诊断型分析、预测型分析和指令型分析。

    当刚涉足数据挖掘分析领域的分析师被问及,数据挖掘分析人员最重要的能力是什么时,他们给出了五花八门的答案。

    其实我想告诉他们的是,数据挖掘分析领域最重要的能力是:能够将数据转化为非专业人士也能够清楚理解的有意义的见解。

    使用一些工具来帮助大家更好的理解数据分析在挖掘数据价值方面的重要性,是十分有必要的。其中的一个工具,叫做四维分析法。

    简单地来说,分析可被划分为4种关键方法。

    下面会详细介绍这四种方法。

    1. 描述型分析:发生了什么?

    这是最常见的分析方法。在业务中,这种方法向数据分析师提供了重要指标和业务的衡量方法。

    例如,每月的营收和损失账单。数据分析师可以通过这些账单,获取大量的客户数据。了解客户的地理信息,就是“描述型分析”方法之一。利用可视化工具,能够有效的增强描述型分析所提供的信息。

    2. 诊断型分析:为什么会发生?

    描述性数据分析的下一步就是诊断型数据分析。通过评估描述型数据,诊断分析工具能够让数据分析师深入地分析数据,钻取到数据的核心。

    良好设计的BI dashboard能够整合:按照时间序列进行数据读入、特征过滤和钻取数据等功能,以便更好的分析数据。

    3. 预测型分析:可能发生什么?

    预测型分析主要用于进行预测。事件未来发生的可能性、预测一个可量化的值,或者是预估事情发生的时间点,这些都可以通过预测模型来完成。

    预测模型通常会使用各种可变数据来实现预测。数据成员的多样化与预测结果密切相关。

    在充满不确定性的环境下,预测能够帮助做出更好的决定。预测模型也是很多领域正在使用的重要方法。

    4. 指令型分析:需要做什么?

    数据价值和复杂度分析的下一步就是指令型分析。指令模型基于对“发生了什么”、“为什么会发生”和“可能发生什么”的分析,来帮助用户决定应该采取什么措施。通常情况下,指令型分析不是单独使用的方法,而是前面的所有方法都完成之后,最后需要完成的分析方法。

    例如,交通规划分析考量了每条路线的距离、每条线路的行驶速度、以及目前的交通管制等方面因素,来帮助选择最好的回家路线。

    结论

    最后需要说明,每一种分析方法都对业务分析具有很大的帮助,同时也应用在数据分析的各个方面。

    原文链接:http://kdnuggets/2017/07/4-types-data-analytics.html

    转载请注明出自:葡萄城控件

    关于葡萄城

    葡萄城是全球控件行业领导者,世界领先的企业应用定制工具、企业报表和商业智能解决方案提供商,为超过75%的全球财富500强企业提供服务。

  • ?

    新手入门:数据分析的四种形式

    Matt

    展开

    在我过去的博客文章中,我们已经介绍了数据分析的一些基本原理和陷阱。在这篇博文中,我们专注于数据科学中会遇到的四种数据分析:描述性分析,诊断性分析,预测性分析和规范性分析。

    当我与刚刚进入数据科学世界的年轻分析师相遇时,我经常会问他们 “你认为数据科学家最重要的技能是什么?”。他们的答案是非常多样。

    我对他们的回馈是:数据科学家最重要的技能应该是将数据转化为非定量的、清晰的、有意义的见解的能力。瑞典统计学家汉斯·罗斯林(Hans Rosling)为此而闻名。这是一个经常被忽视的技能。

    围绕今天主题,非常有必要为大家详细介绍一些帮助个人如何使用分析相关的知识提炼出有价值的见解的工具。其中的一款工具就是四维范式分析。

    简单地,可以将数据分析分类成四个主要类型。下面我将会详细介绍里面的细节。

    一、描述性分析:发生了什么?

    这是所有形式中最常见的。在业务中,它为分析人员提供了业务中关键指标和措施的视图。

    例如公司每月的收支表。类似地,分析师可以获得大量客户的数据。了解客户的人口统计信息(例如我们的客户的30%是个体经营者)将被归类为“描述性分析”,利用有效的可视化工具可以增强描述性分析的信息。

    二、诊断性分析:为什么发生?

    这是数据分析的复杂性的下一步是诊断性分析。在对描述性数据进行评估时,诊断分析工具将使分析师能够深入到细分的数据,从而隔离出问题的根本原因。

    精心设计的商业信息(BI)仪表板包含读取时间序列数据(即多个连续时间点的数据),并具有过滤器和钻取能力,可进行此类分析。

    三、预测性分析:将发生什么?

    预测分析是关于预测的。无论是将来发生事件的可能性,预测可量化的数量还是估计可能发生事件的时间点。这些都是通过预测模型完成的。

    预测模型通常利用各种可变数据进行预测。组件数据的变异性将与可能预测的关系(例如,一个较老的人,他们对心脏病发作的敏感程度越高 - 我们会说年龄与心脏病发作风险呈线性相关),然后将这些数据一起编译成分数或预测。

    在一个很大的不确定性的世界中,能够预测能够做出更好的决定。预测模型是许多领域中最重要的一些模型。

    这是预测中需要避开的坑:http://insights.principa.co.za/the-top-predictive-analytics-pitfalls-to-avoid

    四、规范性分析:需要做什么?

    在价值和复杂性方面的下一步是规范性模式。规范模型利用对发生的事情的理解,为什么发生了这种情况以及各种“可能发生的”分析,以帮助用户确定采取的最佳行动方案。规定性分析通常不仅仅是一个单独的行动,而且实际上是其他一些行动。

    一个很好的例子是一个交通应用程序,帮助您选择最佳路线回家,并考虑每个路线的距离,每个路上可以行驶的速度,以及当前的交通限制。

    另一个例子可能是制作考试时间表,使得各个班级的学生没有冲突的时间表。

    总结

    虽然不同形式的分析可能为企业提供不同数量的价值,但它们都具有自己的位置。

  • ?

    FineBI的数据分析操作,竟然是一个升级版的数据透视表

    李拜四

    展开

    数据分析的多数简单操作,就是把焦点聚焦于多分类维度的数据呈现,以表格、图表的形式将重点突出。

    关于FineBI,可能很多小伙伴多多少少了解过这款商务智能工具,这是目前市面上应用最为广泛的自助式BI工具之一,与之同行的还有Tableau、PowerBI等。

    你可以把它是做为是可视化工具,因为他里面自带几十种常用图表,以及动态效果;你也可以把它作为报表工具,因为他可视化报表展现,以表格状、以dashboard状;你也可以把它看作是数据分析工具,因为如果你有数据,你想分析,可以借助FineBI做一些探索性的分析,其内置等数据模型、图表。

    但严格定义来讲,他其实一款自助式BI。常常被用作大数据前端展现的工具,对接hadoop、Spark等平台;用作业务部门的取数、业务数据分析(IT数据部准备好数据,业务查看分析)。

    它的操作就像是Excel中的数据透视表,相信很多小伙伴儿特别是已经在职场已经混迹很多年的小伙伴儿,对Excel中的数据透视表非常熟悉,没错,FineBI的操作类似一个升级版的数据透视表。

    它不仅仅可以将原始的一维表数据透视为二维表格,它还可以将原始数据直接透视成多维图表,流程跟用Excel做数据透视表几无二致。

    接下来我从几个角度来做个演示, 以案例的形式来展示一下:

    前提

    再讲之前我觉得有必要明确维度和度量的概念,以及对于可视化的认知。

    1、维度和度量的概念

    BI里面有一个维度和度量的概念,BI的数据可视化其实就是在呈现一组由不同维度和度量组成的字段。

    维度是dimension 是描述类别的,比如城市,来源等。

    度量是metric,是描述可以进行运算的数量的,比如收入,新用户数等

    一个维度可以对应多个度量,比如城市的收入,该城市的新用户数等等。

    无论是一维、二维、三维甚至更高维的情况,所有的可视化形式都是建立在维度与度量等指标之上的。所以在导入数据源之后,就应该有意识的熟悉数据结构,认识到所有的指标的属性(是维度还是度量)以及度量之间的关系(粒度的粗细,层级的高低)。

    2、可视化并不拘泥于excel图表

    想强调的第二点是,数据可视化是一种表达,他的表现可以不同图表、不同颜色区分、多种图表组合、不同动效…并不仅仅是excel里面自带的十几种图表。可视化形式应该服务于业务分析与关系挖据的需求,或者说我们是按照自己的目的去定制可视化的呈现形式。

    对比

    1、FineBI表格与Excel数据透视表的操作界面,大致相当

    FineBI的操作是:选择表格/图表——选择维度和度量指标——附加操作:指标计算(同比环比排名等)、指标筛选过滤操作等,还有一些自定义的条件选项。

    Excel的数据透视表和FineBI的表格计算,操作体验和风格大致相当,都提供菜单式操作。

    总的来说,FineBI,当数据准备好了之后,新建一个分析,选择需要的图表,然后就会出现左手边的这些字段,依据你想要呈现的结果,将字段分别拖拽到维度和度量框内。分类代表维度,只不过FineBI的筛选器直接放在了字段里,每个字段可做单独筛选,筛选掉不符合条件的数据,比如空值。

    2、FineBI表格与Excel数据透视表,FineBI附加更多快速简单的指标计算和样式更改

    说了这么久,干巴巴的总要来几个案例练习一下,同样的数据,同样的菜单,同样的字段布局。

    针对Excel而言,多维表格数据的展现已经是极限了,因为Excel数据透视表透视的仅仅是表,没法再多给出除了数字之外的信息,这时候就是FineBI大展身手的时候啦。

    FineBI可以直接对度量指标设置条件,比如让不同区间的数据变换成不同颜色,以示区分,避免写公式。

    可以直接在现有数据基础上,计算排名、同比、环比等指标,简单高效。

    3、FineBI-数据透视表=数据透视图

    新版的excel里有数据透视图功能,可以图表的形式展现数据。

    在finebi里面你可能一键切换图表,或者托转另外一个图表重新制作。

    将各个数据图表汇总组合,它还可以制作数据大屏

    FineBI我觉得高明之处在于,数据展现方便。通过拖拽数据字段,能立马展现可视化效果,加以联动钻取扥功能以及图标切换功能,动态效果立马显现,自助式BI的精髓表达的淋漓尽致。

    据说之后发布的5.0版本,会增加很多数据分析功能,利内置数据分析模型,用维度透析的理念来按需完成可视化探索过程,将BI的功能维度又上升一层次。

  • ?

    数据分析都用什么工具

    尹寄松

    展开

    欢迎关注天善智能,我们是专注于商业智能BI,大数据,数据分析领域的垂直社区,学习,问答、求职一站式搞定!

    本文是上一篇文章《全国及重点城市“数据分析”岗位需求量及工资水平分析》的续篇,从“数据分析”职位招聘单位给出的职位描述中分析各种工具的热门程度。

    1.整体概览

    经常看见有网友争论R和python谁才是主流的数据分析工具,网友们分门别派各抒己见。今天我们从实际需求出发,在招聘单位的职位描述中用正则表达式匹配统计常用的数据分析工具出现的频率,看看谁才是你最应该掌握的工具。

    话不多说,先上图

    毫无疑问,excel才是最主流的数据分析工具,在招聘单位的职位描述中出现频率远远高于其他工具(实际上居第八位的office也含有excel,其真实数据应该比这还高),作为最基础的工具,excel是一个数据分析工作者的必备技能。excel之后的4门工具分别是sqlsever、spss、sas和r,其中排名第二位的sqlsever频率高出另外两门主流数据库语言mysql、oracle近两倍,spss作为无需编程的专业统计软件也在职位描述中有较高的频率,sas则是编程类统计软件的代表,今年来火热的r语言也水涨船高,另一门火热的程序语言python在数据分析方面则要稍稍落后。

    2.各职位具体情况

    数据分析也有细分很多具体职位,那么不同的职位以上各种工具的要求是否存在差异呢?

    表中数据显示“大数据分析师”需掌握的工具主要是r、python、hadoop、spark和java;“数据分析工程师”需要掌握的工具主要是sqlsever、r、python和hadoop,这两个职位都很看重编程开发能力。

    “数据分析经理”、“高级数据分析师”和“数据分析师”需要掌握的工具大体一致,均为excel、sqlsever、spss、sas和r。

    “数据分析主管”、“数据分析”、“数据分析专员”和“数据分析员”等职位对基础技能的要求更为突出,excel、ppt、word等office办公软件出现的频率较其他工具明显更高。

    作为一名数据分析从业者或者想转行过来的人来说,要想有好的职业发展,首先,必须熟练掌握office办公软件,尤其是excel(不要瞧不起excel,你不一定玩得转);其次,还需要学习一门数据库语言,sqlsever是不错的选择(mysql、oracle与sqlsever较为类似,通一门后,其他的学起来也很容易);专业的统计分析工具也需要掌握一门,如果讨厌编程,可以选择spss,如果有编程能力那么sas和r可以选择一个学习,如果你精通python也可以用python做统计分析;如果想往大数据方向发展,或者是做数据分析工程师那就还需要掌握python、hadoop等工具。

    最后附上一张数据分析职位描述的词云图,可以看出招聘单位除了看重工具的使用外,也很注重分析、业务、经验、沟通、团队等方面的能力。

    本文作者:Mr.Hu,转自:一胡诌先生

  • ?

    使用数据分析神器 BingoBI 进行同比分析,一键生成指标

    妙之

    展开

    同比和环比是最常见的数据分析方式,但是在进行同比环比分析时,往往需要编写公式,这就对那些不懂技术的业务人员很不友好了。

    如果使用 Bingo BI 数据分析平台,那么就不会出现以上问题了。Bingo BI 提供了独有的‘指标模板’功能,只需拖拽两三下鼠标便可在几秒钟之内创建出一个新的指标,效率较其他数据分析平台提高了不止百倍。

    第一步,创建一个简单的查询,将产品和日期分别拖拽到表格的行和列位置,查询结果会立即生成,此表格每一行表示特定产品在各个月份的销量,每一列表示某个月份中每种产品的销量。

    第二步,使用‘指标模板’功能创建新指标。选定一个模板(此例中选择‘同比’),将度量相关信息拖放到指定的位置(此例中将要创建‘销售额’的同比值),然后填写新建指标的名称并保存即可。

    第三步,回到最初创建的查询界面,只需将新指标拖拽到列位置,便可立即显示。

    第四步,创建新指标并查询后要做的当然是数据可视化喽,进行数据可视化同样是用鼠标随意拖放便可完成。

    (提示:可以将任何维度拖放到行位置并以其为业务角度查看同比值。)

  • ?

    2018年中国大数据BI行业分析报告

    齐映菡

    展开

    前言

    近年来,随着人们的数据意识和数据素养不断提升,商业智能和数据分析领域迎来了快速发展期,据Gartner商业智能报告统计,到2020年全球的商业智能市场容量预计将达到228亿美元。同时,大数据、人工智能、机器学习、深度学习等技术的快速发展,也促进了商业智能和数据分析产品的新一轮进化。Gartner分析师认为,到2020年,自然语言生成和人工智能将是90%的新BI平台的标准特征,50%的分析查询将使用搜索、自然语言处理,或语音生成,或将自动生成。但我们必须认识到,我国商业智能的市场特征、企业需求、关注点、发展阶段均与国外有所不同,以Gartner为代表的分析机构并不能准确描述我国商业智能行业的实际状况。针对这一问题,帆软数据应用研究院调研了规模不一的216家企事业单位,了解到他们的大数据BI应用状态、需求情况、对大数据BI产品功能的期待,同时基于帆软数据应用研究院对行业的长期观察和思考,形成了该篇报告。

    主要预测:

    2018年,中国大数据 BI 产品将主要在自助分析的可操作性和功能丰富度、平台的安全性、数据管理能力、分析的共享能力、数据挖掘能力、大数据处理能力六大功能模块进行提升。

    一、2018年中国商业智能行业发展分析

    (一) 行业总体形势向好

    在当前经济环境下,企业盈利的压力和难度不断增加,越来越多的企业,尤其是一、二线稍具业务规模的企业,其高层都希望通过精细化运营提升市场竞争力,降低企业的运营成本。这些企业绝大多数都已经在2008年~2015年间上线了各种业务系统,存储了大量管理和运营数据,具备应用大数据BI进行数据分析和数据化管理的各种条件,这些需求将在2018年~2022年继续爆发。值得注意的是,艾瑞咨询在《2017年中国商业智能行业研究报告》中指出,我国已经进入商业智能领域第一方阵,成为发展最快的国家之一,但和美国还有比较大的差距。所以未来中国大数据BI行业总体将呈现加速度增长,市场容量将不断扩大。

    (二) 大数据BI厂商马太效应显现

    马太效应是指强者越强,弱者越弱的现象,国内BI行业的马太效应已经显现。据帆软品牌部调研数据显示,处于行业第一梯队的帆软、Tableau、微软PowerBI的品牌知名度和市场份额与其他厂商进一步拉大。帆软2017年全年营收2.77亿,远超其他国内厂商之和。同时帆软销售部反映,2017年度销售跟单中遇到的竞品种类和数量均较2016年有相当大幅度的下降。BI行业出现马太效应实属必然,综合实力强大的厂商更能投入资源做好产品、服务,解决更多用户的需求和问题。可以预见,2018年中国BI行业马太效应将进一步增强,逐步淘汰掉实力弱、规模小、产品差的企业。

    (三) 新型自助式BI与传统型BI平分秋色

    得益于敏捷、自助的特征,从2013年起新型自助式BI迎来了高速发展期,这一时期也是传统型BI的衰退期。

    2017年,传统型BI与新型自助式BI在国内市场中平分秋色。受访企业中,约50.2%的企业仍然在使用传统型BI,其中最典型的需求是企业常规日报、月报等汇总分析报告。约49.8%的企业应用新型自助式BI,通过报表平台+自助式BI+大数据底层平台的解决方案,来解决企业综合的数据展示和分析需求,形成经营和战略决策。在调研中我们注意到,约有18%的企业引进了新型自助式BI,部分或全部替代了传统BI。虽然传统型BI尤其自身优势和应用场景,但随着新型自助式BI的不断发展,传统型BI必将逐渐退出历史舞台,从国际传统BI巨头积极调整产品结构可见一斑。

    二、2017年中国商业智能用户状况分析

    根据企业的IT人员和业务人员在数据分析中的工作量和投入程度占比,我们将BI用户(企业)划分为5大类型,即BI应用金字塔模型,以更好的统计、分析企业的BI应用状况。

    (一) BI应用金字塔模型

    1. IT完全主导型

    其典型特征为,IT人员做底层数据仓库,以及BI工具层面的数据模型处理的所有相关工作,完成95%以上的BI分析页面(注:主要是指用于生产、经营、管理会议所需要的数据分析页面,下同)的开发。业务人员仅负责前端数据查看,完成查看报表时相关联动钻取操作。

    调研中我们发现,处于“IT完全主导型”这一等级的企业,约有93.2%都在使用传统型BI工具,企业的业务人员基本没有能力,也没有需求去自主完成数据分析的工作。这些企业的业务变革并不剧烈,企业管理层认为当前的日常数据报告能够满足企业管理和决策的需要,相对缺少变革的动力。

    2. IT强主导型

    其典型特征为,IT人员做底层数据仓库,以及BI工具层面的数据模型处理的所有相关工作,完成80%~95%数量的BI分析页面。业务人员完成低于20%数量的BI分析页面。

    从调研数据来看,这类企业中,67.5%的企业认为当前业务人员不具备数据分析的能力。而企业需要快速完成部分数据分析工作,所以选择让IT人员更多承担工作。这类企业中普遍认为,商业智能产品本身并非能够快速上手,且业务人员仍需要统计学基础,阻碍数据分析工作从IT人员向业务人员的转移。

    3. 业务强主导型

    其典型特征为,IT人员做底层数据仓库,以及BI工具层面的数据模型处理的所有相关工作,完成前期示例不超过20%数量的BI分析页面。业务人员完成超过80%数量的BI分析页面。

    从调研数据来看,这类企业中,超过80.2%是曾经推行传统BI的企业,并且部分业务人员是有较高学历和能力的,能够学习和掌握商业智能工具和数据分析技能,并愿意在工作中积极使用;从帆软数据应用研究院的实地走访的部分企业来看,这些企业普遍行业排名靠前,公司从高层就重视数据分析工作。

    4. 业务完全主导型

    其典型特征为,IT人员做底层数据仓库,以及BI工具层面的数据模型处理的部分相关工作。业务人员完成95%以上数量的BI分析页面和相当部分BI工具层面的数据模型处理。

    相比于第三类使用人群(业务强主导型),这类用户的一大特点是业务变革十分迅速,从事业务工作的人员学历普遍较高,业务经营和发展需要企业快速做出决策。而基于数据分析得出的业务判断相比个人历史经验准确度更高,是这类企业基本共识。比如在新兴的互联网企业,或者新零售领域,这个特点尤为突出。

    5. 智能自助型

    其典型特征为,IT人员只做底层数据仓库、数据连接、数据字典相关工作。业务人员处理所有BI工具层面的数据处理,以及所有BI分析页面。

    IT人员搭建数据中心,业务人员完全自主处理和分析数据,这类企业有着明显的资源密集型的特点,业务人员更多的是偏向运营相关的工作。当然,因为此类受访企业占比较少,原因分析的可信度还有待进一步调研来核实。

    (二) BI用户状况分布

    基于BI应用金字塔模型,2017年企业分布如下;

    从调研数据中,我们可以得出两大结论。

    1、IT人员主导企业数据分析的模式仍占据主流,也就是IT驱动仍是2017年企业商业智能平台应用现状。从数据调研的受访企业来看,有高达60.5%的企业的数据分析工作仍是第二类型(IT强主导型),甚至有21.5%的企业的数据分析工作处在第一类型(IT完全主导型),这显然和业务人员自助数据分析的目标距离遥远。

    2、新型自助BI正在成为商业智能市场的主流。17.5%的企业是在2017年上线了新型自助BI,实现了让少部分业务人员自助完成BI数据分析的目标。

    三、2018年商业智能用户需求分析

    (一) 企业多级部门数据分层次IT权限和平台管控,占受访企业97.6%

    需求描述:BI工具支持企业的多级部门的数据/分析页面权限管控,使得不同层级的部门机构只能看到本部门机构和辖属部门机构的数据/分析页面。

    需求产生的原因:有的信息中心为释放压力,放权给业务部门使用数据,一旦口子打开,数据缺口就会像洪水一样泛滥,就又会走向另外一个极端,导致放权下的数据管理混乱,数据口径不统一,部门之间的数据壁垒等等问题就会出现,同时这将给企业带来极大的数据安全隐患。

    满足该需求对企业的价值和意义:在满足业务部门BI数据自助分析的同时,兼顾企业的数据权限管控,形成企业以IT部门集中管理下的良性数据分析风貌,杜绝企业数据安全隐患。

    (二) 业务人员可通过BI工具进行自助数据分析,占受访企业94.5%。

    需求描述:业务人员可以在浏览器前端,对自己权限范围内的数据进行多维拖拽探索和自助分析,发掘隐含在数据中的业务价值。

    需求产生的原因:企业的传统信息化建设中,IT信息中心对公司数据进行高度集中的管控,来自企业各职能部门的数据处理以及报表就会全部由IT人员来输出,一旦业务部门需求集中扎堆,就会造成响应不足,业务部门怨声载道。信息中心自身成员熬夜加班做报表,成就感却很低。

    满足该需求对企业的价值和意义:通过高效灵活的BI工具,业务人员对自己权限范围内感兴趣数据进行多维拖拽探索和自助分析,以工具简单易上手的低学习成本,让真正对分析业务价值最熟悉的业务人员实现自助数据分析探索,最大化业务数据的分析维度和分析效率,灵活发掘数据中可能潜在的业务价值,同时也解放了IT人员的劳动力,降低企业人力成本。

    (三) 可快速搭建型自助BI业务数据模型,占受访企业87.5%。

    需求描述:数据库表中的数据需要基于业务分析主题进行分类管理,相关数据表之间支持手动/自动构建关联模型,同时建立的关联模型支持灵活应用,无需反复编辑修改或创建新的模型,一次建立即可灵活满足多重业务场景进行数据分析使用。

    需求产生的原因:传统BI工具创建的底层数据关联相互独立,无法重复利用,一旦遇到新的业务数据计算分析场景,数据关联就需要修改或重新创建,极为麻烦,非常不利于IT人员维护。

    满足该需求对企业的价值和意义:通过BI工具快速构建的新型自助式BI业务数据模型,较传统BI工具针对不同业务分析场景需要多次、重复建模的应用痛点,极大地提高了BI工具的企业中业务数据分析应用的效率,解放了以往IT人员对数据维护的压力。

    (四) OLAP多维分析:上卷、下钻、旋转、切片、联动、跳转等,占受访企业84.5%

    需求描述:BI工具支持强大的页面OLAP多维分析功能,包括分析视角的上卷、下钻,维度的旋转切换,指标的切换,分析数据的切片过滤,组件之间的联动过滤、页面超级链接跳转等。

    需求产生的原因:随着业务发展的复杂化,单一角度的数据分析往往难以再发掘出更多有价值的潜在业务信息,取而代之的是需要BI工具能够满足强大的页面OLAP多维分析功能。

    满足该需求对企业的价值和意义:通过BI工具强大的OLAP多维分析功能,以实现多角度、多关联数据之间的数据无限层次探索分析,发掘出数据中潜在的业务价值。

    (五) 大数据处理性能处理能力达到十亿数据秒级响应,占受访企业63.6%

    需求描述:BI工具可支撑处理亿级以上大数据分析计算的秒级响应,提供多维加速引擎对传统关系型数据仓库(SQLServer、Oracle、Mysql等)进行数据提速处理,同时也支持实时对接企业大数据平台(Vertical、Kylin、Greenplum等)进行数据分析计算。

    需求产生的原因:一方面,传统关系型数据库在面对上亿级别以上数据量时,容易出现性能瓶颈,长时间的查询等待往往会导致业务数据分析效率太低。另一方面,当今信息化水平飞速发展,越来越多的企业已经有了自己的高性能大数据平台,对于这部分企业来说,拥有一款能够直接对接大数据平台进行数据分析的工具尤为总要。

    满足该需求对企业的价值和意义:BI工具提供的强大数据计算处理引擎,能够降低企业数据查询等待时间成本,提高业务数据分析效率。同时,通过直接对接企业大数据平台,还可满足企业实时数据分析的需求。

    (六) 业务人员可完成工具层面的零代码数据加工处理工作,占受访企业57.5%。

    需求描述:BI工具可通过快速易上手的交互方式,让业务人员也能完成工具层面的零代码数据加工处理工作,例如例如表合并、分组统计、结构数据分层、过滤、增加列、同比环比、累计值、所有值、公式运算等数据清洗和数据处理方法,实现对数据的无限层次多维透视分析统计。

    需求产生的原因:当业务需求相对偏复杂时,简单的维度和指标统计往往无法直接计算出业务所需要的计算结果,以往的处理方式往往可能是业务部门提需求给IT,然后IT经过SQL或者代码对底层数据表加工处理,然后最终导出一张excel数据表给业务部门,期间的反复沟通和等待时间往往降低了企业的业务数据分析应用效率。

    满足该需求对企业的价值和意义:通过BI工具,使得业务人员也能快速实现对数据的无限层次多维透视分和析加工统计,降低了传统模式下的沟通成本和等待时间,提高了企业业务数据分析的应用效率。

    (七) 移动端数据分析查看支持,占受访企业44.9%

    需求描述:BI工具支持移动端数据分析多维分析查看功能(兼容PC端的上卷、下钻、旋转、切片、联动、跳转等),对于BI工具的应用app支持便捷的扫码登陆、离线查看、批注、分享等...

  • ?

    大数据和BI商业智能有何区别?有何相关?

    经易真

    展开

    Tips:“小鸟云”是深圳前海小鸟云计算有限公司旗下云计算品牌,国内领先的企业级云计算服务商。团队拥有多年行业经验,专注云计算技术研发,面向广大开发者、政企用户、金融机构等,提供基于智能云服务器的全方位云计算解决方案,为用户提供可信赖的企业级公有云服务。

    大数据 ≠BI商业智能,大数据也不是传统商业智能的简单升级。

    1、大数据和BI两者的区别

    BI(BusinessIntelligence)即商业智能,它是企业数据化管理的一整套的方案,用来将企业中现有的数据进行有效的整合,快速准确的提供报表并提出决策依据,帮助企业做出明智的业务经营决策,解决的是管理运营战略的问题。

    大数据(Big Data)是指在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。大数据侧重于解决某一类问题的方法,比如全网用户画像,对网络、传感器等非结构化海量数据的分析。

    不管定义如何不同,大数据与传统BI是社会发展到不同阶段的产物,大数据对于传统BI,既有继承,也有发展,从"道"的角度讲,BI与大数据区别在于前者更倾向于决策,对事实描述更多是基于群体共性,帮助决策者掌握宏观统计趋势,适合经营运营指标支撑类问题,大数据则内涵更广,倾向于刻画个体,更多的在于个性化的决策。

    当然纯粹从思想的角度讲,两者在概念上是可以实现统一的,都遵循数据-信息-知识-智慧这个脉络,甚至在更高的层次,两者也是可以统一的。

    2、两者技术上有什么相关性?

    传统BI的技术标签:ETL、数据仓库、OLAP、可视化报表。

    大数据的技术标签:Hadoop、MPP、HDFS、MapReduce、流处理等。

    传统BI就目前来讲,其功能都可以被对应的大数据组件所替代,但大多数企业缺乏大数据业务的驱动,也缺乏相关的高技术人才。

    不过新型BI被赋予了更多“大数据”潜能。正如图右侧架构所示,BI架设在大数据应用层,抽取etl后或者Hive来的数据又可作通用类的业务分析。既满足了海量实时数据分析,也满足了决策型的业务分析。

    3、企业应该青睐大数据还是商业智能?

    在技术领域,虽然传统BI的一些技术ETL、数据仓库、OLAP、可视化报表似乎都将处于落后边缘,因为它难以解决日后海量数据的处理问题,但是,也不能全盘否定或替代成大数据。一些企业采用SAP HANA,FineBI的直连大数据引擎都是基于这个问题优化的方案。BI的那套也将长期存在,毕竟企业对BI方案还是很青睐,大数据的普及和应用也是个漫长的过程。

    大数据 VS 商业智能

    大数据不是空口说说,它的第一要务就是解决业务问题,大数据一定程度上就是用全新的数据技术手段来拓展和优化业务,传统企业需要聚集一拨人来研究这个问题,需要有人专门研究和探索。如果对外,想清楚新的商业模式,如果对内,想清楚在哪个场景,可以用大数据的手段提升效率。

    当前大数据可以产生价值的地方,从行业的角度看,金融、银行、互联网、医疗、科研都有广阔的前景。从领域的角度看,广告、营销、风控、供应链都是大数据发挥价值的地方,对于特定企业,比如电信运营商,大数据也可以在网络优化等方面提供新方法。

    并不是每个企业都需要打造自己的大数据平台,需要考虑到企业的信息化水平和各项成本,量力而行吧,可以自行研发 ,比如BAT;也可以选型采购,比如传统大企业;中小型企业也可以租用,比如用阿里云和AWS。

    就事实来讲,BI的应用是远远大于大数据应用的,有其通用的道理。大数据相对于传统BI,也不仅仅是简单的PLUS的关系,它涉及了思想、工具和人员深层次的变革,BI人员既不要一提大数据,就嗤之以鼻,认为它是新包装的马甲,其实就那么回事;也不需妄自菲薄,以为搞大数据就那么高大上,它的确是BI大多数思想的传承。

  • ?

    bi数据分析系统运营要注意这4个要点

    马科斯

    展开

      很多公司在引入bi数据分析系统之后,常常会在运营的时候遇到很多问题。数据化运营是一项专门的工程,一般而言一家公司需要专业的IT人员专门来数据分析bi工具,但很多人没这个意识。部署bi数据分析系统确实有点难度,但不是所有人都是专家,所以小编在这里分享几招小策略,帮助大家更好地运营好商业智能BI工具。

    数据分析bi工具

      那么,bi数据分析系统要运营好首先要做好策略,认真部署和进行。

      (1)为商业智能提供业务所有权

      埃夫森表示,将商业智能置于业务用户手中的组织比将商业智能置于IT内部的成功率更高,这可能意味着将商业智能嵌入业务线,或将商业智能业务报告提供给首席数字官或首席客户官。

      虽然早期商业智能技术的复杂性使得IT部门负责许多商业智能程序,但是如今的工具更加直观,允许它们直接提供到业务用户的手中,这些用户可以运行对他们重要的查询。

      同样,用户需要访问数据的速度以及从商业智能获得的见解近年来也急剧增加。今天的业务用户通常需要实时的操作信息,不愿等待IT部门生成报告。

      (2)监控商业智能的使用并必要时调整

      虽然企业应该拥有商业智能计划,但是IT部门仍然是必须保持监控和评估商业智能系统使用的积极合作伙伴。监控商业智能系统正在做什么,正在访问什么数据源,正在使用什么工具,以及业务部门A是否使用商业智能超过业务部门B。”

      (3)验证,验证,验证

      组织需要一个强大的验证过程,重点是访问所有需要回答查询的数据。它还应该防止有问题的数据进入商业智能系统,这样就不会产生错误的见解。此外,验证过程应该足够的敏捷性,以快速响应新的商业智能功能的请求。

      哈根斯指出一个假设用例,其中商业智能工具生成有关净销售额的报告。如果该工具接收到销售数据,但没有计算返回的已售商品数量,那么最终信息是不好的。

    bi数据分析系统

      (4)首先关注业务问题,然后再关注数据

      太多的组织构建数据存储库,然而采用商业智能,期望业务用户能够更好地开展业务。

      埃夫森阐述了这个例子:营销部门发现客户流失问题,并希望了解客户为什么要离开。组织应该着重提供回答营销业务问题的能力,首先要确定需要衡量哪些指标,访问计算这些指标所需的数据,然后使营销对数据进行详细的分析。

      埃夫森说:“人们需要确定一个明确的业务问题,首先要分析什么指标,最后,谈论如何得到数据。”

      其实,bi数据分析系统运营也没有那么难,但是一些整体上的规划和细节问题都需要企业领导注意,才能更好地部署和运营好一款数据分析bi工具。

数据分析中bi是什么

所有视频需要登录后,才能观看

请先登录您的帐号,即可完整播放,如果您尚未注册帐号,请先点击注册。

img

在线咨询

建站在线咨询

img

微信咨询

扫一扫添加
动力姐姐微信

img
img

TOP