中企动力 > 商学院 > 数据分析方法软件
  • ?

    据说这是史上最全的大数据分析工具

    尼尔

    展开

    给大家推荐的一些用于数据分析的“必备神器”

    数据可视化工具:

    百度ECharts:http://echarts.baidu/

    Cytoscape:http://cytoscape.org/

    图表秀:http://tubiaoxiu/

    数据观:http://shujuguan/

    微博足迹可视化:http://vis.pku.edu/weibova/weibogeo_footprint/index.html

    BDP个人版:https://me.bdp/home.html

    ICHarts:http://icharts.in/

    魔镜:http://moojnn/

    词频分析工具:

    Rost:http://cncrk/downinfo/54638.html

    图悦:http://picdata/

    语义分析系统:http://ictclas.nlpir.org/nlpir/

    Tagul:https://tagul/

    腾讯文智:http://nlp.qq/semantic.cgi

    Tagxedo词云:http://tagxedo/

    舆情分析工具:

    清博舆情系统:http://yuqing.gsdata/

    云相:http://weidata/

    PPT模板工具:

    我图网:http://so.ooopic/

    51PPT模板:http://51pptmoban/ppt/

    无忧PPT:http://51ppt/

    第1PPT:http://1ppt/

    站长之家:http://sc.chinaz/ppt/

    设计师网址导航:http://userinterface/

    互联网趋势分析工具:

    微博指数:http://data.weibo/index

    百度指数:http://index.baidu/

    好搜指数:http://index.so/#index

    搜狗指数:http://zhishu.sogou/

    百度预测:http://trends.baidu/

    在线调查工具:

    腾讯问卷调查:http://wj.qq/

    麦客:http://mikecrm/

    ICTR:http://cn2.ictr/

    问道网:http://askform/

    问卷星:http://sojump/

    调查派:http://diaochapai/

    问卷网:http://wenjuan/

    SurveyMonkey:https://zh.surveymonkey/

    网站分析监测工具:

    H5传播分析工具:http://chuanbo.datastory/

    百度统计:http://tongji.baidu/web/welcome/login

    腾讯云分析:http://mta.qq/

    51.la:http://51.la/

    社交媒体监测工具:

    孔明社会化媒体管理:http://kmsocial/

    企业微博管理中心:http://e.weibo/

    知乎用户深度分析:http://kanzhihu/useranalysis

    其他数据网站:

    数据分析网:http://afenxi

    媒体微博排行榜:http://v6.bang.weibo/xmt

    友盟:http://umeng/

    中国新闻地图:http://vis.360/open/cnnews/

    中国票房榜:http://cbooo/

    收视率排行:http://tvtv.hk/archives/category/tv

    农业大数据云平台:http://dataagri/agriculture/gis.action

    房价指数:http://industry.fang/data/datacenter.aspx

    中国统计局:http://data.stats.gov/

    中国主要城市拥堵排名:http://report.amap/traffic/

    中国综合社会调查:http://chinagss.org/

    中国P2P网贷指数:http://p2p001/wdzs/wdzs_p2pline.html

    Alexa:http://alexa/

    易车汽车指数:http://index.bitauto/

    旅游预测:http://trends.baidu/tour/

    以上就是给大家推荐的一些用于数据分析的“必备神器”,其中很多工具是亲测过认为非常强大的,希望大家能从中找到对自己有帮助的工具。

  • ?

    16款App数据分析必备工具,款款超棒!

    青烟散

    展开

       好的App数据分析工具是运营推广人员手中必备的神兵利器。

       从前期数据调研和中期方案策划执行到后期的策略调整总结,一款好的App数据扮演着举足轻重的角色。

       早期的免费模式的数据分析平台,也会逐步走向书费模式,下面就推荐下国内主流的App数据分析工具:

     

    一、友盟 

    http://umeng/

    支持iOS、Android应用数据统计分析,APP所需要的数据分析功能基本覆盖了了。2016年1月26日友盟、全球中文网站统计分析平台“CNZZ”、国内互联网数据服务平台缔元信网络数据这三家阿里巴巴共同投资的公司宣布合并为“友盟+”,“友盟 +”每天可以触达全球超过 9 亿的独立互联网活跃用户。

     

    二、Cobub Razor

    http://cobub/

    开源版的友盟。支持iOS、Android应用数据统计分析。主要提供渠道、版本、使用频率、使用时长、页面访问路径、用户留存、终端与网络、运营商分布、事件与转化率、错误分析和自动更新等多项数据统计,并提供按区域查看和按时间段的查看方式。

     

    三、清源火眼(huoyanapp)

    http://huoyanapp/

    可以查看任一APP用户的日活跃、周活跃、月活跃。另外,还能进行应用对比。其功能主要分三大块,分别是渠道监测、用户分析、人群分析。用户分析主要包括新增用户、活跃用户、时段分析、使用频率。

     

    四、AYL爱盈利App榜单监控

    http://rank.aiyingli/

    监控自己的应用在国内各大应用市场的排名情况和下载量变化情况,iOS和Android皆覆盖。

    一直以来的,iOS的工具很多,Android的很少。之前统计Android下载量数据,统计搜索排名,总榜,分类排名都是很人肉的方法,有了这个好很多了。据说,很多产品转让交易、融资、CPT统计都会参考他们家的数据.

     

    五、应用雷达

    http://ann9/

    仅针对iOS,查看App Store总榜和分类排名。查看产品在App Store 里的搜索度得分,评判ASO效果的标准之一。

     

    六、诸葛iO

    https://zhugeio/

    特色是可以通过属性筛选-选择条件-选择时间筛选条来对用户行为进行洞察分析,根据用户的每一步操作更直观的对用户进行画像,可将不同的消息推送给不同的用户!而且推送过后,还有效果监测。

     

    七、TalkingData

    http://talkingdata/

    统计类别有用户与使用(新增、活跃、地区分布、设备机型等)、渠道统计、事件与转化、分析工具这四大类,咱可以通过渠道数据查看用户的来源,以此来评估推广的效果。  

     

    八、百度移动统计

    http://mtj.baidu

    支持ios和android平台。另外,开发者在嵌入统计SDK后,可以对自家产品进行较为全面的监控,包括用户行为、用户属性、地域分布、终端分析等。安卓渠道多的吓人,不可能全方位的去维护每一个渠道,所以就要靠分析了,咱能通过百度移动统计对不同渠道的推广效果进行监测,从而淘汰劣质渠道。

     

    九、ASOU

    http://asou/

    通过热门搜索可以分析出用户在某个时间段内的搜索行为,但考虑到现在刷子很厉害,这一块的数据已无多大参考价值了,可以重点查看其中是否有行为词,另外有iPad业务的开发者们也是可以使用asou工具进行分析。

     

    十、微拓ASO(德普优化)

    http://vtool.cc/

    可以帮助开发者们进行ASO关键词分享、关键词还原、关键词扩展、关键词24小时排名、下载量预估等针对在关键词的分析统计。

     

     十一、APPDUU

    http://appduu/

    仅支持ios.可以查看APP权重、ASO关键词覆盖等情况,不过这是一款付费APP统计工具,普通用户的限制较多,升级VIP后可以看到较为全面的数据。关键词分析还有个亮点是有分词工具。

     

    十二、ASO100

    http://aso100/

    支持苹果总榜和分榜前1500名的查询,开发者可以随时查看自己的应用排名。可搜索关键词指数排行,查询每个分类榜单每个关键词的排名。还可进行竞品分析功能。开发者可借鉴竞品在用哪些关键词,为自己的App查漏补缺。

     

     

    十三、酷传

    http://coolchuan/

    仅支持android平台应用监控。开发者可以查看应用在主流市场下载量、排名、评分评论、关键词排名等数据,还能系统地与同类竞品进行数据对比。

     

     

    十四、Play Data

    http://playdata

    支持iOS、Android、WP主流平台应用数据统计分析。功能包括运营分析、用户使用、渠道分析、用户终端、事件及转化、错误分析、广告位监测。

     

     

    十五、海度云分析

    https://m.hiido/

    支持主流智能手机平台,标榜永久免费,可帮助APP创业者统计和分析活跃设备、用户来源、用户属性、渠道数据和留存率等。

     

     

    十六、蝉大师

    http://ddashi/

    支持iOS、Android应用数据统计分析,可跟踪应用在各个市场渠道的表现。同时提供ASO关键字诊断工具、拓展工具以及智能推荐工具。

    其他人也看了:

    【百度推广今日已整改,“推广”变为“商业推广” 】 想看戳这里戳这里~ http://dwz/3XMez3【网站运营必读:解决网站跳出率的30个意见    】        想看戳这里戳这里~  http://dwz/3XMdCP【“央视315产品大会”莫名启发的“互联网致富”之路】想看戳这里戳这里~ http://dwz/3XMgxc

    查看原文 >>
  • ?

    5款常用数据分析工具

    宛筠

    展开

    1.百度统计

    地址:

    百度统计是百度推出的一款免费的专业网站流量分析工具,能够告诉用户访客是如何找到并浏览用户的网站,在网站上做了些什么,有了这些信息,可以帮助用户改善访客在用户的网站上的使用体验,不断提升网站的投资回报率。目前主要提供趋势分析、来源分析、页面分析、访客分析、定制分析等多种统计分析服功能。

    2.LeanCloud统计

    地址:

    LeanCloud统计内置稳定实时的数据统计分析服务,从用户量,用户行为,渠道效果,自定义事件等多个维度,帮助您更清楚的了解用户习惯,提高用户黏性和活跃度。(原名AVOS Cloud,现更名为LeanCloud)。主要亮点是AVOS Cloud 提供一流的 web 管理后台,可以通过它看到各个维度的统计结果。

    3.Appsee

    地址:https://

    Appsee是一个简单而强大的视觉应用分析平台,在我们的移动应用程序中,使我们能够测试,了解和改善用户体验。通过Appsee平台,我们将能够准确了解用户如何与移动应用程序进行交互。

    4.Segment.io

    地址:

    Segment.io允许我们将数据一键分送给多家数据分析服务提供商,我们只需部署一次,即可随意开关各个平台的数据通道。

    5.有数

    地址:

    有数简称data.u,是一种可以灵活内置于手机应用运行过程的简单、透明的分析手段。data.u实现了高效采集分析数据,并初步整理减少冗余数据,压缩封装数据,利用智能策略传输数据,不挤占用户的网速。开发者可基于此开发包分析应用程序的运行情况,包括页面停留时长、页面跳转率、按时间或地理位置分析用户量、用户的发展情况等信息,同时为用户提供了在线配置参数获取等实用功能。

  • ?

    数据分析的框架和常用方法

    秋冷霜

    展开

    第一部分:数据分析框架

    为了分析问题的聚焦,我们具体拿互联网电商来举例子说明,至于其他的比如互联网金融、教育、社交等等,可以依此借鉴。

    (1)从互联网实体角度分析。我们可以从以下7个角度构建互联网数据分析体系。

    买家:基本特征分析、交易行为分析、流量行为分析、售后满意分析等

    卖家:基本特征分析、经营效果分析、流量曝光分析、售后满意分析、产品分析等

    产品:基本特征分析、交易行为分析、流量曝光分析、售后满意分析等

    行业:基本特征分析、经营分析、曝光分析、售后分析、产品分析、买卖家分析等

    设备:移动端分析、PC端分析、访问对象分析、cookie分析、session分析等

    日志:访问对象URL分析、cookie分析、session分析等

    事件:登录、流量、点击、曝光、下单、交易、支付、物流、评价、纠纷、仲裁等分析

    这个实体分析方法,可以称得上是万能的数据分析框架,适用于所有的互联网企业。我曾工作过的阿里巴巴、腾讯、随手记等企业,我个人都是按照这个套路去构建互联网的分析体系。

    (2)从用户的关键路径进行分析。

    关键路径分析方法是一个行之有效的常用分析方法,也是做数据化运营的常用工具。关键路径分析让我们聚焦于核心环节,排除杂音,定位出业务的核心问题,快速的加以解决。在应用关键路径分析时候,我们往往先把可能的结果、以及最关心的结果梳理出来,以结果为导向追溯行为的根本,当然,也可以从行为的初始出发,梳理出所有可能的行为路径,找出关键行为,导向我们最终设计好的结果中去。下面我们举例子说明下:

    在电商网站中,我们假设我们运营目标是让用户购买网站上的商品(在这里,我要插说几句,我们的目标有时候不只是购买,在精细化运营中,往往会根据用户的生命周期,确定关键路径的目标,比如对于一个进入期的新买家,我们通常会发一些购物攻略加以指导,针对流失期的买家,关键路径的结果我们可能导向申领我们的优惠劵之类,等等。关于这一部分数据化精细化运营方面,在大数据应用系列的数据化运营小讲,我们会详细加以分享,敬请关注)。刚才谈到,我们假设我们运营目标是让用户购买网站上的商品,那么我们可以把关键路径,也即,用户的购买路径梳理出来:

    a.用户登录/注册》搜索关键词》查看商品详情》加入购物车》点击下单》确认付款》确认收货

    b.用户搜索关键词》类目和店铺》卖家交流》点击下单》确认付款》确认收货

    通过这种关键路径,我们还常常进行漏斗分析,从而进行流量的转化分析,找出影响到达最终结果的关键环节。

    (3)从KPI拆解角度分析。

    KPI拆解分析方法也是比较常见的互联网分析方法。核心思想是先定一个总体目标,比如今年营收12亿,那么可以把这个指标拆解到各个业务线去,业务线再进行拆分,比如分解为12个月,每个月需要达成营收额,接着,就是达成该营收额,根据流量的转化情况,估算出需要多少的流量,目前平台已有多少流量,需要外拓引流多少流量才能达成目标,这就可以层层的拆解指标,最终或落地到产品团队或部分到运营团队去承担KPI任务。

    第二部分:数据分析常用分析方法

    常用的数据分析方法有:PEST分析方法、5W2H分析法、4P营销分析法、逻辑树分析法、指标拆分法、对比分析法、漏斗分析法、用户行为分析法、用户生命周期分析法、金字塔分析法等等,下面我们逐个的简单说明下

    (1)PEST分析方法

    这个方法主要应用于行业研究中。从政治(Political)、经济(Economic)、社会(Social)、技术(Technical),简称PEST角度对一个行业进行比较分析。下面我们举一个例子:我们小讲开始就谈到数据分析行业前景,那么我们在此利用PEST分析下大数据行业前景如何?

    (2)5W2H分析法

    这个方法主要应用于用户行为研究和专项问题分析,从时间、地点、人物、事情、原因、方式、价格等7个方面对一个问题进行刻画研究。请看如下案例二:

    (3)4P营销理论

    这个方法主要应用于公司整体经营状况分析,是比较经典的营销分析方法。该方法从产品、价格、渠道、促销等四方面对企业经营状况进行全面分析。请看如下案例三:

    (4)逻辑树分析法

    这个方法也称作问题树分析方法,主要应用于针对业务存在的问题进行专题分析,是数据分析方法中非常常见的一种分析方法。请看案例四:

    (5)指标拆分法

    这个方法也是经常适用的方法,特别是为了达成业务目标,我们往往都会先定一个总的目标,然后再初步的拆解指标。下面我们讲讲案例五:

    (6)对比分析法

    对比分析法是非常常用的基础分析方法,虽然方法特别简单,但几乎所有的分析报告中,都会采取对比分析方法。比如去年同期相比、上个月环比、目标和实际达成相比、各个部门和业务线相比、行业内竞品比较、营销效果对比,等等。这里需要注意的是我们不管是横向比较还是纵向比较,比较的双方一定要有可比性,并且在同一个维度、粒度上去比较,要不是毫无意义的。

    (7)漏斗分析法

    漏斗分析方法经常应用于产品的转化分析。举个电商的例子:用户登录网站1千万,浏览商品详情页200万,加入购物车80万,下单支付50万,支付成功40万。每一步都是转化率的问题。针对关键路径进行漏斗分析能够帮助我们快速的定位到问题所在。从而能够及时做出决策。

    (8)用户行为理论

    也称用户的活动周期理论。该分析方法,往往用于对用户的基础研究中。用户行为过程分为认知、熟悉、试用、使用和忠诚5个步骤。

    (9)用户生命周期理论

    该分析方法,也往往用于用户基础研究中,在互联网领域应用广泛。用户的生命周期分为进入期、成长期、成熟期、衰退期、流失期。每一个阶段用户的行为特征是不一样的,其价值是不一样的,需要精细化的运营。不可急功近利。

    (10)金字塔理论

    金字塔这个分析方法正好和漏斗分析方法相反,它是基数大,上层小。最初是英国历史学家、政治学家诺斯科特·帕金森(C.Northcote Parkinson)在《帕金森定律》(Parkinson's Law)一书中,论述在行政管理中,行政机构会像金字塔一样不断增多,行政人员不断膨胀,每个人都很忙,但组织效率越来越低下。这条定律又被称为“金字塔上升”现象。后来,人们将这一理论延伸应用,不再只限于本意。大凡是基数大,上层小,符合金字塔特征的研究分析都可以套用到该理论中。所以,金字塔这幅图也常常见于各分析报告中。比如,分析用户群体特征(马斯洛需求层次模型、用户价值模型等等)

    综上所述种种数据分析方法,如果在一份分析报告中,能够把这些分析方法都灵活反复体现和应用,那么,这个分析报告一定会比较丰满的。

    第三部分:数据分析的流程

    数据分析的流程主要分为六步骤,遵循这种方法,一个完整的数据分析项目就出来了。

    (1)明确分析目的:我们接到一个分析任务,首先要弄清楚我们分析的对象是什么,要达成怎样的目的,不能陷于为了分析而分析。然后,要熟悉行业和业务,透彻的理解分析的目的,构建起分析的角度和体系。

    (2)进行数据准备:我们有哪些数据,通过什么途径可以获取到需要的数据,往往涉及到内部数据和外部数据,内部数据常常是我们的业务库或者基础数据团队建立起来的数据仓库系统,外部数据方面,现在各行各业都有大数据交易源,还有大量的公开市场数据。

    (3)进行数据加工处理:主要通过数据清洗工作,对重复值进行去重处理、对异常值错误值进行修正或剔除、对缺失值进行填充修正或删除。如果软件环境为支持大数据量情况下,还需要对数据进行抽样处理。经过这些预处理后,最重要的就是进行数据的计算统计、合并转换,让数据符合目标分析过程。

    (4)进行数据分析挖掘:绝大部分的分析目标达成都可以刚才介绍的分析方法外加常见统计分析等达到。主要的分析:整体和组成分析、走势趋势分析、均值方差分析、排序TOP分析、同比环比纵横比较分析、频度频率分析、相关关系分析、数量和比例的双坐标分析、逻辑结构分析、金字塔分析、漏斗图分析、矩阵图分析、指标拆解分析、PEST分析、5W2H分析法、4P营销分析等等。还有一部分分析需要到更高级的数据分析方法才能得到结论。

    (5)进行数据结果图表展现:数据分析的目的就是要解决问题的,往往数据分析师不是需求的发起人,那么这就需要数据分析师把分析的数据和结论展现给需求方。最佳的方式就是通过图表,有理有据形象的重点突出且专业的表达出来。根据第(4)步骤的分析,我们可以选取恰当的图标。比如常用的有:折线图、柱形图、条形图、饼图、冒泡图、散点图、矩阵图、雷达图、双坐标图、瀑布图、帕累托图、金字塔图、漏斗图等等。

    正如我之前的一篇文章 《图说可视化,报表也能做得如此酷炫!》,讲到帆软报表制作数据可视化的几个关键点。

    (6)写出分析报告:数据分析最终的结论全部体现在分析报告中,一个分析师水平如何,只要看他写过的一份分析报告就可以完全清楚了。综合灵活应用这么多的分析方法和各种各样的展示图表,分析报告一定会显得非常丰满。下面一个问题我们再详细和大家讨论数据分析报告的相关事情。

  • ?

    巧用工具,快速入门数据分析

    佟旭尧

    展开

    一提到数据分析,很多人可能脑海中可能会浮现出各式各样的数据画面。

    比如下图所示,这样的中国式复杂报表在企业中经常被使用,精密的复杂表格样式中蕴含着国人庞大的数据信息量。

    再比如这样的数据Dashboard可视化,通常应用于展示KPI业务指标,例如销售额、毛利率、利润率等等,数据的可视化呈现形式清晰直观。

    再就是目前火热的不行的可视化大屏,比如下图所示的双11全球天猫狂欢节当日的实时交易统计大屏,除了清晰直观地展示企业核心的KPI指标之外,狂拽炫酷是它至关重要的特征。

    大道至简的数据分析方法

    但无论是以上的哪一种,无论数据如何变换,所有看似神秘的数据分析过程都可以归纳总结为各种“维度+度量”的组合分析。

    维度用于描述事物的属性信息,例如统计各个地区的交易数量时,地区就是维度。

    度量(指标)是可以量化统计的数值,例如统计各个地区的交易数量时,交易数量就是度量。但是需要注意的是并不一定所有的数值都是度量,例如学生的学号虽然是数值类型,但是其实它是维度而非度量。

    如此一来,我们对数据分析有了从整体上的解释。但是实际应用中,我们并非盲目地去进行各种维度和度量的拼凑组合,而是希望得出的数据分析结果能够指引业务进行决策,终而形成业务闭环效果的。

    根据我自身的一些数据分析项目经验,90%以上的基本数据分析问题都可以套用我总结的这七步完成(深入的数据分析需涉及描述性统计分析、相关性分析等专业的统计分析技能):

    数据分析必然需要借助工具,Excel、BI或者R和Python语言都可以帮助实现。

    这里为了帮大家更快速地理解数据清洗建模和数据差异分析环节的内容,借助比较简单的BI工具FineBI,为大家进行一个销售数据分析实例,加深大家对数据建模和数据分析过程的理解。感兴趣的可以到官网下载,个人完全免费。

    一、确定分析目标

    这是分析前的第一步,我们需要明确进行数据分析的对象,也就是需要确定分析目标。

    通常来说我们会选取最关心的核心KPI指标,例如电商行业的销量、销售额、利润,制造行业的次品率,互联网行业的用户留存率等等。

    一般来说,分析目标不要过多,如果实在是需要同时分析多个关键核心业务KPI指标,那么我们便可以将这些核心指标分解给对应业务负责人,例如销售总监负责提升公司销售业绩,运营总监负责降低成本花费。

    二、核心目标拆解

    确定好分析目标之后,通常来说我们需要再对核心目标进行子目标分解,这也符合企业各团队分工协作的特性。

    核心目标拆解的过程中需要遵循MECE原则,也就是“完全穷举,相互独立”。例如下图所示的电子商务数据分析指标体系,就分别从网站运营指标、经营环境指标、销售指标、营销活动指标、客户价值指标几个方面进行了详尽的拆解,然后交由各个团队进行分工达成。

    三、数据清洗和业务建模

    确立和分解好数据分析目标之后,下一步就可以进入到数据清洗和业务建模环节了。

    数据清洗方面,很多人可能会想到国外传统的一些ETL工具,但是这类工具过于庞大和复杂,国内真正成功落地的案例很少。FineBI商业智能工具其实就提供了轻量级的ETL功能可供用户对数据进行计算和处理,鼠标点击和拖拽操作即可完成轻量的ETL数据处理过程。

    业务建模方面,FineBI也是提供了根据不同业务主题分类建立业务包的功能,一般来说按照维度表和事实表建立好关联关系即可,这样一来就为前端的数据差异分析准备好了数据模型。

    四、数据差异分析

    终于到了数据差异分析这一步,这也是离发现问题原因和业务决策最近的一步。

    所谓数据差异分析,自然是需要有差异,才能有分析。

    例如今年某某企业7月份的销售额是600万,那么大家会觉得对于这个企业来说是好还是坏?如果只有这一个数据,自然是无所谓数据差异分析的。

    如果这家企业的6月份的历史销售额是400万,那么7月份600万的销售额自然是非常好的了,可是如果这家企业的6月份历史销售额是800万,7月份600万的销售额明显是有问题的。

    a.纵向对比

    按照这个基础的数据差异分析逻辑,我们借助FineBI来初步分析一下某家企业今年各月度的销售额统计走势图:

    如上图所示,通过纵向对比不难看出该企业在7月份销售额下降严重,环比6月份的企业销售额下降了22.47%,不是个好现象。老板看到这个数据自然会前来问责,说为什么7月份公司销售业绩下滑这么厉害。那么会是什么原因导致企业7月的销售业绩相对6月下滑这么多呢?我们需要更新一步地进行数据分析,以排查出导致产生问题的”真凶“。

    b.横向对比

    一般来说销售型企业都会在全国划分各个销售区域,那么这样一来我们除了对时间进行纵向对比之外,还可以结合销售大区维度进行横向比较,分析探索看看能不能发现一些问题。

    果不其然,如上图所示,通过时间维度结合销售大区进行横向对比发现,企业的东南大区7月份的销售额相对6月份反而是增长的,看来问题主要出在北方区和中西区,特别是北方区7月份的销售业绩下滑更为严重,最终导致企业7月份总的销售额比6月份严重下滑。

    数据分析的丰富度一定程度上依赖于分析工具的功能,比如Excel可能需要写VBA,R和Python需要写代码。

    由于FineBI是一款商业智能工具,故而这边可以轻松通过其提供的OLAP联动分析功能,以更进一步的观察各个区域7月份的表现情况,直接点击饼图区域即可联动到月度销售额统计,非常方便。这边我们可以看出,中西区7月份销售额环比轻微下降17.86%,北方区下降严重到50.07%,而东南区则提高了6.06%,综合三个大区的总体销售状况,导致最终表现为7月份销售额环比下降了22.47%。

    c.综合对比

    上面分析了时间、区域维度相关的销售额结果统计,为了避免结论片面,我们尽量采用多维度的综合对比方式来观察数据,甚至可以是友商的销售情况对比进行差异分析(此处不单独举例说明)。

    如上图所示,我们通过时间维度结合产品类型来进行销售额分析,观察7月份各个产品线的数据发现各个产品线在7月份销售额环比都是有所下降的,这说明企业7月份销售额下降和产品种类本身是没有关系的。

    五、发现问题原因

    综合北方区域和中西区域导致7月份销售额环比下降的各种影响因素,最终发现是由于6、7月份北方区域降雨严重,导致物流周转严重滞后,库存商品无法及时供应,最终导致北方区域7月份销售业绩严重下滑了50.07%。而中西区域本身仓库比较小,按照之前各区域商品物流周转的设计,中西区域的本土供应的差额商品主要是由北方区域供应,但是北方区域由于严重的降雨导致物流周转严重滞后,进而导致中西区域7月份销售业绩也同比下滑了17.86%。

    六、制定业务决策

    通过结合FineBI工具的OLAP多维数据综合分析方法成功定位到问题原因之后,企业及时调整仓库商品物流周转策略,北方区域物流模式调整为水运,同时将东南区域的部分商品通过物流周转到中西区域。

    七、评估决策效果

    企业领导决策层8月份通过及时调整北方区域和中西区域的物流策略,北方区域物流模式调整为水运,东南区域的部分商品通过物流周转到中西区域,补充了北方区域和中西区域的库存商品周转。最终8月份企业的总体销售额达到了943万,环比7月销售额提高到了37.32%。

    后记

    随着信息化的飞速发展,大数据产业呈指数式增长。在我们不断地积累着企业的历史数据的同时,如何利用和分析好这些数据,真正利用大数据分析驱动企业的业务增长也成为了一个很重要的难题。希望本文给大家分享的数据分析方法,结合FineBI商业智能分析工具的OLAP多维分析能力,能够让大家下次在面对企业业务数据分析时不再迷惑,做到步步为营,让数据分析真正释放出潜能,驱动业务快速增长,形成数据和业务之间的闭环

  • ?

    10款丨超好用的开源大数据分析工具

    干尸

    展开

     考虑到现有技术解决方案的复杂性与多样化,企业往往很难找到适合自己的大数据收集与分析工具。然而,混乱的时局之下已经有多种方案脱颖而出,证明其能够帮助大家切实完成大数据分析类工作。下面我们将整理出一份包含十款工具的清单,从而有效压缩选择范畴。

      数据已经成为现代化企业中最为重要的宝贵资源。一切决策、策略或者方法都需要依托于对数据的分析方可实现。随着“大数据分析”逐步替代其上代版本,即“商务智能”,企业正面临着一个更加复杂、且商业情报规模更为庞大的新时代。

      考虑到现有技术解决方案的复杂性与多样化,企业往往很难找到适合自己的大数据收集与分析工具。然而,混乱的时局之下已经有多种方案脱颖而出,证明其能够帮助大家切实完成大数据分析类工作。下面我们将整理出一份包含十款工具的清单,从而有效压缩选择范畴。

      1. OpenRefine

      这是一款高人气数据分析工具,适用于各类与分析相关的任务。这意味着即使大家拥有多川不同数据类型及名称,这款工具亦能够利用其强大的聚类算法完成条目分组。在聚类完成后,分析即可开始。

      2.hadoop

      大数据与Hadoop可谓密不可分。这套软件库兼框架能够利用简单的编程模型将大规模数据集分发于计算机集群当中。其尤为擅长处理大规模数据并使其可用于本地设备当中。作为Hadoop的开发方,Apache亦在不断强化这款工具以提升其实际效果。

      3. Storm

      同样来自Apache的Storm是另一款伟大的实时计算系统,能够极大强化无限数据流的处理效果。其亦可用于执行多种其它与大数据相关的任务,具体包括分布式RPC、持续处理、在线机器学习以及实时分析等等。使用Storm的另一大优势在于,其整合了大量其它技术,从而进一步降低大数据处理的复杂性。

      4. Plotly

      这是一款数据可视化工具,可兼容JavaScript、MATLAB、Python以及R等语言。Plotly甚至能够帮助不具备代码编写技能或者时间的用户完成动态可视化处理。这款工具常由新一代数据科学家使用,因为其属于一款业务开发平台且能够快速完成大规模数据的理解与分析。

      5. Rapidminer

      作为另一款大数据处理必要工具,Rapidminer属于一套开源数据科学平台,且通过可视化编程机制发挥作用。其功能包括对模型进行修改、分析与创建,且能够快速将结果整合至业务流程当中。Rapidminer目前备受瞩目,且已经成为众多知名数据科学家心目中的可靠工具。

      6. Cassandra

      Apache Cassandra 是另一款值得关注的工具,因为其能够有效且高效地对大规模数据加以管理。它属于一套可扩展NoSQL数据库,能够监控多座数据中心内的数据并已经在Netflix及eBay等知名企业当中效力。

      7. Hadoop MapReduce

      这是一套软件框架,允许用户利用其编写出以可靠方式并发处理大规模数据的应用。MapReduce应用主要负责完成两项任务,即映射与规约,并由此提供多种数据处理结果。这款工具最初由谷歌公司开发完成。

      8. Bokeh

      这套可视化框架的主要目标在于提供精致且简洁的图形处理结果,用以强化大规模数据流的交互能力。其专门供Python语言使用。

      9. Wolfram Alpha

      这是一套搜索引擎,旨在帮助用户搜索其需要的计算素材或者其它内容。举例来说,如果大家输入“Facebook”,即可获得与Facebook相关的HTML元素结构、输入解释、Web托管信息、网络统计、子域、Alexa预估以及网页信息等大量内容。

      10. Neo4j

      其官方网站将这款工具称为图形数据库技术的下一场革命。这种说法在一定程度上并不夸张,因为此套数据库使用数据间的关系以操作并强化性能表现。Neo4j目前已经由众多企业用于利用数据关系实现智能应用,从而帮助自身保持市场竞争优势。

    End.

    如果对软件测试感兴趣,想了解更多的软件测试知识,请大家关注“51Testing软件测试网”百家号。

  • ?

    互联网必备的10款数据分析工具

    EC

    展开

    大数据分析,是互联网从业者必须具备的一项基础技能,只有掌握数据分析,做项目才能更科学化、对于项目的预判,能够更准确的把握。今天分享的这些数据分析工具,是我们分析项目经常用的工具,毫无保留的分享给大家,希望大家在操作项目的过程中熟练的使用这些工具。 定能够让你在网赚道路上无往不胜。1、百度指数第一款必备工具。百度指数,我们在查询某一些关键词的时候,首要考虑的就是百度的数据如何,因为百度这个搜索引擎在互联网搜索引擎中占据的份额最大,数据精准度高。检索的很多关键词以及一些热点词的数据对比,都能直观展现出来,通过人群、年龄、性别、兴趣爱好、地域等更为详细的信息,方便我们做出更理智的判断。

    2、微指数我们在查询一些关键词的时候,要分析社交数据。对于产品传播非常重要,通过调查数据,我们知道如何把握住当今热点,让产品蹭热度飞一会,是很多商家考虑的问题。新浪微博旗下产品微指数,可以很容易帮我们把控热点关键词。让我们清楚地看到近七天趋势如何,及时对产品做出调整。

    3、阿里指数我们在操作某宝店铺项目的时候,需要分析更多的数据,来确定标题内容如何定位优化,用户检索更为简单,如何蹭热点关键词飞上那么一会儿,如何引爆流量做核心爆款。这个跟成交量有非常大的关键,哪类行业有哪些关键词在搜索时上升幅度比较快,很有潜力,知道这些信息后,我们都需要提早的布局。等相关的关键词上升到一定幅度时,我们恰好出现在热点上,在用户检索时很容易爆单。这个数据分析工具是中小卖家逆袭的机会。一定要好好研究。

    4、腾讯指数BAT三大巨头,柒点哥介绍两家了,怎么可能缺少 TX 指数,TX 旗下的各类产品琳琅满目,自然对数据掌握的精准程度不是一般企业可以比拟的。算得上行业顶尖了。但是目前为止使用腾讯指数分析的用户实在少之又少,大部分人不知道这个功能,今天柒点哥告诉大家,腾讯确实有指数分析的功能。而且可以从九大品类开始分析数据,可以说是一款很强大的运营工具。

    5、爱站网爱站网:是一个综合性的数据分析平台。我平常都在用这个网站分析一些网站相关的信息,比如,网站收录状况,PR值,域名信息,友情链接等一些数据。但是最长用的一个功能就是长尾关键词发掘。这项功能有助于我们通过主关键词,发掘带流量的附属关键词的状况,类似于百度推广后台的数据分析。非常不错的免费工具,大家以后可以常用。

    6、QQ指数QQ指数是一款基于QQ平台用户数据分析的移动端指数类产品,定位于洞察QQ平台上年轻人最新、最热、最关注的社交内容,通过分析QQ平台上用户公开发表的说说、评论及搜索、浏览等行为数据,发现年轻人的热点趋势及舆论风向,透过QQ指数可以快速掌握年轻人的兴趣喜好和行为习惯等信息。作为T讯旗下最为核心的产品,对于我们互联网人士来讲,把它称为流量的天堂,只要随便找一个平台来操作产品,坚持一段时间都能暴富的。所以研究T讯系的核心产品,离不开QQ指数这个工具,对于我们把控QQ流量热点的趋势有很好的帮助,是非常重要的营销利器。

    QQ指数官方账号:qq搜索框搜索 QQ指数,关注公众号即可查询,主要是带认证图标的那个。7、微信指数微信指数是微信官方提供的基于微信大数据分析的移动端指数。2017年3月23日晚,微信官方推出了“微信指数”功能。作为T讯旗下,第二个核心产品,微信可以说是后来者居上,各种苗头都表明要赶超QQ的趋势,对于我们互联网人士来讲,这是最好的变现渠道。因为很多网赚项目,最后结款的地方都是在微信端成交的。所以我们非常有必要来分析他的数据,基于微信推出了这一功能,让我们省了很多分析微信数据的时间。

    微信指数官方渠道:小程序搜索微信指数8、安卓权重榜我们操作的一些项目,免不了在APP上操作,但是这个平台流量如何,以及人群属性,都很难预估。但是我们又必须了解数据才能够伸缩有度,所以我常用的这款APP数据软件,就能够给我带来客观的数据。

    9、新榜以榜单为切口,新榜向众多500强企业、政府机构提供线上、线下数据产品服务,“号内搜”、“新榜认证”、“分钟级监测”获得广泛应用。在协同内容创业者商业化方面,新榜依托数据挖掘分析能力,建立用户画像和效果监测系统,连接品牌广告主和品牌自媒体。作为公众号的运营者,我特别注重公众号的分析,以及项目渠道的发掘。新榜作为专业的内容数据提供商,我是经常会使用他来分析数据,查看某些公众号潜力,随时观察它的盈利模式以及动向。

    10、梅花网作为互联网人士,写文章投放广告,是我经常要做的事情,但是如何让广告的每一分钱都花到潜在客户身上,是我经常要考虑的。如何知道同行在哪里投放广告,也是我所关心的,梅花网是广告监测比较专业的网站,我经常用来分析广告数据,在这里推荐给大家。

    总结:以上的十个工具呢,就是我经常用到的数据分析工具。我认为这是每一个互联网从业者都具备的基本功,用好数据分析,操作项目更加的事半功倍。但是用的时候不能太死板,可以结合起来相互用。实干派动手做,花架子空叹息,让技术为你工作。赚钱的玩法很多,只有思路够宽,你才能走的更远。没赚到钱,并不是文章干货不够,而是你懂得太少了。 保持空杯心态,永远在进步。

  • ?

    大数据常用软件工具与应用场景

    裴戎

    展开

    如今,大数据日益成为研究行业的重要研究目标。面对其高数据量、多维度与异构化的特点,以及分析方法思路的扩展,传统统计工具已经难以应对。

    工欲善其事,必先利其器。众多新的软件分析工具作为深入大数据洞察研究的重要助力, 也成为数据科学家所必须掌握的知识技能。

    然而,现实情况的复杂性决定了并不存在解决一切问题的终极工具。实际研究过程中,需要根据实际情况灵活选择最合适的工具(甚至多种工具组合使用),才能更好的完成研究探索。

    为此,本文针对研究人员(非技术人员)的实际情况,介绍当前大数据研究涉及的一些主要工具软件(因为相关软件众多,只介绍常用的),并进一步阐述其应用特点和适合的场景,以便于研究人员能有的放矢的学习和使用。

    -基础篇-

    01 传统分析/商业统计

    Excel、SPSS、SAS 这三者对于研究人员而言并不陌生。

    Excel作为电子表格软件,适合简单统计(分组/求和等)需求,由于其方便好用,功能也能满足很多场景需要,所以实际成为研究人员最常用的软件工具。其缺点在于功能单一,且可处理数据规模小(这一点让很多研究人员尤为头疼)。这两年Excel在大数据方面(如地理可视化和网络关系分析)上也作出了一些增强,但应用能力有限。

    SPSS(SPSS Statistics)和SAS作为商业统计软件,提供研究常用的经典统计分析(如回归、方差、因子、多变量分析等)处理。SPSS轻量、易于使用,但功能相对较少,适合常规基本统计分析

    SAS功能丰富而强大(包括绘图能力),且支持编程扩展其分析能力,适合复杂与高要求的统计性分析。

    上述三个软件在面对大数据环境出现了各种不适,具体不再赘述。但这并不代表其没有使用价值。如果使用传统研究方法论分析大数据时,海量原始数据资源经过前期处理(如降维和统计汇总等)得到的中间研究结果,就很适合使用它们进行进一步研究。

    02 数据挖掘

    数据挖掘作为大数据应用的重要领域,在传统统计分析基础上,更强调提供机器学习的方法,关注高维空间下复杂数据关联关系和推演能力。代表是SPSS Modeler(注意不是SPSS Statistics,其前身为Clementine)

    SPSS Modeler的统计功能相对有限, 主要是提供面向商业挖掘的机器学习算法(决策树、神经元网络、分类、聚类和预测等)的实现。同时,其数据预处理和结果辅助分析方面也相当方便,这一点尤其适合商业环境下的快速挖掘。不过就处理能力而言,实际感觉难以应对亿级以上的数据规模。

    另一个商业软件 Matlab也能提供大量数据挖掘的算法,但其特性更关注科学与工程计算领域。而著名的开源数据挖掘软件Weka,功能较少,且数据预处理和结果分析也比较麻烦,更适合学术界或有数据预处理能力的使用者。

    -中级篇-

    01 通用大数据可视化分析

    近两年来出现了许多面向大数据、具备可视化能力的分析工具,在商业研究领域,TableAU无疑是卓越代表。

    TableAU的优势主要在于支持多种大数据源/格式,众多的可视化图表类型,加上拖拽式的使用方式,上手快,非常适合研究员使用,能够涵盖大部分分析研究的场景。不过要注意,其并不能提供经典统计和机器学习算法支持, 因此其可以替代Excel, 但不能代替统计和数据挖掘软件。另外,就实际处理速度而言,感觉面对较大数据(实例超过3000万记录)时,并没有官方介绍的那么迅速。

    02 关系分析

    关系分析是大数据环境下的一个新的分析热点(比如信息传播图、社交关系网等),其本质计算的是点之间的关联关系。相关工具中,适合数据研究人员的是一些可视化的轻量桌面型工具,最常用的是Gephi。

    Gephi是免费软件,擅长解决图网络分析的很多需求,其插件众多,功能强且易用。我们经常看到的各种社交关系/传播谱图, 很多都是基于其力导向图(Force directed graph)功能生成。

    但由于其由java编写,限制了处理性能(感觉处理超过10万节点/边时常陷入假死),如分析百万级节点(如微博热点传播路径)关系时,需先做平滑和剪枝处理。 而要处理更大规模(如亿级以上)的关系网络(如社交网络关系)数据,则需要专门的图关系数据库(如GraphLab/GraphX)来支撑了,其技术要求较高,此处不再介绍。

    03 时空数据分析

    当前很多软件(包括TableAU)都提供了时空数据的可视化分析功能。但就使用感受来看,其大都只适合较小规模(万级)的可视化展示分析,很少支持不同粒度的快速聚合探索。

    如果要分析千万级以上的时空数据,比如新浪微博上亿用户发文的时间与地理分布(从省到街道多级粒度的探索)时,推荐使用 NanoCubes(http://nanocubes/)。该开源软件可在日常的办公电脑上提供对亿级时空数据的快速展示和多级实时钻取探索分析。下图是对芝加哥犯罪时间地点的分析,网站有更多的实时分析的演示例子。

    04 文本/非结构化分析

    基于自然语言处理(NLP)的文本分析,在非结构化内容(如互联网/社交媒体/电商评论)大数据的分析方面(甚至调研开放题结果分析)有重要用途。其应用处理涉及分词、特征抽取、情感分析、多主题模型等众多内容。

    由于实现难度与领域差异,当前市面上只有一些开源函数包或者云API(如BosonNLP)提供一些基础处理功能,尚未看到适合商业研究分析中文文本的集成化工具软件(如果有谁知道烦请通知我)。在这种情况下,各商业公司(如HCR)主要依靠内部技术实力自主研发适合业务所需的分析功能。

    -高级篇-

    前面介绍的各种大数据分析工具,可应对的数据都在亿级以下,也以结构化数据为主。当实际面临以下要求: 亿级以上/半实时性处理/非标准化复杂需求,通常就需要借助编程(甚至借助于Hadoop/Spark等分布式计算框架)来完成相关的分析。 如果能掌握相关的编程语言能力,那研究员的分析能力将如虎添翼。

    当前适合大数据处理的编程语言,包括:前面的内容介绍了面向大数据研究的不同工具软件/语言的特点和适用场景。 这些工具能够极大增强研究员在大数据环境下的分析能力,但更重要的是研究员要发挥自身对业务的深入理解,从数据结果中洞察发现有深度的结果,这才是最有价值的。

    End.

    来源:网络大数据

  • ?

    11种常用的数据分析处理软件

    李小狼

    展开

      BI(BusinessIntelligence)即商业智能,越来越多的智能软件供应商推出可视化数据分析工具,应对企业业务人员的大数据分析需求。然而如果你觉得不是数据分析专业、没有挖掘算法基础就无法使用BI工具?NO,自助式分析工具已经让数据产品链条变得大众化。为了更好地帮助读者选择分析工具,重庆IT培训的老师将为大家介绍数说立方、数据观、BDP等11款BI-商业智能产品,排名不分先后!

      1、数说立方

      数说立方是数说故事新推出的一款面向数据分析师的在线商业智能产品。最重要的特点是配备百亿级社交数据库,同时支持全网公开数据实时抓取,从数据源端解决分析师难点;另外数说立方搭载了分布式搜索、语义分析、数据可视化三大引擎系统的海量计算平台,实现数据处理“探索式分析”和“秒级响应”的两个核心功能。同时数说立方是数说故事三大主打产品之一,并与其他两大产品数说聚合和数说雷达实现从数据源、数据分析、到数据展示完整的数据解决方案。

      优点:

      即便是个人免费版,体验和功能仍然非常好;

      与自家产品“数说聚合”的无缝接入,支持定向抓取微信、微博等数据;

      功能完善,集数据处理、特征工程、建模、文本挖掘为一体的机器学习平台;

      可视化视图展现、友好的客户感知页面;

      支持SAAS,私有化部署,有权限管理;

      缺点:

      产品新上市,操作指导页不太完善;

      体验过程中有一些小bug;

      2、数加平台

      数加是阿里云发布的一站式大数据平台,可以提供数据采集、结构化、加工到展示分析整套的一站式数据服务。 可采集不同系统及物理存储的源头数据,在分布式计算平台上进行数据的深度整合、计算、挖掘,将计算的结果通过可视化的工具进行个性化的数据分析和展现,也可直观的展示分析现有云上业务系统的数据库数据。

      优点:

      有完整的产品规划,功能完善;

      图形展示和客户感知良好;

      提供SQL查询;

      缺点:

      需要捆绑阿里云才能使用,一般用户还不能真正使用起来;

      部分体验功能一般,有一定的学习成本;

      3、Tableau

      Tableau是目前市面上较为成功的BI工具。产品既有针对性,又有普适性。拖放式界面,操作简单。数据兼容性强,适用于多种数据文件与数据库,同时也兼容多平台,windows、mac、Online均可使用。而且重要的一点是免费为用户安排现场培训或按需求进行在线培训。

      优点:

      处于行业领导者地位,功能完善;

      有较好的图形展现与客户感知;

      新产品开始支持云端展现,但是需要客户端支持;

      缺点:

      相比于商业智能BI,更像一个基于数据查询的数据展示工具;

      处理不规范数据、转化复杂模型比较难;

      无法处理大量数据;

      国内网络连接Online版速度较慢;

      4、Qlik

      QlikView只需轻轻单击几下,就可以对所有数据源进行合并、搜索、可视化和分析,可在不影响性能的前提下连接到多个数据源;其次视图种类丰富,界面简洁,互动性强,总体来说是一款简单易用的BI产品。Qlik用户可通过各类可视化效果,将Qlik扩展到任何应用程序中。另外用户也可以通过使用标准的和最新的网络API,可将可视化效果数据嵌入网站或应用程序。

      优点:

      产品功能完善,图形展现和客户感知良好;

      支持SAAS,有权限管理功能;

      缺点:

      有一定的学习成本;

      报表规范性要求很高;

      数据抓取功能都非常弱,需要有非常好的数据仓库作为基础;

      5、Spotfire

      Spotfire服务对象是一线工作人员和日常决策人员,其交互界面形象易懂,无需写脚本语言和编写程序就可以对数据进行添加、分离操作。内置搜索引擎,可以随意查找任意信息。支持R、S+等统计、挖掘功能;有丰富、开源的R模型。标记有自身特色,提供了过滤、钻取等功能,多个标记同时还可以实现图形化的集合运算。

      优点:

      交互界面形象易懂,即使是普通的业务人员也能轻而易举地进行复杂的数据分析;

      不一定要建数据仓库,还可以直接从多个异构数据源提取数据进行分析;

      支持SAAS,有权限管理功能;

      缺点:

      SAAS版只支持30M,由于是国外服务器所以上传很慢;

      不适合中国式的固定报表;

      进军中国市场较晚,国内案例较少;

      工具的适应性范围广,但是难易跨度大;

      6、神策分析

      神策分析的产品有完整的使用文档,每个模块都有详细的使用说明以及示例,降低了用户的学习成本。而且支持私有部署、任意维度的交叉分析,并帮助客户搭建专属的数据仓库。目前提供事件分析、漏斗分析、留存分析、数据管理等功能,未来预计会增加用户分群、用户人群分析、推送和异常维度组合挖掘等,工具需要付费使用。

      优点:

      专注于用户行为数据分析,不追求做大而追求做全;

      有详细的产品使用文档以及案例;

      提供SQL查询;

      缺点:

      更多的是demo示例,不能开箱即用;

      纯dashboard展示,并不能对单独一块数据作自定义分析;

      7、BDP

      BDP个人版使用免费,只需导入数据,设定分析维度,即可实时得到图表分析结果。产品示例和视频教学很细致,交互页面很友好。每次数据更新,对应的图表也会自动更新,可以免去一些重复分析、制作图表的数据工作。另外,分享环节也很贴心,数据仪表盘可以一键导出,也可直接生成链接分享给他人或分享到微信、微博等社交平台。

      优点:

      产品支持移动端;手机同步呈现最新数据

      用户可以免费使用工具,还有免费公开的数据源;

      操作体验流畅,界面友好,功能全,总体来说是一款不错的产品;

      即便是个人免费版,体验和功能仍然非常好;

      数据可以同步更新,免去了重复劳动的工作;

      缺点:

      官网的介绍比较简单;

      8、永洪BI

      永洪BI是一款可在前端进行多维分析和报表展现的BI软件。支持拖拽操作,数据源格式多样,提供不同级别的查询支持,支持跨库跨源连接。另外永洪提供了一款数据存储、数据处理的软件——MPP数据集市,可与BI打通,使得数据查询,钻取和展示的速度大幅度提高。不过其产品用户体验一般,拖拽过于自由,导致仪表盘布局不好控制;主题样式虽多但是给人感觉样式还是很传统。

      优点:

      商业流程完善,给人专业的感觉;

      产品定制化的版本效果不错;

      支持的数据接入较多;

      缺点:

      SAAS版体验很差,有一定的学习成本;

      UI的视觉效果一般,整体可视化效果不够现代化;

      9、数据观

      数据观的功能设计理念是极简、无门槛,所以它最大的特点就是简单。数据观数据来自云端,如:百度 网盘、微盘、salesforce等。数据上传后,马上有推荐图表,引导明确。另外产品的使用没有技术门槛,无需专业IT知识,同时适用于非专业分析师出身的业务人员,可以快速将数据转化成直观的图表,适合一开始接触数据分析工具的非专业数据从业人员。

      优点:

      注册只需填写邮箱,且支持明道账号登陆;

      使用引导明确,支持salesforce、百度云数据导入;

      分析结果支持链接分享,大大降低用户的沟通成本;

      缺点:

      不支持超过20MB的数据上传;

      数据导入后,数据分析体验方面存在bug;

      产品的使用以点击为主,不支持拖拽操作;

      10、FineBI

      FineBI分为数据处理、可视分析和分享公用三大功能模块。支持多种数据源,图表风格清爽美观,可选择任意维度分析。分析页面由控件和组件组成,控件和组件的数量是可以添加至任意多个,但是布局的交互比较僵硬,且使用逻辑有点乱,引导不明确。需要安装本地客户端才能使用。

      优点:

      有较为详细的行业案例与技术方案;

      产品演示和资源中心也较为清晰

      缺点:

      需要使用客户端,增加了使用的不便利性

      只有仪表盘展示,BI报表需要另一款产品;

      无法处理大量的数据;

      11、魔镜

      魔镜支持自动拖拽建模,同时可视化效果库十分酷炫。用户可以邀请团队成员到自己的项目,合作进行探索分析,并且按照需求有效控制访问数据的成员权限。产品模块规划完整,有基础企业版到hadoop等5种选择为,而且可以支持定制化服务。但是可能是云平台版的缘故,使用过程中出现不少BUG,企业版的体验可能会相对好一点。

      优点:

      产品模块的规划比较健全,其中包括数据源导入、数据分析、仪表盘、数据挖掘和数据工厂;

      官网的设计不错,模板选择性大,颜值控可能会喜欢;

      工具使用指导清晰,使用篇和方法篇等比较详细;

      缺点:

      产品存在较多的BUG,UI和功能相对其他产品来说较简陋;

      部分产品模块并不能切实用于数据分析;

      选择一款适用的BI产品,能够大大简化数据分析的繁杂工作,提高分析效率与质量。当然,以上每个工具各有优点,工具地址都给大家了,接下来就是轮到你动手的时候了,找一个自己喜欢的工具,开始吧!

      

  • ?

    MSA数据分析方法和应用案例

    浅浮伤

    展开

    测量系统是用来对被测特性定量测量或定性评价的仪器或量具、标准、操作、方法、夹具、软件、人员、环境和假设的集合; 是用来获得测量结果的整个过程。从这个定义中可以看出, 测量过程实际上是一个制造数据的过程,获得正确的测量数据则是保证产品质量的第一步。如果不能科学地评价测量系统产生的数据的可靠性, 就无法对测量系统的有效性进行控制, 质量管理和控制就失去了最基本的前提。因此,在ISO/TS16949汽车行业质量体系标准中,测量系统分析(简称MSA)被列为该标准的五大工具之一。

    测量系统分析(MSA) 的目的是确定测量数据的可靠性, 它实际上是一个对测量系统的监督检查程序, 在一定程度上可以看作是一个检验产品控制计划满足程度的把关程序。即对已判定为合格的零件进行抽样检查, 经过科学的统计理论分析, 找出因测量系统因素导致不合格的因素, 并加以整改, 逐渐减少产生不合格产品因素的存在,从而达到控制产品质量的最终目的。

    1 基本MSA方法

    测量系统分析,顾名思义针对的是整个测量系统的稳定性和准确性,它的核心是分析

    测量系统的位置变差、宽度变差。在位置变差中包括测量系统的偏倚、稳定性和线性;在宽度变差中包括测量系统的重复性、再现性。测量系统的偏倚、稳定性、线性、重复性和再现性就是人们通常所说的“五性”。因此,MSA 可简单概括为:分析整个测量系统(仪器或量具、标准、操作、方法、夹具、软件、人员、环境和假设的集合)在测量过程中存在哪些风险和误差的过程。MSA采用的数据分析方法有:独立样本法、图表法、极差法、方差分析法等。按照测量系统分析过程前后顺序,相关方法摘记如下。

    1.1 识别数据类型 在进行测量系统分析前首先要识别测量数据的类型,了解了数据的类型才能使用合适的方法进行测量系统分析。一般数据类型有两种:计数型数据和计量型数据。计数型数据是指不能连续取值的,如砂眼数、裂纹处、疵点数等。计量型数据是可以连续取值的,如长度、尺寸、温度等。

    1.2 选定测量系统分析方法 测量系统分析常用的方法有Gage R&R研究、专家再评估、检验一致性和专家循环研究。重点研究Gage R&R。Gage R&R方法主要用于计量型数据,评定标准是用Gage R&R值。一般Gage R&R值在小于10%以下可接受,Gage R&R值在10%-30%之间为灰色区域,也许可接受,Gage R&R值大于30%,测量系统需改进。同时还要看可区分数NDC,当NDC大于等于5时,通常认为测量系统可靠。用Gage R&R值作为评定标准时还要考虑零件的关键特性,对关健特性测量系统分析结果Gage R&R值大于15%时,我们就要考虑对这个测量系统进行改进。

    1.3 测量系统的重复性和再现性分析方法(简称%GR&R%或R&R) 确定研究主要变差形态的对象/量具(如:游标卡尺、电子秤、硬度计、千分尺等)。工序量具、产品和质量特性;选择使用极差法,均值和极差法中的其中一种方法对检验、测量和试验设备进行分析;从代表整个工作范围的过程中随机抽取样品进行;测量系统分析的工作人员在进行检验、测量和试验设备测量系统的重复性和再现性分析时,必须先对被分析的检验、测量和试验设备进行零件评价人平均值和重复性极差分析,同时所分析的零件评价人平均值和重复性极差之结果必须均受控方可进行被检验、测量和试验设备测量系统的重复性和再现性分析工作;否则该检验、测量和试验设备的测量系统不能检查出零件间的变差且不能将其用于过程控制中。

    1.4 平均值和重复性极差分析 1)选择2-3个操作员(至少2人)在全然不知情的状况下利用校准合格的量具对随机抽取的5-10个样品进行盲测,每个操作员对同一样品的同一特性在盲测的情况下重复测量2-3次。 2)操作员或进行%R&R测量系统分析的工作人员将所测量的结果记录于“零件评价人平均值和重复性极差控制图”上。 3)负责组织此项测量系统分析研究的工作人员,依据“零件评价人平均值和重复性极差控制图”上的数据和产品质量特性规格进行计算和分析,并将其分析的结果记录于“零件评价人平均值和重复性极差控制图”上。

    1.5 均值和极差法(X-R) 1)选择2-3个操作员(至少2人)在全然不知情的状况下利用校准合格的量具对随机抽取的5-10个样品进行盲测,每个操作员对同一样品的同一特性重复测量2-3次。 2)操作员或进行%R&R测量系统分析的工作人员将所测量的结果记录于“量具重复性和再现性X-R分析数据表”上。 3)负责组织此项测量系统分析研究的工作人员,依据“量具重复性和再现性X-R分析数据表”上的数据和产品质量特性/规格进行计算,并将其记录于“量具重性和再现性X-R分析报告”上。

    1.6 极差法(R) 1)选取两位评价人和5个产品进行分析,每个评价人对每个产品进行盲测一次,并将测量结果记录于“量具极差法分析表”中(每个操作员应熟悉和了解使用量具的一般操作程序,避免应操作不一致而影响测量系统的可靠性),并评估不同操作员对量具使用的熟练程度; 2)针对重要特性(尤其指有特殊特性符号的)测量所使用量具的精度应是被测量产品公差的1/10(即其最小刻度应能读到1/过程变差或规格公差较小者),以避免量具的分辩力不足,而一般特性测量所使用量具的精度应是被测量产品公差的1/5;   

    3)负责组织此项%R&R测量系统分析研究的工作人员,依据“量具极差法分析表”的数据和产品质量特性/规格进行计算,并将其计算结果记录于“量具极差法分析表”上;必要时,可将其作成X-R控制图。

    4)%R&R接受准则: a)、%R&R<10%,可接受;b)、10%≤%R&R≤30%,依据量具的重要性、成本及维修费用等因素,决定是否可接受或不可接受;c)、%R&R>30%,不能接受,必须进行改进。

    1.7 线性分析法

    在测量系统工作范围内选定5个产品,它们的测量值应覆盖量具工作范围;在计量室或工具间用全尺寸检验设备(精密量具)测量每个产品10次,并计算其平均值,然后将其确定为“基准值”,同时确定它们各自所取得的“基准值”是否覆盖了被检量具的工作范围;让一位经常使用该量具的操作员(评价人)对5个产品以盲测的方式按随机抽取 顺序分别测量每个产品各10次(或更多次),并将其测量值记录于“量具线性分析报告”中,然后计算各产品的测量平均值,此值即为每个产品的“观察平均值”。

    2 MSA与计量的关系

    MSA主要针在现场环境下,由现场控制人员按照《控制计划》要求的频次,对具体的零件使用正确的监视或者测试设备,按照《检验作业指导书》的方法进行有效的检测和监控(即人机料法环等环节),在每个时期,针对不同的目的,采用不同的MSA方法,研究分析每个环节产生的变差(即分离分离各个变差),最后消除或减小变差,使得我们生产的产品满足技术要求。MSA的数学理论基础为《概率与数理统计》。

    计量主要是实现单位统一和量值准确可靠的测量,它以保证测量统一和准确为目的。测量环境有严格的控制要求。测量的变差分析的数学理论基础为《误差分析与数据处理》,也是根据《概率与数理统计》原理基础上建立起来的。本文主要指计量体系和管理,不涉及具体计量内部运作,只谈与测量系统的相互关系。

    MSA关注对产品技术要求测量的综合反应有影响的结果,用来研究和分析整个测量系统以及影响测量的各个因素。计量的含义则是保证量值传递或溯源准确可靠,而将影响量值的其他分量进行控制,如环境、温度等,更关注的是测量方法。可以这样说:综合研究的是MSA,测量系统分析;只研究测量的是计量,所以也称之为“测量分析”。

    3 两个例子

    3.1 案例一

    盛玉在他的文章《MSA实例分析》中,针对一把高度尺应用MSA分析方法的全过程。

    下面通过日常监控分析常用的线性和R&R 的实例。

    1、线性———验证一把高度尺,基本内容见下表。

    1)在现场取一根曲轴,选其上5 个不同尺寸;

    2)选用比高度尺精度高(一般高3 倍以上)的精密三坐标测量出5 个尺寸的基准值;

    3)用高度尺分别测量5 个尺寸,每个尺寸重复测12 次

    4)输入软件,自动得到结果;

    5)接收准则:≤5%接收,≥10%拒收;5%—10%有条件接收;

    6) 结果处理:该例中线性自动计算为3%至5%,按照接收准则线性可接收。

    若大于5%,我们要从人、机、料、法、环、测几个方面去查找根本原因并改进,若已对产品质量造成影响,还需去追溯造成影响的产品,重新检测,直到满足要求。

    2、重复性和再现性,简称R&R

    在实际生产应用中,R&R 通常一起分析。如:验证曲轴OP100 综合检具上法兰轴头直径∮88.8(+0.804/+0.004),具体计算如下表所示。

    1)按照MSA 计划分别在不同时段收集OP100曲轴共10 根;

    2)3 名熟练操作工分别测量10 个工件,每个件重复测3 次;

    3)把3 人3 次共90 个测量数据输入计算软件(表2 中有底色部分),则会自动得到结果;

    4)接收准则:

    a. R&R 低于10%,测量系统可接受;

    b. 介于10%到30%之间,基于应用的重要性,该量具可能会被接受;

    c. 大于30%,测量系统需要改善,识别出原因并纠正它们;

    d. 数据分级数NDC>=5 测量系统可接受。

    5)分析结果

    前文表格中测量结果明显看出该测量系统不可接受,EV=65.7%、R&R=73.1%且NDC=1。我们测量小组一起到现场查找原因,通过排除法最终找到R&R 超差根本原因如下:

    a. %EV=65.7% (计算软件要求%EV<30%),零件安装时有转动,不稳定;

    b. 数据分级数(NDC)=1 (计算软件要求NDC>=5,测量软件显示分辨力不够,稳定生产条件下被测件尺寸稳定,分组少。

    6)解决方案

    针对a. 零件安装时有转动问题,经过现场反复装夹测量,结果差异0.002mm,由于重新加工制作条件不成熟,对这影响量0.002 mm,我们和工艺一起确认采取收紧控制限方法避免;

    针对b. NDC 分级数偏低问题,现场排除一切可能影响因素,分析软件仍显示分辨力不够,最终确认是10 件样件产品尺寸太接近造成,也可以说是我们现在的产品质量很稳定。对于NDC 偏低问题,在做MSA 取样时要充分考虑到尺寸范围,如留下换刀或平时偶发时发现的不合格产品。

    7)重新取样

    找到2 件接近公差限样件,重新测量输入测量软件后计算结果满足要求见下表,表明我们现在的测量系统稳定可靠,不需要去追溯已经测量的产品。

    一般情况下如果重复性比再现性大,原因可能是:

    1)仪器需要维护;

    2)计量检测设备应重新设计来提高刚度;

    3)夹紧和检验点需要改进;

    4)存在过大的零件变异。

    如果再现性比重复性大,原因可能是:

    1)评价人需要更好的培训如何使用计量检测设备和数据读取方式;

    2)计量检测设备刻度盘上的刻度不清楚或校正不良;

    3)需要某种夹具帮助评价人提高使用计量检测设备的一致性。

    3.2 案例二

    作者洪涛在他的论文《MSA在电能表误差检验中的应用研究》中介绍了MSA方发在分析电能表测量误差中的具体应用过程。

    (一) MSA在电能表误差检验中具体应用

    (1) 研究方案

    在测量系统分析中,准确性特性一般可通过检验装置的量值传递或对比来解决,目前电能表制造企业都已采用。本文重点介绍测量系统的R&R分析。本设计方案和具体实施都是依托国内某知名电能表生产企业的计量测试中心的电能表误差检验系统展开的,

    具有一定的代表性。

    (二) 稳定条件的确定

    进行MSA分析前提是系统处于稳定状态。本文的研究涉及的稳定性包括两个方面:一是检验装置的稳定性,二是电能表的稳定性。综合起来就是电能表误差检验系统的稳定性。方案选择了7块电能表和3个检验装置作为研究对象。对于稳定性的研究,用标准试验室的标准装置(误差等级为0.01级,中国科学研究院比对校准)测试所选7块表的0.1Ib点误差:每块表测试5次,每次读取10个数据,共取得35组350个数据,每次测试前预热十分钟。整个试验是在标准试验室进行的,试验的温度都是严格控制在20±3℃以内。

    试验所取得7块表的数据便是其真值,对数据修约后进行分析,做出Xbar- R控制图,如下图所示,进行分析和判定,发现2号表的误差不稳定,有多个均值统计量和极差统计量超出控制限,淘汰2号表用剩下的6块表做剩下的试验和研究。

    采用同样的方法,对三台检验装置进行稳定性测试和判定,结果3台检验装置均符合要求。

    (三) 重复性和再现性试验及研究

    由于现在的电能表误差检验系统已经实现了测试、读数、计算、显示的自动化,人的影响因素已经消除,针对电能表误差检验系统而言,重复性是指在用同一检验装置检测同一批次电能表时,测试结果之间的一致程度。再现性是指用不同检验装置检测同一批次电能表时,测试...

数据分析方法软件

所有视频需要登录后,才能观看

请先登录您的帐号,即可完整播放,如果您尚未注册帐号,请先点击注册。

img

在线咨询

建站在线咨询

img

微信咨询

扫一扫添加
动力姐姐微信

img
img

TOP