常用的数据分析软件

第一部分：数据分析框架

为了分析问题的聚焦，我们具体拿互联网电商来举例子说明，至于其他的比如互联网金融、教育、社交等等，可以依此借鉴。

（1）从互联网实体角度分析。我们可以从以下7个角度构建互联网数据分析体系。

买家：基本特征分析、交易行为分析、流量行为分析、售后满意分析等

卖家：基本特征分析、经营效果分析、流量曝光分析、售后满意分析、产品分析等

产品：基本特征分析、交易行为分析、流量曝光分析、售后满意分析等

行业：基本特征分析、经营分析、曝光分析、售后分析、产品分析、买卖家分析等

设备：移动端分析、PC端分析、访问对象分析、cookie分析、session分析等

日志：访问对象URL分析、cookie分析、session分析等

事件：登录、流量、点击、曝光、下单、交易、支付、物流、评价、纠纷、仲裁等分析

这个实体分析方法，可以称得上是万能的数据分析框架，适用于所有的互联网企业。我曾工作过的阿里巴巴、腾讯、随手记等企业，我个人都是按照这个套路去构建互联网的分析体系。

（2）从用户的关键路径进行分析。

关键路径分析方法是一个行之有效的常用分析方法，也是做数据化运营的常用工具。关键路径分析让我们聚焦于核心环节，排除杂音，定位出业务的核心问题，快速的加以解决。在应用关键路径分析时候，我们往往先把可能的结果、以及最关心的结果梳理出来，以结果为导向追溯行为的根本，当然，也可以从行为的初始出发，梳理出所有可能的行为路径，找出关键行为，导向我们最终设计好的结果中去。下面我们举例子说明下：

在电商网站中，我们假设我们运营目标是让用户购买网站上的商品（在这里，我要插说几句，我们的目标有时候不只是购买，在精细化运营中，往往会根据用户的生命周期，确定关键路径的目标，比如对于一个进入期的新买家，我们通常会发一些购物攻略加以指导，针对流失期的买家，关键路径的结果我们可能导向申领我们的优惠劵之类，等等。关于这一部分数据化精细化运营方面，在大数据应用系列的数据化运营小讲，我们会详细加以分享，敬请关注）。刚才谈到，我们假设我们运营目标是让用户购买网站上的商品，那么我们可以把关键路径，也即，用户的购买路径梳理出来：

a.用户登录/注册》搜索关键词》查看商品详情》加入购物车》点击下单》确认付款》确认收货

b.用户搜索关键词》类目和店铺》卖家交流》点击下单》确认付款》确认收货

通过这种关键路径，我们还常常进行漏斗分析，从而进行流量的转化分析，找出影响到达最终结果的关键环节。

（3）从KPI拆解角度分析。

KPI拆解分析方法也是比较常见的互联网分析方法。核心思想是先定一个总体目标，比如今年营收12亿，那么可以把这个指标拆解到各个业务线去，业务线再进行拆分，比如分解为12个月，每个月需要达成营收额，接着，就是达成该营收额，根据流量的转化情况，估算出需要多少的流量，目前平台已有多少流量，需要外拓引流多少流量才能达成目标，这就可以层层的拆解指标，最终或落地到产品团队或部分到运营团队去承担KPI任务。

第二部分：数据分析常用分析方法

常用的数据分析方法有：PEST分析方法、5W2H分析法、4P营销分析法、逻辑树分析法、指标拆分法、对比分析法、漏斗分析法、用户行为分析法、用户生命周期分析法、金字塔分析法等等，下面我们逐个的简单说明下

（1）PEST分析方法

这个方法主要应用于行业研究中。从政治（Political）、经济（Economic）、社会（Social）、技术（Technical），简称PEST角度对一个行业进行比较分析。下面我们举一个例子：我们小讲开始就谈到数据分析行业前景，那么我们在此利用PEST分析下大数据行业前景如何？

（2）5W2H分析法

这个方法主要应用于用户行为研究和专项问题分析，从时间、地点、人物、事情、原因、方式、价格等7个方面对一个问题进行刻画研究。请看如下案例二：

（3）4P营销理论

这个方法主要应用于公司整体经营状况分析，是比较经典的营销分析方法。该方法从产品、价格、渠道、促销等四方面对企业经营状况进行全面分析。请看如下案例三：

（4）逻辑树分析法

这个方法也称作问题树分析方法，主要应用于针对业务存在的问题进行专题分析，是数据分析方法中非常常见的一种分析方法。请看案例四：

（5）指标拆分法

这个方法也是经常适用的方法，特别是为了达成业务目标，我们往往都会先定一个总的目标，然后再初步的拆解指标。下面我们讲讲案例五：

（6）对比分析法

对比分析法是非常常用的基础分析方法，虽然方法特别简单，但几乎所有的分析报告中，都会采取对比分析方法。比如去年同期相比、上个月环比、目标和实际达成相比、各个部门和业务线相比、行业内竞品比较、营销效果对比，等等。这里需要注意的是我们不管是横向比较还是纵向比较，比较的双方一定要有可比性，并且在同一个维度、粒度上去比较，要不是毫无意义的。

（7）漏斗分析法

漏斗分析方法经常应用于产品的转化分析。举个电商的例子：用户登录网站1千万，浏览商品详情页200万，加入购物车80万，下单支付50万，支付成功40万。每一步都是转化率的问题。针对关键路径进行漏斗分析能够帮助我们快速的定位到问题所在。从而能够及时做出决策。

（8）用户行为理论

也称用户的活动周期理论。该分析方法，往往用于对用户的基础研究中。用户行为过程分为认知、熟悉、试用、使用和忠诚5个步骤。

（9）用户生命周期理论

该分析方法，也往往用于用户基础研究中，在互联网领域应用广泛。用户的生命周期分为进入期、成长期、成熟期、衰退期、流失期。每一个阶段用户的行为特征是不一样的，其价值是不一样的，需要精细化的运营。不可急功近利。

（10）金字塔理论

金字塔这个分析方法正好和漏斗分析方法相反，它是基数大，上层小。最初是英国历史学家、政治学家诺斯科特·帕金森(C.Northcote Parkinson)在《帕金森定律》(Parkinson's Law)一书中，论述在行政管理中，行政机构会像金字塔一样不断增多，行政人员不断膨胀，每个人都很忙，但组织效率越来越低下。这条定律又被称为“金字塔上升”现象。后来，人们将这一理论延伸应用，不再只限于本意。大凡是基数大，上层小，符合金字塔特征的研究分析都可以套用到该理论中。所以，金字塔这幅图也常常见于各分析报告中。比如，分析用户群体特征（马斯洛需求层次模型、用户价值模型等等）

综上所述种种数据分析方法，如果在一份分析报告中，能够把这些分析方法都灵活反复体现和应用，那么，这个分析报告一定会比较丰满的。

第三部分：数据分析的流程

数据分析的流程主要分为六步骤，遵循这种方法，一个完整的数据分析项目就出来了。

（1）明确分析目的：我们接到一个分析任务，首先要弄清楚我们分析的对象是什么，要达成怎样的目的，不能陷于为了分析而分析。然后，要熟悉行业和业务，透彻的理解分析的目的，构建起分析的角度和体系。

（2）进行数据准备：我们有哪些数据，通过什么途径可以获取到需要的数据，往往涉及到内部数据和外部数据，内部数据常常是我们的业务库或者基础数据团队建立起来的数据仓库系统，外部数据方面，现在各行各业都有大数据交易源，还有大量的公开市场数据。

（3）进行数据加工处理：主要通过数据清洗工作，对重复值进行去重处理、对异常值错误值进行修正或剔除、对缺失值进行填充修正或删除。如果软件环境为支持大数据量情况下，还需要对数据进行抽样处理。经过这些预处理后，最重要的就是进行数据的计算统计、合并转换，让数据符合目标分析过程。

（4）进行数据分析挖掘：绝大部分的分析目标达成都可以刚才介绍的分析方法外加常见统计分析等达到。主要的分析：整体和组成分析、走势趋势分析、均值方差分析、排序TOP分析、同比环比纵横比较分析、频度频率分析、相关关系分析、数量和比例的双坐标分析、逻辑结构分析、金字塔分析、漏斗图分析、矩阵图分析、指标拆解分析、PEST分析、5W2H分析法、4P营销分析等等。还有一部分分析需要到更高级的数据分析方法才能得到结论。

（5）进行数据结果图表展现：数据分析的目的就是要解决问题的，往往数据分析师不是需求的发起人，那么这就需要数据分析师把分析的数据和结论展现给需求方。最佳的方式就是通过图表，有理有据形象的重点突出且专业的表达出来。根据第（4）步骤的分析，我们可以选取恰当的图标。比如常用的有：折线图、柱形图、条形图、饼图、冒泡图、散点图、矩阵图、雷达图、双坐标图、瀑布图、帕累托图、金字塔图、漏斗图等等。

正如我之前的一篇文章 《图说可视化，报表也能做得如此酷炫！》，讲到帆软报表制作数据可视化的几个关键点。

（6）写出分析报告：数据分析最终的结论全部体现在分析报告中，一个分析师水平如何，只要看他写过的一份分析报告就可以完全清楚了。综合灵活应用这么多的分析方法和各种各样的展示图表，分析报告一定会显得非常丰满。下面一个问题我们再详细和大家讨论数据分析报告的相关事情。

转载自百家号作者：老男孩python学习

Python是数据处理常用工具，可以处理数量级从几K至几T不等的数据，具有较高的开发效率和可维护性，还具有较强的通用性和跨平台性。Python可用于数据分析，但其单纯依赖Python本身自带的库进行数据分析还是具有一定的局限性的，需要安装第三方扩展库来增强分析和挖掘能力。

Python数据分析需要安装的第三方扩展库有：Numpy、Pandas、SciPy、Matplotlib、Scikit-Learn、Keras、Gensim、Scrapy等，以下是对该第三方扩展库的简要介绍：

1. Numpy

Python没有提供数组功能，Numpy可以提供数组支持以及相应的高效处理函数，是Python数据分析的基础，也是SciPy、Pandas等数据处理和科学计算库最基本的函数功能库，且其数据类型对Python数据分析十分有用。

2. Pandas

Pandas是Python强大、灵活的数据分析和探索工具，包含Series、DataFrame等高级数据结构和工具，安装Pandas可使Python中处理数据非常快速和简单。

3. SciPy

SciPy是一组专门解决科学计算中各种标准问题域的包的集合，包含的功能有最优化、线性代数、积分、插值、拟合、特殊函数、快速傅里叶变换、信号处理和图像处理、常微分方程求解和其他科学与工程中常用的计算等，这些对数据分析和挖掘十分有用。

4. Matplotlib

Matplotlib是强大的数据可视化工具和作图库，是主要用于绘制数据图表的Python库，提供了绘制各类可视化图形的命令字库、简单的接口，可以方便用户轻松掌握图形的格式，绘制各类可视化图形。

5. Scikit-Learn

Scikit-Learn是Python常用的机器学习工具包，提供了完善的机器学习工具箱，支持数据预处理、分类、回归、聚类、预测和模型分析等强大机器学习库，其依赖于Numpy、Scipy和Matplotlib等。

6. Keras

Keras是深度学习库，人工神经网络和深度学习模型，基于Theano之上，依赖于Numpy和Scipy，利用它可以搭建普通的神经网络和各种深度学习模型，如语言处理、图像识别、自编码器、循环神经网络、递归审计网络、卷积神经网络等。

7. Gensim

Gensim是用来做文本主题模型的库，常用于处理语言方面的任务，支持TF-IDF、LSA、LDA和Word2Vec在内的多种主题模型算法，支持流式训练，并提供了诸如相似度计算、信息检索等一些常用任务的API接口。

8. Scrapy

Scrapy是专门为爬虫而生的工具，具有URL读取、HTML解析、存储数据等功能，可以使用Twisted异步网络库来处理网络通讯，架构清晰，且包含了各种中间件接口，可以灵活的完成各种需求。

以上是对Python数据分析常用工具的简单介绍，有兴趣的可以深入学习研究一下相关使用方法！

大数据及移动互联网时代，每一个使用移动终端的人无时无刻不在生产数据，而作为互联网服务提供的产品来说，也在持续不断的积累数据。数据如同人工智能一样，往往能表现出更为客观、理性的一面，数据可以让人更加直观、清晰的认识世界，数据也可以指导人更加理智的做出决策。

而在大数据时代的今天，最有价值的商品则是数据。那么今天小编在这里给大家推荐一些常用于数据分析的必备神器。

1.Tableau

Tableau 帮助人们快速分析、可视化并分享信息。它的程序很容易上手，各公司可以用它将大量数据拖放到数字“画布”上，转眼间就能创建好各种图表。数以万计的用户使用 Tableau Public 在博客与网站中分享数据。

项目地址：https://tableau/

2.ECharts

Echarts可以运用于散点图、折线图、柱状图等这些常用的图表的制作。Echarts的优点在于，文件体积比较小，打包的方式灵活，可以自由选择你需要的图表和组件。而且图表在移动端有良好的自适应效果，还有专为移动端打造的交互体验。

项目地址：http://echarts.baidu/

3.Highcharts

Highcharts的图表类型是很丰富的，线图、柱形图、饼图、散点图、仪表图、雷达图、热力图、混合图等类型的图表都可以制作，也可以制作实时更新的曲线图。

另外，Highcharts是对非商用免费的，对于个人网站，学校网站和非盈利机构，可以不经过授权直接使用 Highcharts 系列软件。Highcharts还有一个好处在于，它完全基于 HTML5 技术，不需要安装任何插件，也不需要配置 PHP、Java 等运行环境，只需要两个 JS 文件即可使用。

项目地址：https://hcharts/

4.魔镜

魔镜是中国最流行的大数据可视化分析挖掘平台，帮助企业处理海量数据价值，让人人都能做数据分析。

魔镜基础企业版适用于中小企业内部使用，基础功能免费，可代替报表工具和传统BI，使用更简单化，可视化效果更绚丽易读。

项目地址：http://moojnn/

5.图表秀

图表秀的操作简单易懂， 而且站内包含多种图表，涉及各行各业的报表数据都可以用图表秀实现， 支持自由编辑和Excel、csv等表格一键导入，同时可以实现多个图表之间联动， 使数据在我们的软件辅助下变的更加生动直观，是目前国内先进的图表制作工具。

项目地址：http://tubiaoxiu/

分享 IT 技术和行业经验，请关注-技术学派。

大数据及移动互联网时代，每一个使用移动终端的人无时无刻不在生产数据，而作为互联网服务提供的产品来说，也在持续不断的积累数据。数据如同人工智能一样，往往能表现出更为客观、理性的一面，数据可以让人更加直观、清晰的认识世界，数据也可以指导人更加理智的做出决策。

而在大数据时代的今天，最有价值的商品则是数据。那么今天小编在这里给大家推荐一些常用于数据分析的必备神器。

1.Tableau

Tableau 帮助人们快速分析、可视化并分享信息。它的程序很容易上手，各公司可以用它将大量数据拖放到数字“画布”上，转眼间就能创建好各种图表。数以万计的用户使用 Tableau Public 在博客与网站中分享数据。

项目地址：https://tableau/

2.ECharts

Echarts可以运用于散点图、折线图、柱状图等这些常用的图表的制作。Echarts的优点在于，文件体积比较小，打包的方式灵活，可以自由选择你需要的图表和组件。而且图表在移动端有良好的自适应效果，还有专为移动端打造的交互体验。

项目地址：http://echarts.baidu/

3.Highcharts

Highcharts的图表类型是很丰富的，线图、柱形图、饼图、散点图、仪表图、雷达图、热力图、混合图等类型的图表都可以制作，也可以制作实时更新的曲线图。

另外，Highcharts是对非商用免费的，对于个人网站，学校网站和非盈利机构，可以不经过授权直接使用 Highcharts 系列软件。Highcharts还有一个好处在于，它完全基于 HTML5 技术，不需要安装任何插件，也不需要配置 PHP、Java 等运行环境，只需要两个 JS 文件即可使用。

项目地址：https://hcharts/

4.魔镜

魔镜是中国最流行的大数据可视化分析挖掘平台，帮助企业处理海量数据价值，让人人都能做数据分析。

魔镜基础企业版适用于中小企业内部使用，基础功能免费，可代替报表工具和传统BI，使用更简单化，可视化效果更绚丽易读。

项目地址：http://moojnn/

5.图表秀

图表秀的操作简单易懂， 而且站内包含多种图表，涉及各行各业的报表数据都可以用图表秀实现， 支持自由编辑和Excel、csv等表格一键导入，同时可以实现多个图表之间联动， 使数据在我们的软件辅助下变的更加生动直观，是目前国内先进的图表制作工具。

项目地址：http://tubiaoxiu/

分享 IT 技术和行业经验，请关注-技术学派。