大数据时代的来临，首先来自于电商的冲击，传统实体门店依靠传统的CRM、进销存、支付系统等来获取数据，这些数据主要为商品的销售数据以及传统会员静态数据，在“大数据”环境下，这些传统数据尤为滞后，商家无法获取精准用户，无法使消费者对商家产生粘性，无法根据用户喜好推送产品及广告；

　　基于3D客流统计系统，融入自主开发的华天成人脸识别技术；依托商家和企业主的运营模式，在现有广告发布模式的基础上，增加大数据统计、分析等用户画像的广告投放模式。为线下商家提供精准的人流、消费数据以及会员管理，进一步定点精准广告投放，提升商家品牌和用户消费转化率。

　　1、精准客流统计

　　实时客流统计，当用户经过广告机时，摄像头自动检测人体，系统自动统计客流人数；统计每日每时的实时客流信息；

　　2、客流人群分析

　　通过华天成人脸识别技术，当用户在广告机前端停留1——2秒后，摄像头会抓拍人脸画像并可以精确统计任意时段内进店驻留人群的性别和年龄，男女属性的精确度达到99%以上，年龄精准率90%以上。商家通过对进店人群的男女比例、年龄属性，可以迅速调整产品结构以及及时改变营销策略从而提升客单价。

　　3、用户画像

　　后台大数据精准客流统计，分析不同人群驻留店面时长、区域统计客流强度，产品关注度、不同人群关注的产品热度。通过大数据分析比对，有利于商家部署最佳的运营模式。

　　4、粉丝圈层

　　依托已录入商家会员系统的客户，华天成人脸识别技术能精准识别VIP客户以及回头客，前端语音提示该会员进入商城并推送客户历史购买记录信息至服务员，根据用户喜好推送最新产品。将回头客转化为VIP客户，VIP转化成商家忠实粉丝；商家根据数据针对不同客户群进行分类，借助微信端推送广告内容以及产品介绍，形成粉丝圈层。

　　5、广告精准投放，人性化链接消费者

　　消费者驻留观看广告1-2秒，通过华天成脸识别，根据进店消费者的性别属性、年龄结构推送定点的广告内容；产品精准推送到消费者眼前，从而提升销售转化率。

　　随着互联网+以及AI的技术不断发展，传统的广告营销模式也悄然改变，华天成客流统计人脸识别系统在这个大环境下将扮演着连接商家与用户的重要角色，帮助商家建立基于大数据营销有利的基础，进行商家信息有效促达和用户信息的实时反馈。

【编者按】

发展新经济面临的突出问题是什么？中国企业是如何通过商业模式创新加以应对的？如何在理论上思考新经济中的新问题？11月24日，黄阳华博士在人大国发院政企关系与产业发展研究中心主办的“直面真是世界”系列讲座中对上述问题给予了回答。下面请看他对阿里巴巴、百度无人车和沈阳鼓风机案例的分析。以下是黄阳华的演讲摘录：

黄阳华 图片来自：中国社会科学院工业经济研究所

我今天的讲座主要讲三个问题，第一个是新经济发展面临的突出问题是什么？第二个是中国的企业如何通过商业模式创新加以应对的？特别是新兴的领域。第三个是我们作为一个研究者，在理论上怎么样思考这个问题。

去年的两会期间，总理在接受记者在线访问的时候，关于新经济的问题，他有比较全面的一个表述，这也是一个比较官方比较正式的关于新经济的说明。说涉及的面比较大，涉及到第一产业、第二产业、第三产业，都有新经济，包括新经济、新业态，新商业模式。我们比较关心的还是工业或者商业领域里新经济的问题。我们对总理的话划重点，这里面主要提到的是互联网、物联网、云计算、电子商务等新兴产业和新业态。其次是智能制造、大规模的定制化生产等。

从现实世界来看，新技术、新产业、新模式已经有关注了。但学术上对这个的研究相对比较滞后。中国的政策一直是有政府来扶持产业发展的传统，我们中国怎么能甄别在新经济中中国的优势在哪里，这是政府非常关心的问题？第二政府应该提供什么样的产品或者服务，来促进新经济的发展，这是中国过去的产业政策在新经济领域自然延伸。对于基本的经济学的问题的探讨，包括政治上的需求的探讨，我想结合三个案例，来对这个问题做些思考。

阿里巴巴案例

第一个案例就是阿里巴巴的案例，用大家比较熟悉的案例，认识一下数据要素有什么样的属性和特点。我们对阿里巴巴进行了两次调研，第一次是和印度学者、日本学者，2015年对阿里巴巴进行了一次调研，最近一次是8月份，因为阿里上市了以后整个未来的发展战略发生了调整，我们也做了一些跟进。在介绍阿里之前，我对中国电子商务市场做个简要说明。

中国电子商务非常重要的一年就是1995年，当时中国成立了两个非常具有代表性的公司，一个是B2C，一个是C2C公司。B2C就是企业在网上买东西，C2C就是个人在网上买东西，这是最简单的一个界定。1995年成立了两家公司，一家就是马云，马云在外经贸干了一段时间以后，十几个人创办了阿里巴巴，现已成为商业神话了。另外中国在1999年成立了一个叫E趣的公司，是做C2C的，相当于现在的淘宝，它也是学当时国外的C2C的模式，在中国市场份额很快创造了市场第一，因为当时没有太多的人做这个行业。E趣的成功引起了国际巨头eBay的关注，eBay当时2003年做C2C，把E趣给收购了。2003年的时候eBay把它拿下来以后市场份额是85%，这一年马云也作了一个非常重要的决定，创立了淘宝，他们也认识到了B2B的市场很大，但是C2C的市场也很大，这两年出现了这两个的竞争。

当时作为网上的交易或者电子商务面临最典型的契约或者信息的问题是什么呢？我们一定要回到2003年的场景。因为大家刚开始接触电子商务，在网上买东西，所以有很多的习惯还没养成，很多的问题没有解决。比如说以前在商店买的时候可以看、可以试、可以摸，可以更多地和店家进行交流，但是在网上看到的只是图片，甚至2003年网上的图片都不像现在这么高清，只是文字介绍。现在这些问题已经解决了。

这些信息不对称就成了我们经济学里面常见的问题，就是买家和卖家不对称的问题，同时买家也会遇到的问题，我这个东西拿来了以后，你满意吗，这个我不知道。第二个你拿了我的东西你会如期付款吗，这个我当时也不知道，就会形成另外一个问题。就是你买了这个东西之后会出现道德风险的问题，这个东西你拿了以后明明用着挺好的，但是你在网上说不好要退货，这对买家来说是非常大的优势，但是对卖家是非常大的不确定性。更大的问题在这里，就是买卖双方都可能出现一些事先没有考虑到的问题或者购买事件，比如说这个商品我是卖家，我卖的时候这个商品很好，包装也很好，但是买家拿到东西之后坏了，我就搞不清楚是包装的问题，还是货本身的问题，或是物流的问题，当时没有一个很好的解决0机制，这就是契约不完全的问题。

这种高昂的交易成本对行业发展形成巨大的阻力，这个问题解决不了，电子商务就很难解决。

在欧美市场和中国市场遇到这样的问题，会有一些制度上的设计，比如说欧美有一个非常完善的征信体系。但是我们想想2003年的时候中国的信用体系远远没有成熟，即使现在中国的整个征信体系还在建设过程中。

因为中国没有比较完善的征信体系，也没有很好的信用卡支付习惯，中国发展电子商务的时候遇到信息不对称的问题比欧美更麻烦一点。中国信用体系不完善的市场，谁能更好地在你的平台上建立起来信用关系，谁就会更有效地吸引用户，你在市场上就更有竞争力，理论上叫制度化优先。电商从全球来看都有一个共同的趋势，就是通过第三方认证界定可信任的交易行为，第三方能确认的话能促成投资。看这两个企业是怎么做的，eBay收购了PayPal成为第三方的认证和交易工具。淘宝很快创立了支付宝，他们也需要这样的一个体系。这两个虽然都有这样的要件，但是他们之间产生了非常大的差异。

现在PayPal还是在美国使用。我们从三个方面来看它是怎么解决这些问题的。第一个是用户身份认证，E趣不断升级，一开始是邮件，后来也是比较多地用电话，再后来就是要实名认证，不断增加用户信息，来填用户真实的信息和真实的身份。第二个是用第三方的托管和支付，就买家买了之后通过PayPal这个系统，不是给银行打钱，而是通过这样的一个系统来做一个转帐，可以做一些追诉。第三个就是盈利模式上，这是非常大的差别，eBay从网上赚钱的模式是什么，比如说在网上花100块钱买一个东西，eBay要收10%的佣金，你在上面消费我要收钱，所以他一定会严格禁止这些人绕开他的平台私下交易，而且通过很多的方式来打击线下交易，比如说网上卖一个东西，同时发布了他的联系方式，发现有线下交易的倾向的话，会给很多的处罚。这是跟房地产中介的模式是一样，这是非常常见的模式。

它里面会存在一些问题，第一，实名认证很多人会用假的身份证，中国这种现象非常的严重，那个时候中国人不愿意在网上公布自己的信息。第二，只是通过PayPal做一个转帐，没有托管作用，没有真正起到第三方认证或者保障的作用。第三，限制了很多的信息，所以它限制了信息发布以后，可能带来的潜在交易，所以它的规模一直相对比较小。

我们再看看马云是怎么解决这个问题的，也是三个方面。第一个用户的身份认证，2005年如果有人用淘宝会有种记忆，当时网银不发达，挺麻烦的。第二个除了个人的身份信息以外，还有评分机制，这个宝贝用得好不好，你是可以打分的，eBay没有，这就有效地降低了一个信息咨询的问题，是非常大的进步。另外一个是支付宝是独立的实体来提供托管服务，全额赔付，你在网上买的东西不满意，只要店家跟支付宝签协议，支付宝先不管产品质量，先给钱，再调查店家的商品，所以网上有欺诈的行为也有一些非常严格的处罚方式。另外就是开放，支付宝不光是锁定淘宝的交易，我们可以看到2005年以后，你可以在支付宝上交水电费了，可以在网上充手机费了，这是非常大的开放。第三免费，你在网上交易，买家和卖家的交易不从中收钱，它鼓励大家发更多的私人信息，可以不停地把商品群体做大。你开店铺免费，但是如果你要有一些增值服务是要钱的，推广要钱，这是他的主要商业模式。因为这个平台做得非常好，越来越多的企业在这上面卖东西，就搞一个B2C变成了天猫，这是它的商业模式创新。

大量的用户进来以后会形成一个更大的数据群，就完成了数据要素的生成。我们对比美国的eBay，它当时完全没有意识到这一点，这是它第一步的变化。

它利用这个数据完全了数据的生成，就利用这个数据来建立一个低成本制度化的东西，它后来已经发展到我可以根据你的购买习惯，你的支付习惯，你的物流信息来看你这个人的信用程度怎么样，比如说你收货的地址，你半年或者一年没有变过，说明这个地方有可能是你的家，有可能增进你的信用。如果你能经常按时去交水电费、煤气费、电话费，这也说明你是一个信用良好的人，也会给你信用加分。还有你在网上买东西卖东西，评价，打分，点几朵花，差评也会，所有的数据都会加工成非常廉价的信用体系。这个在中国是非常有杀伤力的，因为中国的整个个人征信体系建立比较慢的，主要是银行，那个成本是非常高的。

通过这样的业务上的创新，我们可以发现阿里巴巴已经完全甩开了eBay，eBay现在还在网上零零散散卖一些东西，但淘宝已经发展衍生出了一大堆新的产品，这个让美国人看得目瞪口呆了。阿里非常强调的这样一个体系，当然它会有宣传的考虑，比如说我带动了很多的产业，很多的小微企业，很多的个人在我平台上面找到了工作，我是非常包容性的商业体系，我可以让农村也用淘宝，这是阿里的故事。

我们可以用另外一种方式来讲这个故事，就是阿里巴巴数据的治理模式，这个也是有决策上的考虑。阿里用它这个平台积累了消费数据、支付数据、物流数据、评价数据、金融数据，这些数据现在又被它统计到了后面更大的数据中心，我们在做调研的时候也问了他这个问题，我们可能从不同的领域不同的服务接触到阿里的产品，支付宝、淘宝、天猫等等，但是我们所有的数据进入各个平台以后像一个漏斗一样，会进入一个很大的数据中心里面去，这些数据会变成阿里专有的，阿里利用这个数据会开发出很多新的产品，包括我们个人的数据、企业的数据都变成了阿里巴巴的私人物品，从经济学的角度来看是非常强的私人物品。因为它有这样的数据中心，阿里以前没有考虑说我要建立一个数据中心，或者一个技术公司，因为他业务发展到这样的水平，现在又提出了云计算战略。阿里现在三大战略，电商化，在全世界范围要用淘宝的模式做更大的电商平台。第二个是农村的战略，农村淘宝计划，要把整个阿里的这一套电子商务系统，包括它的物流网络向广大农村推广。第三个是云计算，这个也是面向未来的，最重要的原因它掌握了大量的数据，他需要大量的云计算服务来为它的平台支撑。比如说双11，1秒钟多少笔交易，多少笔订单，多少的支付，全靠它后台的云支持，所以它利用了云计算瞬间能把空闲的资源全集中到双11这一天，同时用户的体验非常好，前几年双11卡得不行了，现在这个问题已经解决了。

阿里云现在能跟亚马逊、IBM媲美，但是它主要还是做电商零售的支付相关。经济学有一些非常经典的研究关于资源和基础设施的。经典的就是水资源和灌溉系统，我们很多人用水，但水不是平白无故就到我家里来的，需要很多人共同建立一个灌溉系统。有了灌溉系统我希望有水到我家，到我田里来，但是我又不想投资，不想挖这个水渠，我又不想花那么多的钱。

在旧的经济下，灌溉系统跟水是互补的关系，就是我要用水就用灌溉系统，但是在新经济下，数据和平台之间存在非常强的协同效应，我数据越多平台越强大，平台越强大我能产生更多的数据，是不断协同的过程。我们通过这样的一个对比，可以看到旧经济的资源和基础设施关系，和新经济下有非常大的不同。我们的资源不一样，平台也不一样，资源跟平台产生了新变化。

百度无人车案例

我做一个简单的背景介绍，这是非常典型的无人车的情况，它车上面有大量的传感设施，有雷达、有激光、测距，能感知车的情况，路的情况，驾驶者的情况，所有的信息都会集中到后面有一个像电脑主机一样，实时生成的数据，再通过一个网络跟远程的服务平台一个沟通，这个云平台能实时地优化车的路线、车的驾驶。

我们从技术上讲，数据是实现无人驾驶的核心要素，单独看一台汽车通过生成数据，数据的实时交流，就是无人车了。它跟阿里巴巴有什么不一样，阿里是先有平台，在平台上生成数据，而无人车没有数据，一个车就是一个数据，不能是一个平台。第二个阿里平台与数据是一体化的，平台和数据之间是高度匹配的，但是现在的各个车厂不一样，车也不一样，利用的OS系统也不一样，所以无人车的数据平台一体化非常低，几乎是一个企业一个方案。第三个是阿里的数据不依赖于硬件的终端，我们网上买东西不需要绑定一个什么终端上，用这个电脑也可以，用那个也可以，用手机也可以。但是无人车不一样，必须在车上加一个软件，�...

一、携程实时用户数据采集系统设计实践

随着移动互联网的兴起，特别是近年来，智能手机、pad等移动设备凭借便捷、高效的特点风靡全球，同时各类APP的快速发展进一步降低了移动互联网的接入门槛，越来越多的网民开始从传统PC转移至移动终端上。但传统的基于PC网站和访问日志的用户数据采集系统已经无法满足实时分析用户行为、实时统计流量属性和基于位置服务（LBS）等方面的需求。

我们针对传统用户数据采集系统在实时性、吞吐量、终端覆盖率等方面的不足，分析了在移动互联网流量剧增的背景下，用户数据采集系统的需求，研究在多种访问终端和多种网络类型的场景下，用户数据实时、高效采集的方法，并在此基础上设计和实现实时、有序和健壮的用户数据采集系统。此系统基于Java NIO网络通信框架（Netty）和分布式消息队列（Kafka）存储框架实现，其具有实时性、高吞吐、通用性好等优点。

1、技术选型和设计方案：

一个典型的数据采集分析统计平台，对数据的处理，主要由如下五个步骤组成：

图1、数据平台处理流程

其中，数据采集步骤是最核心的问题，数据采集是否丰富、准确和实时，都直接影响整个数据分析平台的应用的效果。本论文关注的步骤主要在数据采集、数据传输和数据建模存储这三部分。

为满足数据采集服务实时、高效性、高吞吐量和安全性等方面的要求，同时能借鉴互联网大数据行业一些优秀开源的解决方案，所以整个系统都将基于Java技术栈进行设计和实现。整个数据采集分析平台系统架构如下图所示：

图2（数据采集分析平台系统架构）

其中整个平台系统主要包括以上五部分：客户端数据采集SDK以Http(s)/Tcp/Udp协议根据不同的网络环境按一定策略将数据发送到Mechanic(UBT-Collector)服务器。服务器对采集的数据进行一系列处理之后将数据异步写入Hermes(Kafka)分布式消息队列系统。为了关联业务服务端用户业务操作埋点、日志，业务服务器需要获取由客户端SDK统一生成的用户标识（C-GUID），然后业务服务器将用户业务操作埋点、日志信息以异步方式写入Hermes(Kafka)队列。最后数据消费分析平台，都从Hermes(Kafka)中消费采集数据，进行数据实时或者离线分析。其中Mechanic(UBT-Collector)系统还包括对采集数据和自身系统的监控，这些监控信息先写入Hbase集群，然后通过Dashboard界面进行实时监控。

（1）基于NIO的Netty网络框架方案

要满足前面提到的高吞吐、高并发和多协议支持等方面的要求。我们调研了几种开源异步IO网络服务组件（如Netty、MINI、xSocket），用它们和NginxWeb服务器进行了性能对比，决定采用Netty作为采集服务网络组件。下面对它进行一些概要介绍：Netty是一个高性能、异步事件驱动的NIO框架，它提供了对TCP、UDP和文件传输的支持，Netty的所有IO操作都是异步非阻塞的，通过Future-Listener机制，用户可以方便的主动获取或者通过通知机制获得IO操作结果。

图3（Netty框架内部组件逻辑结构）

Netty的优点有：

a、功能丰富，内置了多种数据编解码功能、支持多种网络协议。

b、高性能，通过与其它主流NIO网络框架对比，它的综合性能最佳。

c、可扩展性好，可通过它提供的ChannelHandler组件对网络通信方面进行灵活扩展。

d、易用性，API使用简单。

e、经过了许多商业应用的考验，在互联网、网络游戏、大数据、电信软件等众多行业得到成功商用。

Netty采用了典型的三层网络架构进行设计，逻辑架构图如下：

图4（Netty三层网络逻辑架构）

第一层：Reactor通信调度层。该层的主要职责就是监听网络的连接和读写操作，负责将网络层的数据读取到内存缓冲区中，然后触发各种网络事件，例如连接创建、连接激活、读事件、写事件等，将这些事件触发到Pipeline中，再由Pipeline充当的职责链来进行后续的处理。

第二层：职责链Pipeline层。负责事件在职责链中有序的向前（后）传播，同时负责动态的编排职责链。Pipeline可以选择监听和处理自己关心的事件。

第三层：业务逻辑处理层，一般可分为两类：a. 纯粹的业务逻辑处理，例如日志、订单处理。b. 应用层协议管理，例如HTTP(S)协议、FTP协议等。

我们都知道影响网络服务通信性能的主要因素有：网络I/O模型、线程（进程）调度模型和数据序列化方式。

在网络I/O模型方面，Netty采用基于非阻塞I/O的实现，底层依赖的是JDKNIO框架的Selector。

在线程调度模型方面，Netty采用Reactor线程模型。常用的Reactor线程模型有三种，分别是：

a、Reactor单线程模型：Reactor单线程模型，指的是所有的I/O操作都在同一个NIO线程上面完成。对于一些小容量应用场景，可以使用单线程模型。

b、Reactor多线程模型：Rector多线程模型与单线程模型最大的区别就是有一组NIO线程处理I/O操作。主要用于高并发、大业务量场景。

c、主从Reactor多线程模型：主从Reactor线程模型的特点是服务端用于接收客户端连接的不再是一个单独的NIO线程，而是一个独立的NIO线程池。利用主从NIO线程模型，可以解决一个服务端监听线程无法有效处理所有客户端连接的性能不足问题。Netty线程模型并非固定不变的，它可以支持三种Reactor线程模型。

在数据序列化方面，影响序列化性能的主要因素有：

a、序列化后的码流大小（网络带宽占用）。

b、序列化和反序列化操作的性能（CPU资源占用）。

c、并发调用时的性能表现：稳定性、线性增长等。

Netty默认提供了对GoogleProtobuf二进制序列化框架的支持，但通过扩展Netty的编解码接口，可以实现其它的高性能序列化框架，例如Avro、Thrift的压缩二进制编解码框架。

通过对Netty网络框架的分析研究以及对比测试（见后面的可行性分析测试报告）可判断，基于Netty的数据采集方案能解决高数据吞吐量和数据实时收集的难点。

》》点击阅读全文

　　我们平时看到的报表复杂而多样，能够通过多种纬度的数据评估用户的使用习惯和对应功能的价值。

　　然而这些报表是如何产生的呢?今天咱们就看看上报数据一步一步变成报表的大致流程。

　　所有上报的数据都是为了记录一次事件的发生或者描述一个状态，具体的上报数据可以设计为 KEY-VALUE的形式或者数据组合的形式。KEY-VALUE的形式主要用来统计简单的计数类上报，如按钮点击的次数，某个选项的值等，KEY用来区分不同的事件，VALUE代表事件发生的次数、状态值等;数据组合的主要用来描述一个事件或者状态需要多种属性描述的场景，比如下载成功事件，描述这个事件的数据组合可能包括对应的下载地址、下载渠道来源、下载耗时等信息。

　　当上报数据设计好后，后续的工作才能正常开展。下面一步一步说。

　　1、 埋点

　　所谓「埋点」，就是在正常的功能逻辑中添加统计逻辑。拿统计微信右上角「+」的点击次数为例，上报的数据可以采用KEY-VALUE形式，我们定义KEY为「CLICK_ADD_BTN」，VALUE的值为点击的次数。当用户点击「+」时，展示菜单的代码会通过按钮的「回调」(详见《聊聊同步、异 步 和 回 调 》 ) 来触 发 执 行 ， 程 序 猿 在 业 务 代 码 执 行 完 后 ， 又 加 上 了 统 计 代 码 ， 把「CLICK_ADD_BTN」对应的VALUE加1，「+」被统计到了一次使用。

　　2、 上报

　　并不是每统计到一次事件或者状态就会发起数据上报，客户端统计到的数据会先暂时存储在内存或者磁盘上，当用户启动、退出应用程序的时候，或者在其他更合适的时机，将当前周期统计到的事件批量上报到服务器，这样做的目的主要是考虑到与服务器多次建立连接的性能损耗(详见《不得不知的TCP和UDP》)和流量问题(相同大小的数据分多次发送比一次发送要消耗更多流量)，另外客户端在上报具体的统计事件之外，还会将标识用户的ID一并上报，后续用于计算用户相关的数据如日使用用户和留存率等。

　　3、 后台记录日志

　　数据上报到服务器后，服务器会将客户端上报的原始数据存储到服务器的磁盘中。一般来说，非强实时性的数据上报到服务器后，并不会立即参与计算，获得最终的统计结果，比如一个功能的日使用次数，日用户数，日留存等数据，而是等到服务器负载较低的时间段利用预先配置的计划任务进行离线处理。这样处理的目的是为了节约服务器资源(钱)，因为大家肯定不想因为计算统计数据而影响实时业务的处理效率。

　　4、 计算&入库

　　报表中展示的数据，并不是客户端上报的原始数据，比如「+」的使用次数、使用用户数、日留存率这三组数据，都是通过对客户端上报的「CLICK_ADD_BTN」对应VALUE值的累加并结合上报用户ID二次计算得出的。

　　如果我们的产品达到微信这种日登陆数五六亿，那么每天上报的统计数据将是海量的，为了从这种海量的数据中计算出「+」的使用次数、使用用户数等信息，就需要用到「数据仓库工具」，比如当下流行的Hive处理工具，它基于Hadoop分布式系统基础框架，利用计算机集群的能力进行分布式计算。当「数据仓库工具」计算出最终的结果后，计划任务会将结果(「+」的日使用次数、日使用用户数等数据)保存到数据库中，也就是「入库」过程。「入库」后的数据才能与前端对接，组成报表展示系统。

　　一般情况下，原始数据经过数据仓库工具处理后，对应的日志文件还会在服务器上保留一段时间(一般3~7天)，以便追溯统计问题，所以，如果发现统计数据有问题问题，一定要及时反馈给负责的程序猿，否则就会「死」无对证咯。

　　5、 展示

　　当数据「入库」后，报表的展示就水到渠成了。报表系统通过前端页面用户的输入获取查询条件，然后通过后台数据库查询获得结果，在前端展示出来。

　　这里只是简述了埋点数据上报、统计的大致流程，每个过程中还有很多细节要解决，如后台日志乱码问题、客户端异常导致数据丢失等。一旦数据出现问题，经常需要联系各方人员定位原因。在此呼吁广大的产品大虾一定要关心、爱护为你做统计需求的程序猿，他们上辈子都是偷了蟠桃的孙悟空。

　　对咯，今天别忘了看报表哦。

　　2017年2月11日线上产品经理说明会将带你入门了解产品经理的工作职责与发展前途，成为年薪50W起的优秀产品经理，你·还差一场入门说明会。链接地址：http://huodongxing/event/4370434013300

平常工作的话会对数据进行查看和梳理，比如查看网站的pv、uv等数据都是通过什么功能呢，今天咱们就聊聊数据统计那些事，那在平常的工作中如何做好数据分析呢？

1、懂工具

利用做的很成熟的数据统计平台，基本的功能都会有实时访客统计、浏览量、访问量、热力图监控分析、页面深度阅读等来监控核心的业务数据，提高用户的转化率。

2、懂分析

应该需要掌握数据分析的原理及方法，比如：加入购物车的颜色，应该可以分析出那种颜色对用户来说更具有吸引力，通过分析的方法来提高业绩的转化。

3、懂设计

这个是重中之重的技能，你只有对execl等图表工具操作的很熟练并对其进行美观的设计才能对数据分析进行梳理清楚。

思路 —— 简单。

「头条号」的作者可以使用的数据统计工具。

通过工具提供的概况与明细的分析动态，作者知道自己的头条号在各个分类头条号的相对位置，更加明确努力方向。

结构 —— 简单。

内容分析：文章分析与视频分析，衡量内容质量。

分析粉丝：关注你的人的群体分析，了解自己的用户群画像。

头条号指数：综合指数，分析「你的内容有多值得被推荐」。

优势 —— 简单。

一、结构清晰，容易理解。

「头条号」关注产生内容 → 粉丝群体 → 综合得分。

微信公众号的数据统计，更多是从产品菜单出发，更适合开发者，而不是内容制造者。

用户分析

图文分析

菜单分析

消息分析

接口分析

网页分析

二、时间维度统一。

统计时间筛选为：7天、14天与30天，内容可以在统一时间维度内进行比较。

相较于微信公众号的数据统计，有基本的日、周、月，也有最近7天、最近15天与最近30天（默认）。

三、具有可视化的指导性。

雷达图清晰的表达浓缩后的综合指数得分，拆分为5个维度指导作者创作。详见上篇文章。

内容分析

概况

文章量

推荐量

阅读量

粉丝阅读量

评论量

数据详情：文章量、推荐量、阅读量、粉丝阅读量、评论量、转发量、收藏量

文章分析

单篇文章分析（按标题）：

涨粉量

收藏量

转发量

单篇文章详细分析：

平均阅读进度

跳出率

平均阅读速度

文章详情：推荐量、阅读量、读完量、互动量

阅读来源分析

阅读完成度分析

所有文章分析（按时间）：

播放量

粉丝播放量

视频分析

昨日关键数据：

昨日播放量

昨日粉丝播放量

累计播放量

累计播放时长(分钟)

视频统计：

播放时长(分钟)

单个视频详细分析：

平均播放进度

平均播放时长

文章详情：推荐量、播放量、播完量、互动量

播放来源分析

播放完成度分析

粉丝分析

新增粉丝

取消关注

净增粉丝

累计分析

整体按时间统计：

累计粉丝

粉丝属性

性别比例

年龄分布

地域分布

终端分布

兴趣探索

你的受众都喜欢哪些分类的文章？

用户喜欢你的文章里哪些关键词？

关心你的人还喜欢哪些头条号？

粉丝列表

登录用户

非登录用户

头条号指数

昨日关键数据

相同领域TOP排名

实际提升推荐量

数据详情

雷达图，仅展示最新数据

历史趋势

传播度

原创度

健康度

关注度

垂直度

相关介绍

头条号指数是指什么？

头条号指数如何起作用？

如何提升头条号指数？

「头条号」数据统计内容模块

近日，网络发布年度大数据， 90后观众占总用户57%、90后主播在所有主播中占68%，90后已经成为直播的主力军。遍布各大直播网站中，在角角落落里绽放自己的青春。

直播行业也认识到受众群体的这一状态，抓住这一用户生态，聚焦90、95后生活，推出明星战略，邀请范冰冰、张继科、吴亦凡等当红明星开播，成功吸引了众多年轻人的眼球。

不仅看直播的用户以90后为主，90后的主播也是直播平台的主流人群。据直播大数据显示，90后主播以68%的比例占据主播队伍的半壁江山。其中男主播占30%、女主播占70%，本科以上学历主播占66.7%，直播平台已经成为有颜、有才的90后聚集地。

今年被称为直播元年，移动直播受到社会各阶层尤其是90后的喜爱，成为90后展现自我和进行网络社交的重要平台。未来2017年，直播行业一定会进一步优化，给我们带来更高品质的观赏体验。

通过1张数据分析表格帮你建立活跃用户的数据统计及分析方法。

一、你对活跃用户的定义是什么？

前几天在一个3-5年运营人的群里，突然聊到了活跃用户统计的问题，突然发现很多人对于什么是活跃用户的概念还很模糊，大多数运营数据分析平台上都直接给出了一个活跃用户的数字，那么什么是活跃用户呢？这里我们继续通过虚荣指标和可执行指标这2个指标的差异来区分下对活跃用户的认知。

虚荣指标：阶段时间内凡有访问行为的用户都可以记为活跃用户；

可执行指标：阶段时间内用户产生了代表对产品认可程度的高频行为才算活跃用户，如每日多次访问、收藏、留言、点赞、付费等相关行为代表用户对产品的认可程度。

虚荣指标的定义方式只能看到一个表面繁荣的数字，数字背后并不代表任何用户特征，而通过可执行指标对用户进行筛选，对高访问次数、高访问时长、高留言次数、高购买次数等不同特征的用户进行统计，一方面提升非活跃用户的相关行为，另一方面活跃用户是做裂变活动时的目标种子用户。

概括来说，增长黑客在衡量“活跃度”时，会通过访问次数、访问时长、收藏指数和相关影响因素几个维度来判断用户的活跃情况，并按连续活跃天数和阶段内任意活跃天数2个时间维度对用户活跃度进行整体分析。

二、这张活跃用户统计表格要怎么用？

这张表格横向分为3个活跃度评价因素，分别是访问次数、访问时长、收藏指数，同时对活跃度的影响因素单独计算，这个表格里列出了领红包、打卡、等级、来源渠道4种影响因素，可以根据用户行为特征具体计算。

1.通过日访问次数评估用户活跃度

访问次数代表用户每日使用产品的频次，我们需要对所有访问次数大于1次的用户做平均访问次数的计算，或者设定一个固定值，例如连续7天每日用户平均访问次数为3-5次，那么4就可以做为固定值，或者运营者认为每日访问次数大于2次就可以计算为活跃用户，那么2就可以做为固定值。

基于访问次数的平均值或固定值（A），我们需要对每日大于1次，小于A*50%的用户，每日访问次数大于A*50%并小于A的用户，以及日访问次数大于A的用户进行统计。

统计的目的在于通过访问次数将用户分层，高于A值的用户是绝对的活跃用户，对于没有达到A指的用户可以通过运营活动重点提升日访问次数。

其实，无论是访问次数A值还是下面说到的使用时长B值、收藏指数C值，在增长黑客的数据分析中，都代表着用户下一步关键行为指标，例如可以通过分析付费用户的日访问特征、使用时长，或者下单前浏览过几个页面，来确定这个关键行为指标，并以此做为目标。

当然，这是比较复杂的计算方法，刚接触数据分析的同学可以按照求平均值或设定固定值的方式来确定A值。

2.通过日访问时长评估用户活跃度

与通过访问次数计算用户活跃度的方式相同，找出用户使用时长的衡量值B，通过B对用户进行筛选分组。

3.通过“收藏指数”评估用户活跃度

所谓收藏指数是指真正体现产品价值的用户使用行为，与产品的北极星指标相关。一般来说，用户产生收藏行为代表着对产品内容的认可，如某篇文章，某件商品，所以诸葛io将其定义为“收藏指数”。

在实际统计中，“收藏指数”需要根据产品所在行业进行针对性定义，例如社区类产品要统计有过发帖、回帖行为的用户，资讯类产品要统计日浏览文章大于5篇（举例）的用户，电商类产品要统计日浏览商品大于5件（举例）的用户。

同样，通过对“收藏指数”的定义，计算出相关用户行为的衡量标准，我们称其为C值，在衡量维度上，C值为活跃用户必须满足的条件，继而可以筛选出高出C值50%、100%甚至更多的用户数量。

4.找出用户活跃度的影响因素

通过活动、打卡等运营行为，会对用户的活跃度有所影响，在影响因素这项分析上，需要统计不同特征用户的活跃度人数，例如领取红包后1-3天的活跃用户变化情况，与非领取红包用户的活跃度进行对比，再比如连续打卡3天、5天的用户在活跃度上的变现差异。

以上是4项用户活跃度的衡量方式，在统计时，首先需要筛选出满足条件的用户数量，然后计算满足条件用户在整体用户中的占比。

除衡量活跃用户外，还需要统计1日、3日、7日、30日活跃用户数据，在按日期的分析上，诸葛io建议通过2种日期统计方式：

一种是连续1日、2日、3日……30日活跃用户占比，连续活跃用户有发展为种子用户的潜力，需要重点维护；

另一种是阶段时间内任意天数的活跃情况，例如7日活跃用户中任意1天、2天、3天活跃的用户占比，用于区分同样阶段时间内的不同活跃度指标。

总结：增长黑客和精细化运营的概念在国内备受推崇，而活跃用户是增长裂变的基础，活跃用户分析的目的在于通过活跃度指标发现优质用户，并对优质用户建立相关用户群组，进行重点维护。

以收藏指数为例，加入购物车商品的数量越多，用户购买转化的可能性就越大，筛选出加入购物车1件、3件、5件等不同数量的用户，针对不同用户设计营销活动，例如加入购物车5件以上商品，在常见的抽奖活动中就可以设计“购物车商品免单”的活动主题，但购物车商品面单对于加入购物车1件商品的用户吸引力并不大。

活跃用户统计一方面是查看用户对产品使用的反馈，评估产品的用户健康度，另一方面通过活跃用户统计实现用户分组的精细化运营，为相关运营策略提供参考依据。

|内容来源： 诸葛io数据教练 版权归其所有 百家号-新社汇and微会动袁帅 转载发布 侵权告知删

百家号-【袁帅数据分析运营】运营者：袁帅，会展业信息化、数字化领域专家。新社汇平台联合创始人，微会动平台创始人。永洪数据科学研究院MVP。认证PMP项目管理师、数据分析师、网络营销师、SEM搜索引擎营销师、SEO工程师、中国电子商务职业经理人。畅销书《互联网销售宝典》联合出品人。

可以说现在智能手机市场上仅存的两大系统就是安卓系统和苹果的iOS系统了，而最近几年关于这两款系统哪一款更好的传言也一直都没有消停过，有说安卓更加开源的，有说iOS用起来更流畅的，那么，时至今日，两方依然是谁也说服不了谁，既然如此，咱们不是正处在大数据时代吗？那么咱不妨用数据来说话好了。

近日，数据调研机构Kantar公布了2018年第二季度全球各个市场上，智能手机所用系统占比情况的统计数据，从该数据中我们可以非常详细的看到各个市场上安卓用户和苹果用户各自所占的比例，以及二者相对去年同期的增减比例。

数据显示，在苹果的大本营美国、日本、英国和澳大利亚市场上，苹果手机所占的比例较高，均超过了30%，而其中日本的苹果手机比例竟然超过了40%，达到了42.9%，几乎以一己之力打平了全球所有的安卓手机厂商。

不过于这些国家情况不同的是，在中国，苹果手机的占比却低了许多，只有19.4%，而且跟去年同期相比，还下降了2.1个百分点，这样看来苹果手机在国内的用户量下降的还是比较明显的，很显然，这跟国产手机厂商们的崛起有着不可分割的关系。

放在几年前，或许很多人都会觉得国产安卓手机跟苹果手机分属不同的档次，二者之间根本就构不成竞争关系，但是现在情况明显不同了，国产四大品牌华米OV中，除了小米之外，另外三位都已推出了四千以上档位的中高端机型，而这些机型在很大程度上对苹果的iPhone 8系列以及iPhone 7系列构成了巨大的威胁，这也直接导致了这两个系列目前的销量不佳。

所以现在国内市场上，苹果卖得最好的手机不是用户群体本应该最大的iPhone 8系列和iPhone 7系列，反而是最贵的iPhone X销量最好，而随着华为和OPPO推出了跟iPhone X同样价位的保时捷定制版以及兰博基尼定制版，或许苹果手机的市场占比还有可能一降再降，而这可能也是苹果今年准备推出廉价版iPhone X的原因之一吧。

对一家互联网公司来说，如果没有设置单独的数据运营岗，那么用户运营是和数据最贴近，也必须是最了解用户的。

用户运营核心的方法论就三个：拉新，促活和留存。拉新可以作为渠道推广单独讨论，而促活和留存则相辅相成。

非运营岗，或者其他类型的运营，通常只会注重一个活跃数据的果，而不会注意活跃数据的因。我们在这里就抽丝剥茧，教大家比较快速地了解活跃体系。

互联网公司对活跃用户的定义大同小异，主要以用户打开APP一次记为一个活跃用户。

按此基础可以在时间维度引申出周活跃用户，月活跃用户。即在一个自然周内打开一次APP，则本周为周活跃用户。月活跃用户同理。

我们假设有一款新产品，这是它四个月内的活跃数据。嗯，看来不错。

产品专注的市场领域不同，活跃用户数天差地别。一款小众的垂直领域产品和泛社交类产品，单纯看活跃用户数，你很难界定它们好坏。

好的数据指标，都应该是比例或比率。

我们设定一个新指标，活跃率：某一时间段内活跃用户在总用户量的占比。

按照时间维度引申，有日活跃率DAU，周活跃率WAU，月活跃率等MAU。

例：月活跃，本月活跃用户在截止月末的总注册用户中占比。

一般而言：活跃用户数，看的是产品的市场体量。活跃率，看的是产品的健康度。

实际得承认，不同产品，用户需求（高频或低频）不同，活跃率也有差异。用户运营更多的职责是监控活跃率的变化，并且提升它。

看，我们的活跃用户数上升，活跃率下降，这对新产品来说很正常。你不能要求每一个用户都使用我们产品不是？

别急，我还没补刀呢。

我们统计了注册用户数，那么我们也可以统计出本月新增用户数，很简单，两个月相减。

是不是看出来什么了？

要知道，按照活跃的定义，新注册的用户肯定是打开APP的用户，他也一定是活跃的用户。

所以，我们拿每月的注册总用户数减去新增用户数，计算老用户数。并且将新老用户的活跃率独立出来。

指标拆分后，我们发现老用户的活跃率比预期低。实际在产品早期、渠道投入资源推广、或一次成功的病毒营销后，因为新增用户数量的暴涨，总是会带动活跃数的上升。

A产品打算在五月份做大投入，在APP上进行活动，希望用户大力参与，同时在B渠道进行推广。在常规的统计指标中，发现活跃数据上升。事后分析发现活跃为新增活跃，老用户的活跃数据没有显著上升。配合其他活动数据，证实活动效果较差。

C产品获得投资后，通过大规模的烧钱推广，获得一个正向的活跃数据反馈。此时活跃有不小可能是由新增用户撑起的。产品自身的打磨若不好，老用户活跃率不会提高，这也是我们常说的留存概念。导致钱白白浪费不少。

产品进入稳定期后，有了一定用户规模，新增活跃一般对活跃数据就不会有大的影响了。那么以新老用户区分活跃统计就够了？我们简单定义三个场景：

用户A下载产品后，把玩了一段时间，发现这是他想要的功能，爱不释手，成为发烧用户；

用户B下载产品后，看了几眼就不再使用。产品2.0发布后，觉得有个新特性不错，于是回来继续使用，逐渐成为活跃份子；

用户C从网上看到随便下载的，用了产品觉得一般，吐槽几句并且卸载，不再使用；

用户包含各种类型，反应了不同群体的特征和想法。在使用整个产品的周期中，我们应定义更全面的指标：

流失用户：

有一段时间没有再打开产品，那么我们就视为流失用户，根据产品的属性，可以按30天，60天，90天等划分。

不活跃用户：

有一段时间没有打开产品，为了和流失区分开来，需要选择无交集的时间范围。比如流失用户是60天以上没打开产品，那么不活跃则是0～60天没打开。

回流用户：

有一段时间没用产品，之后突然回来再次使用，则称为回流用户。回流用户是活跃用户，且是由流失用户或不活跃用户唤回而来。

活跃用户：

一段时间内打开过产品。

忠诚用户：

也可以叫超级活跃用户，长期持续使用产品，比如连续四周，或者一个月内15天等。

现在我们发现，不论是活跃用户还是不活跃用户的维度，都一下子丰富了起来。

通俗的理解一下用户活跃的变化

上文ABC的三位用户活跃路径为：

A：新增—活跃—忠诚

B：新增－不活跃－回流－活跃－忠诚

C：新增－不活跃－流失

回到一开始那款产品的数据，我们将分解后的新指标统计出来。（定义忠诚用户一个月内有15天活跃；流失用户为两个月没打开过）

（以上数据以月末当天的统计为准）

你看，指标开始变得复杂了。产品有长期使用的忠实用户，也有流失用户。有用户回来继续使用，也有用户不怎么爱用产品。

数据是为了方便讲解随手编的。实际的情况可能会更复杂，可以根据情况灵活应对。

用户活跃可以简化为一个最简单的公式：新增用户的数量要大于流失用户的增加量。可以想成一个水池，运营会一直往里灌水，但是水池也会漏水，如果漏水速度太大，那么水池就干了。一款产品可能因为市场竞争、拉新乏力导致新增用户数下降，也可能因为产品改动，运营策略失误造成后续流失用户变多。

将数据制作图表：

(活跃用户和不活跃用户可以拆分出来，周活跃同理)

用户运营们可以按照日、周、月维度维护三张报表，监控活跃数据的变化（建议花更多精力在周报表上）。

如果是一个好的用户运营，他会继续思考：每天有多少活跃用户变得不活跃？有多少忠诚用户变得不活跃？又有多少流失用户被我们唤回来等，并且分别是什么原因引起的。

怎么样更详细的监控活跃数据的变化呢？我们引入桑基（Sankey）图的概念。

这时，活跃数据比单纯的表格清晰多了，而且我们也能够显著观察到不同活跃层的变化。万千变化，存乎一图。 有了数据和趋势，我们应该聚焦更多精力到怎么去应用在运营和业务上。

观察忠诚用户，发现他们有什么特征，为什么爱用我们产品。同样的道理，我们也能观察流失用户；

忠诚或流失用户是否在推广渠道上有显著差异（配合新增留存数据）。

某一段时间回流用户增加，是产品更新，市场推广，还是活动营销？

本周，变成不活跃的用户比以前多，要不要做一次用户访谈看下原因？

活跃的用户用Push营销，流失的用户用短信营销，这是不是一个好方法？

以上种种，皆是用户运营需要考虑，也是要和各部门协同解决，贯彻整个产品一生的运营方向。

活跃类指标有一个显著特点需要明白，它们都是后见性的指标，也就是事情发生后我们才能观察到。比如我们发现某一段时间流失数据（假定两个月没打开APP为流失）上升，往前倒推两个月，发现当时刚好展开一次活动，那么我们有理由相信活动造成了一批用户卸载，可惜运营此时已经无能无力。先见性预防比后见性观察对运营更重要。

根据不同的用户活跃状态，依据产品的特性能采取很多运营手段。这是精准化运营的第一步。接下来则是划分用户层次等，进行更精准的运营，不过那是另外的话题了。