有数据显示，大悦城年消费在1万元以上的会员占比30％，这部分优质客群贡献了大悦城88%的销售总额。截至2017年上半年，悦城已经拥有近300万优质会员，其消费贡献价值约为大悦城平均值的3倍，而在品牌忠诚度、传播度和社交活跃度等维度上，悦粉的贡献也远高于普通客群。毋庸置疑，会员在商场中扮演着尤为重要的角色。在新零售及大数据时代，商业如何融合数据驱动创新与增强会员忠诚度、提升客流？

会员营销的关键点

会员营销这一手段，对于在市场定位针对大众市场的企业来说至关重要。一般而言，大众消费市场普遍选用两种方式发展会员。一类是将目标消费者直接发展成会员，企业通过追踪分析，寻找刺激其消费的方法;另一类是在已有消费的客户中，寻找愿意重复消费的人，设置相关待遇刺激消费者加入。

其实无论是基于上述哪一类方法，会员营销的关键点都在于整体的营销模式的布局以及互动关系的建立。会员管理的每一步发展，都伴随着技术领域的创新。充分利用已有的技术，提升会员服务质量，是企业会员发展的不二法则。

1、APP

APP是智能手机的重要软件支撑，美团等电商企业联合了马云的支付宝，开发了相应的手机客户端，通过支付宝钱包APP，消费者可以选择商家的会员卡进行网络购物与消费，通过此类APP，实现会员资金流、信息流的统一，在手机淘宝APP中，还可以动态地观测到产品物流的状况，实现消费供应链的闭环管理，完成前端销售，中间监控，后端维护的统一。手机APP还具备定期提醒的功能，这是会员关系管理中非常重要的步骤，通过桌面信息推介，定期提醒消费者了解产品的性能和优惠，刺激其潜在的购物期望。

2、社交媒体

人人网、微信的出现，改变了人们的生活。从微博到朋友圈，到如今的支付宝口碑等，消费者沟通的方式逐渐从面对面转向了手机端的沟通，越来越多的消费者参与到社交媒体信息交换过程中来。微店的出现正是基于社交媒体的大背景，会员管理可以通过社交媒体建立属于企业的社交沟通平台，又或是通过终端付款达到“支付即会员”。企业通过微媒体向会员发布信息将会节约很大一部分宣传成本，利用社交媒体的便利性，将大量的促销信息和会员优惠直接推送到消费者的客户端，很大程度上会左右消费者购买欲望，通过微信圈的定位，使会员的购买行为更加明朗，减轻了库存管理端的压力。

3.全触点数据采集，形成最完整的用户数据全息图

一方面，改变传统粗放的数据收集方式，通过WiFI自动感应、蓝牙定位、对接商户POS系统等方式精准采集用户画像、用户行为数据和用户交易数据。另外一方面整合商家自有的线上资源（如APP、微博、微信等），与国内零售消费领域最大的第三方数据库合作迅速补充线上数据，线上线下两条腿搜集用户数据，形成最完整的用户数据全息图。

此外，用户身份识别，视频监控购物过程，产生的大量数据照亮了曾经摸黑前行的线下零售场景。同时，这些数据也为后端的仓储、物流、配货等过程的自动化提供了基础。

下面，我们来谈谈新零售的风潮下各大线下传统零售如何推陈出新寻找会员营销的突破口，再看看一些新零售企业如何利用新技术和大数据统合线下会员流量大搞精准营销的。

实体零售打通线上会员，提高场景体验

1、大悦城

大悦城已经成为智慧商圈的范本之一。数据显示，大悦城2016年销售额145亿元，客流1.4亿人次，积累了近300万会员。凭借着敏锐的商业嗅觉，它很早就洞察到资源聚合的价值。

拿西单大悦城举例。其总体运营理念是：

1、数据驱动创新；

2、服务创造未来；

3、改变传统现状；

4、提高顾客价值。

业务逻辑是通过自建的商业融合数据把碎片化、孤立、失真、杂乱、无序、多源和噪声的数据整合成标签化，变成可跟踪、可预测、可触达、定制化的个性营销的整体解决方案。应用模型是把顾客的偏好信息（通过互联网采集，主要来源于和百度、天猫、腾讯、支付宝、微信的合作）、属性信息（通过与TalkingData、中国移动和中国银联的第三方数据来源）、内部数据等贯穿到整个业务流程当中，让商业决策与营销行为可追踪、可衡量和可优化。终极核心目标是人工智能全面覆盖，建立所有KPI与经营成果可追溯、可衡量、可优化的“智能MALl”。

西单大悦城的理论体系紧紧围绕递进式“顾客忠诚度模型”，依照“客户满意”到“客户忠诚”的规律，制定系统架构与层级。最初做了顾客感知系统（CPS）采集数据，随后通过客户识别系统（CIS）分析预测，再通过JOY-DATA系统（IAS）对顾客做标签化，同时通过JOY-CRED系统（CRS）做到精准投放，满足顾客潜在需求。最后延伸到体验/服务中心（ESC）做效果评估，从而获得顾客的忠诚度。西单大悦城不做APP， 通过微信公众号做触达，经过数据处理，只推送顾客感兴趣的信息。过去10年都在努力做O2O，看得见的系统也许只有O2O体验/服务中心、自助服务系统、GIS地图系统、进场营销/导流、iPad移动报表等，但更多的支持系统是看不到的，像结算系统、网络系统、影像客流、IAS、客户感知识别、CRS、会员CRM等等，而这些是提供核心基础支持的。

2015年，天津大悦城“良食局”的出现，引起了业内的强烈关注。随后，良食局开始了在大悦城商业体系内复制。据了解，良食局不仅肩负着维护老会员的重任，更是在这个空间中实现了会员权益的实体化及延伸化，以新颖奇特的高品质生活空间迎接和服务着大悦城的会员。

随着大悦城APP的上线，线下良食局也被搬到了线上。通过线上商城与线下实体的组合拳，实现把会员从线下导入线上平台，同时通过丰富的营销活动引流线上会员至实体店消费，形成了一个完美的闭环。

据介绍，在良食局里，“天下粮仓”体验区可精选大米，消费者开仓接粮，用积分兑换收获的记忆；“种子博物馆”中，良食局按照营养食谱搭配，会员可以用积分兑换健康生活方式；“咖啡先生”体验区，会员自己动手研磨精选品类咖啡，用积分兑换精致体验；“败物首选”、“原创精品”，免除了购物还要花钱的纠结，用后商业时代的造物逻辑带给会员不一样的购物兑换感觉；“轰趴地带”活动区，可娱乐可办公，会员用积分兑换时间空间，为会员休憩提供更多选择。

线上商城和线下实体店互相配合，打造组合拳：APP吸引会员积分兑换，形式丰富的营销活动引流线上会员至实体店消费，促进了大悦城线上普通粉丝向会员的转化、新会员向忠实粉丝的转化。良食局作为大悦城重点打造的会员服务中心，将成为会员积分消耗的重要途径，良食局对接外部资源，升级体验，增加消费粘性。

未来的O2O并不是单纯地线上线下的简单引流、反哺。大悦城APP借助良食局，实现更好的融合、抓住渠道，做好线上线下的连接，做好与会员粉丝的互动，最终形成一个合理完整的O2O 闭环。

2、苏宁

目前苏宁的产业涉及云商（苏宁易购）、置业（苏宁广场+部分自营酒店）、金融（易付宝等）、文创（聚力视频、苏宁影城）、体育（聚力体育+部分俱乐部会员）等领域，全面覆盖了大众的衣食住行和娱乐。而这些平台累加在一起，已经拥有5亿以上的用户量，并每天在不同领域发生着大量的交互，苏宁大数据后台根据这些日常生活方方面面的数据采集，可以更为清晰的了解用户需求，从而在各个领域实现更加贴心的服务。

苏宁打通旗下全产业，推出“一账通”服务，正是为用户提供智慧生活方式的第一步。拥有一个会员账号，就可在全平台享受生活方方面面的优质服务。你不仅可以通过苏宁易购轻松购买各种商品，还可以用苏宁易购的会员观看pptv上会员优质电影，享受聚力体育中的体育衍生品的赠送，参加苏宁广场、苏宁影城等的优惠活动……账户融通后，带来的不仅有便利，还有福利。

首先，苏宁为了在各个平台间相互导流，推出了系列优惠活动，如用户在苏宁易购只要消费满89元的订单，就可以获赠一个PPTV的付费会员； PPTV的新注册用户，以及选择升级账号的老用户，可以享受苏宁易购199礼包，等等。其次，打通会员体系后，会员权益和积分全部共享。苏宁易购的会员可以直接享受PPTV的会员权益，各个平台的积分可以累积和互通使用，以前积了大半年也换不到一条小毛巾的积分，现在终于可以发挥更大用处。

苏宁利用自身资源，所构建起的生态系统，不单单减少了用户享受优质服务的成本，更重要的是通过大数据为用户画像，可以为用户提供更为精准的个性化服务。举个例子，苏宁大数据通过用户的消费数据，判断出用户已经开始了恋爱之路，便可以智能地向用户推荐周末电影、情人礼物、浪漫酒店；如果用户经常收看育婴视频，那么大数据则可判断用户正在养育幼儿，那么关于一个妈妈需要的一切都会自动通过线上线下的推送呈现到用户面前。用户节省的是时间，感受到的是贴心和温暖，而苏宁获得的则是客户全身心的信赖。这就是苏宁想要打造的未来智慧零售的会员营销生态。

3、孩子王

第一，采取重度会员制度，线下（主）+线上（辅）全渠道运营

孩子王是以会员数据驱动的全渠道服务商，国内母婴童商品零售与增值服务领导品牌。公司依托线下大店（主）+线上商城（辅），为准妈妈、-1至14岁婴童提供母婴童商品零售、儿童乐园服务、母婴童服务、金融服务、原创内容及互动活动5大类产品的一站式购物与全方位增值服务。

孩子王采取重度会员制，以会员为核心资产，定位中产阶级新家庭，旗下超过4,000名持证育儿顾问，助力情感营销。公司构建完善会员管理体系，通过专业服务、大量互动活动等方式开展口碑、场景营销，主动发展新会员，并推出黑金会员卡（持卡顾客可获取育儿顾问24小时在线回答、1.5倍积分、每月一次免费送货上门、免费上门为婴儿理发一次、预约催乳等专业服务）。截至2016年底，公司建档会员达1,107万，累计消费会员695万（预计人均消费1,500元），销售收入95%来自会员。公司育儿顾问借助门店互动、上门服务、微信交流等方式，为母婴童提供专业、个性、多样化服务，营造与菜鸟妈妈间“师徒关系”，增强用户粘性。

聚焦准妈妈与-1~14岁婴童用户，孩子王积极实践“商品+服务+社交”的领先商业模式。由线下切线上，通过线下大店（沃尔玛山姆会员店付费模式）+线上育儿顾问情感营销（安利营销模式）+线上线下通用的黑金会员卡（亚马逊Amazon Prime会员模式），彻底打通线上线下全渠道。

除拥有自营PC商城、微信商城、天猫旗舰店、京东旗舰店，还有自己研发的APP商城，通过深度挖掘妈妈用户社交需求，开展线上社交。针对妈妈们爱秀、爱交流、爱分享的社交特性，推出“亲子电台”、“妈宝秀”、“美妈经验”、“妈妈口碑”等线上互动活动及原创内容。依托育儿顾问资源，建立UGC+PGC+OGC（职业生产内容）优秀内容分享奖励机制，使会员可以通过APP与明星育儿顾问进行在线互动交流，主动生产并与会员分享原创内容。

孩子王依托“人客合一”APP进行会员管理，开展精准营销，提升会员客单值。通过开发“人客合一”APP作为会员管理工具，了解会员行为特征，基于特征制定会员标签，绘制会员画像；由系统根据会员画像，定期推送个性化的精准营销任务到APP，育儿顾问依据任务与会员进行沟通互动，刺激会员消费。此外，育儿顾问与会员互动时，可随时进行信息采集、纠正。

第二，以线下门店为主要互动平台，单店频繁互动

孩子王基于线下门店每年举办“好孕讲堂”、“三好学堂”、“爬爬赛”、“入学礼”等10多类的互动活动，满足顾客专业、多元化服务需求。公司也依托第三方场地，面向会员推出“新妈妈学院”、“孕博会”等孕妈妈系列，“儿童文化艺术节”、“童乐会”、“冬（夏）令营”等儿童系列大型线下互动活动。

孩子王还推出育儿顾问模式，做感情营销。育儿顾问以会员开发、维护为核心，围绕会员展开绩效考核，是会员的直接管理者、服务者，不承担门店销售任务，专为会员提供一对一长期服务。通过微信、APP社群、面对面交流（送货上门、上门服务）方式了解顾客需求，传播育儿知识，通过线上线下多频次互动，逐步形成与准妈妈间“师徒”关系，增强顾客粘性，培养潜在会员客户。公司线下门店均配有10位左右育儿顾问，其中门店以上管理人员必须考取国家中级以上育婴师资质。

第三，依托大数据技术，实行精准营销

利用大数据技术，结合业务特点、会员特征，开展精准营销。公司积极收集、整理、挖掘会员标签、消费记录等数据资料，预测会员需求，精准推送相关商品与服务，促进会员消费。公司通�...

怎样才能用起来大数据？障碍如何解决?中国企业家研究院对１０多家在大数据应用方面的领先企业进行了采访调研，更多家企业进行了书面资料调研，我们发现：

■ 当前中国企业的大数据应用可以归类为：大数据运营、大数据产品、大数据平台三大领域，前两者更多是企业内部的应用，后者则在于用大数据来繁荣整个平台企业群落的生态。

■ 大数据营销的本质是一个影响消费者购物前心理路径的问题，而这在大数据时代前很难做到。

■ 对于传统企业而言，要打通线上与线下营销，实现新的商业模式，如O2O等，离不开大数据。

■ 虽然大数据应用往往集中于大数据营销，但对于一些企业，大数据的应用早已超越了营销范畴，全面进入了企业供应链、生产、物流、库存、网站和店内运营等各个环节。

■ 对于大部分企业，由于数据分析人员与业务人员之间的彼此视角与思考方向不同，大数据分析和运营之间存在脱节情况，这是大数据无法用于企业运营最大的阻力

■ 对于大多数互联网公司来说，大数据量、大用户量是一个相互促进，强者越强的循环过程。

■ 对于大型互联网平台，大数据已经成为其生态循环中的血液，对于这些企业，最重要

的不是如何利用大数据改进自身运营，而是利用大数据更好地繁荣平台生态。

■ 对于平台企业，它们的大数据策略正逐渐从大数据运营，向运营大数据转变，前者和后者的差别在于，前者只是运营改进的动力，而后者则成为企业实现未来战略的核心资源。

我们都已被反复告知：我们将迎来一个“大数据时代”。

大数据应用，将和云计算、3D打印这些技术变革一样，颠覆既有规则，并成为先行企业的制胜关键。

与变化相始终的中国企业，距离这场革命还有多远？而追上领先者又需要多快的步伐？

来自于互联网、移动互联网、物联网传感器、视频采集系统的数据正海量增长，汇成大数据的海洋，相伴的是海量数据存储、分析技术的突破性发展，所有这一切都给企业的应用带来了无限可能性。

许多企业希望将大数据用起来，带动企业的经营，但不知从哪里着手。它们不惜重金投资大数据信息系统、分析系统，聘请更多的人才，希望能从这个新趋势中获益，不过却无奈地发现，大数据仍然停留在云端，没有带来多少实际收益。它们找不到大数据与业务结合的突破口。而一些真正将大数据应用于实战的企业，却在应用过程中困难重重：大数据无法与业务结合；没有收集、分析海量数据的能力；经营人员缺少应用大数据的动力；数据来源鱼龙混杂难以使用……

中国企业家研究院对当前中国企业大数据应用的状况进行了归纳分类，以帮助企业了解实际应用大数据时的困局难点，并提供领先企业的典型案例以资借鉴。

表1

表2

大数据运营—企业提升效率的助推力

对于大多数企业而言，运营领域的应用是大数据最核心的应用，之前企业主要使用来自生产经营中的各种报表数据，但随着大数据时代的到来，来自于互联网、物联网、各种传感器的海量数据扑面而至。于是，一些企业开始挖掘和利用这些数据，来推动运营效率的提升。大数据运营应用中，大数据的应用分为三类：用于企业外部营销、用于内部运营，以及用于领导层决策。

一、大数据营销

大数据营销的本质是影响目标消费者购物前的心理路径，它主要应用在三个方面：1、大数据渠道优化，2、精准营销信息推送，3、线上与线下营销的连接。在消费者购物前，通过各种方式，直接介入其信息收集和决策过程。而这种介入，是建立在对于线上与线下海量用户数据分析的基础之上。相比传统狂轰滥炸或等客上门的营销，大数据营销无论在主动性和精准性方面，都有非常大的优势。它是目前主要的大数据应用领域。

大数据营销不仅仅是用大数据找出目标顾客，向其发布促销信息，它还可以做到：

实现渠道优化。根据用户的互联网痕迹进行渠道营销效果优化，就是根据互联网上顾客的行为轨迹来找出哪个营销渠道的顾客来源最多，哪个来源顾客实际购买量最多，是否是目标顾客等等，从而调整营销资源在各个渠道的投放。例如东风日产，它利用对顾客来源的追踪，来改进营销资源在各个网络渠道如门户网站、搜索和微博的投放。

精准营销信息推送。精准建立在对海量消费者的行为分析基础之上，消费者网络浏览、搜索行为被网络留下，线下的购买和查看等行为可以被门店的POS机和视频监控记录，再加上他们在购买和注册过程中留下的身份信息，在商家面前，正逐渐呈现出消费者信息的海洋。

一些企业通过收集海量的消费者信息，然后利用大数据建模技术，按消费者属性（如所在地区、性别）和兴趣、购买行为等维度，挖掘目标消费者，然后进行分类，再根据这些，对个体消费者进行营销信息推送。比如孕妇装品牌十月妈咪通过对自己微博上粉丝评论的大数据分析，找出评论有“喜爱”相关关键词的粉丝，然后打上标签，对其进行营销信息推送。京东商城副总经理李曦表示：“用大数据找出不同细分的顾客需求群，然后进行相应的营销，是京东目前在做的事情。”小也化妆品将自身网站作为收集消费者信息的雷达，对不同消费者推荐相应的肌肤解决方案，创始人肖尚略希望在未来，大数据营销能替代网站的作用，真正成为面向顾客的前端。

打通线上线下营销。一些企业将互联网上海量消费者的行为痕迹数据与线下购买数据打通，实现了线上与线下营销的协同。比如东风日产，线上与线下的协同营销方式为：其门户网站带来订单线索，而通过这些线索，服务人员进行电话回访，从而推动顾客在线下交易。在此过程中，东风日产记录了消费者进入、浏览、点击、注册、电话回访和购买各个环节的数据，实现了一个横跨线上线下，以大数据分析为支持的，营销效果不断优化的闭环营销通路。而国双科技，衡量某一地区线下促销活动的效果，就是看互联网上，来自这个地区对于促销内容的搜索量。一些企业，通过鼓励线下顾客使用微信和Wi-Fi等可追踪消费者行为和喜好的设备，来打通线上与线下数据流，银泰百货计划铺设Wi-Fi，鼓励顾客在商场内使用，然后根据Wi-Fi账号，找出这个顾客，再通过与其它大数据挖掘公司合作，以大数据的手段，发掘这个顾客在互联网的历史痕迹，来了解这个顾客的需求类型。

二、大数据用于内部运营

相比大数据营销，大数据在内部运营中的应用更深入，对于企业内部的信息化水平，以及数据采集和分析能力的要求更高。本质上，是将企业外部海量消费者数据与企业内部海量运营数据联系起来，在分析中得到新的洞察，提升运营效率。

表5

三、大数据用于决策

在大数据时代，企业面对众多新的数据源和海量数据，能否基于对这些数据的洞察，进行决策，进而将其变成一项企业竞争优势的来源？同大数据营销和大数据内部运营相比，运用大数据决策难度最高，因为它需要一种依赖数据的思维习惯。

已有少数企业开始尝试。比如国内一些金融机构在推出一个金融产品时，会广泛分析该金融产品的应用情况和效果、目标顾客群数据、各种交易数据和定价数据等，然后决定是否推出某个金融产品。

但是，中国企业家研究院在调研中发现，目前中国企业当中，大数据决策的应用非常之少，许多企业领导者进行决策时，仍习惯于凭借历史经验和直觉。

大数据产品——企业利润滋长的新源泉

大数据除了用于运营外，还能够与企业产品结合，成为企业产品背后竞争力的核心支持或者直接成为产品。提供大数据产品的企业分为两类，直接提供大数据产品的企业，以及将大数据作为产品和服务核心支撑的企业。前者主要为大数据产业链中提供数据服务的参与者，包括数据拥有者、存储企业，挖掘企业、分析企业等，后者则主要是那些以大数据为产品核心支撑的企业，它们大多是互联网企业，其产品和服务先天就有大数据基因，这些企业包括搜索引擎、在线杀毒、互联网广告交易平台以及众多植根于移动互联网之上，为用户提供生活和资讯服务的APP等。

表3

表4

广州四方传媒，为众多客户提供大数据精准营销服务

企业主要利润从来自哪里？哪些商品是爆款？哪些商品滞销？财务已收款多少？还有哪些账目待收？随机接到订货需求或客户不便操作时，如何快速代客完成下单？你还在凭感觉的做生意吗？鲜桥微信订货系统软件来帮您，一个系统轻松搞定！

随着消费升级的不断深化，如何在正确的时间将正确的产品销售给正确的消费者，是商家普遍面临的难题。这是一个考验企业“数据”的时代。商家只有通过数据分析深入了解用户，更好地理解消费者的偏好甚至预测消费行为，才能实现精准决策。

对于现代企业来说，最重要的资产无疑就是数据了，企业价值与其拥有的数据规模、活性，运用数据的能力成正比。说起来简单，做起来难，首先找到一款趁手的数据统计工具就非易事。鲜桥经过长期的市场调研与客户需求结合，为您呈上一套全面、精准、实用的分析系统。

近期鲜桥全新推出了鲜桥商户版，此次不是常规的版本升级或功能扩展，而是专为企业管理全新推出了APP鲜桥商户版（即移动企业管理端）。本着随时随地移动作业、移动管理的产品理念，本期主要发布了“数据报表看板、代客下单”的功能。帮助商家能够实时获取各种统计分析报表、快捷开展业务，从而实现数据化营销、智能化运营！

目前，APP鲜桥商户版为企业提供六类数据统计报表：营收趋势、客户订单统计、商品销售统计、客单价分析、退货统计、客户行为统计。（查看更全面的数据报表，请登录PC企业管理后台）通过各类数据统计报表，能够直观看到企业经营状况。 而开放到手机端查看，实时、快捷，每时每刻把握业务动态，提升企业管理和决策的效率。

鲜桥微信订货系统适用于哪些人群？

适用于有稳定供货与订货关系的商家，包涵供应商与经销商、采购商、网络分销商之间，总公司与各分子公司，连锁经营总部与直营店、加盟店，厂商与经销商、代理商以及批发商与大客户等。

目前使用鲜桥微信订货系统的用户量极多，且在持续增长中。在用客户既有初创公司，也有上市企业，涵盖快消品、生鲜农产品、食品、母婴用品、化妆品等多个行业。

未来，鲜桥将继续钻研和积累大数据挖掘和应用方面的经验，聚焦为企业构筑从业务分析到业务预测的商业智能系统。颠覆传统旧订货软件的设计思路，成为企业云时代生意协作的新商业软件！

某银行省级数据中心 IT 运维服务体系建设，应包含运维服务制度、流程、组织、队伍、技术和对象等方面的内容。同时结合某银行的业务特色，整合运维服务资源，规范运维行为，确保服务质效，形成统一管理、集约高效的一体化运维体系， 从而保障某银行数据集中条件下网络和应用系统安全、 稳定、高效、持续运行。

一、运维服务体系建设原则

运维服务体系建设的原则有以下几个方面。

一是以完善的运维服务制度、流程为基础。为保障运行维护工作的质量和效率，应制定相对完善、切实可行的运行维护管理制度和规范，确定各项运维活动的标准流程和相关岗位设置等， 使运维人员在制度和流程的规范和约束下协同操作。

二是以先进、成熟的运维管理平台为手段。通过建立统一、集成、开放并可扩展的运维管理平台，实现对各类运维事件的全面采集、及时处理与合理分析，实现运行维护工作的智能化和高效率。

三是以高素质的运维服务队伍为保障。 运维服务的顺利实施离不开高素质的运维服务人员，因此必须不断提高运维服务队伍的专业化水平，才能有效利用技术手段和工具，做好各项运维工作。

二、运维服务体系的总体架构

运维服务体系由运维服务制度、运维服务流程、运维服务组织、运维服务队伍、运维技术服务平台以及运行维护对象六部分组成，涉及制度、人、技术、对象四类因素，其总体架构如图 1 所示。制度是规范运维管理工作的基本保障，也是流程建立的基础。运维服务组织中的相关人员遵照制度要求和标准化的流程，采用先进的运维管理平台对各类运维对象进行规范化的运行管理和技术操作。

1. 运维服务制度和流程

为确保运维服务工作正常、有序、高效、协调地进行，需要根据管理内容和要求制定一系列管理制度，覆盖各类运维对象，包括从投产管理、日常运维管理到下线管理以及应急处理的各个方面。此外，为实现运维服务工作流程的规范化和标准化，还需要制定流程规范，确定各流程中的岗位设置、职责分工以及流执行过程中的相关约束。

2. 运维服务组织和队伍

某银行科技部门根据其运维服务工作的内容和流程确定各项工作中的岗位设置和职责分工， 并按照相应岗位的要求配备所需不同专业、 不同层次的人员，组成专业分工下高效协作的运维队伍。 分行科技处负责数据省级集中处理的应用系统和本机构开发的应用系统部署和运行维护，承担辖内网络的运行管理。辖内各中支和支行科技人员承担本行系统运行维护和故障处理。

3. 运维服务工作流程

为保障运行维护体系的高效、协调运行，应依据管理环节、管理内容、管理要求制定统一的运行维护工作流程，实现运行维护工作的标准化、规范化。其环节包括事件管理、问题管理、变更管理和配置管理。

4. 运维技术服务平台

运维技术服务平台包含实施运行维护和技术服务的各种手段和工具，通过技术手段固化标准化的流程、积累和管理运维知识并开展主动性运维工作。

三、运维的范围

1. 全国集中的核心应用系统

全国集中的核心应用系统的运维由总行负责， 分行中心负责业务咨询工作和向总行反馈使用情况等。

2. 分行部署的核心应用系统

分行部署的核心应用系统的运维由分行中心负责， 分行中心负责技术性维护，业务维护由分行业务部门负责。

3. 分行自建系统

分行自建系统可以分为以下三类：

（1）全辖使用，这类系统的运维由分行中心负责，分行中心负责技术性维护，业务维护由各分行业务部门自行负责；

（2）省内使用，这类系统的运维由分行中心负责，分行中心负责技术性维护，业务维护由分行业务部门自行负责；

（3）分行机关使用，这类系统的运维由分行中心全面负责。

四、运维服务体系建设的内容

1. 运维管理制度建设

总结现有的运维管理经验，遵照国内外相关运维标准，结合目前的实际情况，统一制定运维管理制度和规范。通过定期和不定期的检查，促进各项制度规范在分行数据中心的贯彻落实，从而建立起全辖统一、规范的运行维护管理工作方式。同时，随着某银行信息化建设的不断发展，也要确保各项制度的及时更新。制度体系内容要涵盖机房管理、网络管理、资产管理、主机和应用管理、存储和备份管理、技术服务管理、安全管理、文档管理以及人员管理等类别。各类制度具体内容因需要而定，如网络管理制度需覆盖网络的接入管理、用户管理、配置管理及网络日常运行管理和应急处理等。 安全管理制度需覆盖包括机房设施、 网络、主机、数据库、中间件、应用软件、数据信息的安全管理、其他机密资源和人员的安全管理以及安全事件的应急处理等。

2. 运维技术服务平台

运维技术服务平台由运维事件响应中心、运维管理系统、运维知识库和运维辅助分析系统构成（如图 2 所示）。平台采用分行级、中支级分布式管理模式，在分行科技处和各中支分别部署。

（1 ）整合分行 IT 监控平台

将分行级数据中心的监控数据交换到运维事件响应中心、运维流程管理系统、运维知识库、运维辅助分析系统，支撑运维体系。

分行级中心向总行中心传送的信息包括：网络管理、主机管理、数据库管理、存储备份管理、 中间件管理、 应用系统管理的相关信息， 报表系统产生的设备资产、运行性能和运行事件报表，事件告警机制产生的关联和上报信息；省级中心和地市中心支行之间传送的管理信息为网络管理信息。

（2 ）运维事件响应中心

负责客户端运行和应用系统问题的接收及转发的部门是各级科技部门。 问题接收分为网络响应和电话响应两种方式，对于响应人员无法当场解决的问题，转发到运维部门的相应岗位，并向用户反馈解决情况。对于分行级数据中心运维难以解决的问题，上报总行并配合总行进行问题的解决。同时，实现问题库的维护、解决情况的反馈、解决方案的查询等功能。

（3 ）运维服务管理系统

运维流程管理系统的建立，可以使日常的运维工作有序化，职责角色清晰化，能够有效地提高解决问题的速度和质量，使运维部门内的相关支持信息更为畅通、透明、完整，实现知识的积累和管理，更好地进行量化管理和设定优化指标，进行持续地服务改进，最终提高整个运维工作的效率和质量。

（4 ）运维知识库建设

知识库建设是某银行信息系统运维体系的重要组成部分， 基于统一的技术支持平台，通过整合总行、分行数据中心、合作单位和协作厂商的技术资源和解决方案，实现对全行有效的技术支持工作。

运行维护知识库由知识库平台和知识库内容两部分组成。 知识库平台包括知识检索、知识维护与管理等，可以通过纯 Web 方式向服务请求对象提供基于 Web的查询服务和检索服务，以完全共享知识库中的知识，在提供 Web 服务时，还可通过响应中心平台来即时地响应用户请求的服务。

（5 ）运维辅助分析系统

以日常监控平台、运维响应中心、运维流程管理系统为基础，通过统计分析，了解运维服务能力与服务质量的现状，并可以进行趋势分析，为运维管理决策提供支持。

3. 运行维护管理流程

为加强对信息系统的运行维护管理，确保运行维护体系高效、协调运行，应依据运维管理环节、管理内容、管理要求制定统一的运行维护工作流程，实现运行维护工作的标准化、规范化和自动化。通过建立运维管理流程，可以使日常的运维工作流程化，职责角色更加清晰，从而使解决问题的速度和质量得到有效提高，实现知识积累和知识管理，并可以帮助运维部门进行持续的服务改进，提高服务对象的满意度。运行维护流程包含的环节有事件管理、问题管理、变更管理及配置管理。

（1 ）事件管理

所谓事件， 是指发生的对 IT 体系某一环节运行造成影响的事件， 包括系统崩溃、软件故障、任何影响用户业务操作和系统正常运作的故障、以及影响业务流程的情况，事件也包括一个用户的请求。

对日常性运维工作中出现的突发事件 （即日常运行维护管理平台自动发现并产生的告警事件）和由用户/维护人员报告的事件会转入事件管理流程，事件管理流程如图 3 所示。

（2 ）问题管理

问题是指导致事件产生的原因，许多事件往往是由同一个问题引起的。问题的来源主要有以下几种：

①已经处理的事件，经过回顾分析后，可能形成一个问题；

②重大事件， 虽然经过紧急处理恢复服务， 但未找到根本原因， 也形成一个问题；

③对于趋势性事件的分析，并形成问题。

问题管理流程可以按照不同领域的问题（如网络、主机、中间件、数据库、应用等）由相关领域的技术支持专家来处理。原则上这些专家可以是二线支持专家，他们在负责接受来自一线支持人员的支持请求的同时， 也负责对以往事件进行分析，找出事件产生的根本原因，从而确定解决方案，消除这些根本原因，最终使此类事件不再发生；另一方面，也要从发生的事件中找出事件的发展趋势或潜在可能发生的问题，主动提供预防性措施，提高系统可靠性，降低运维成本。

问题管理流程着重于消除事件或减少事件发生，确定事件的根本原因，其流程如下：首先，定期分析事件，找出潜在问题，调查问题以找出其原因，制定解决方案、变通方法或提出预防性措施，以消除产生原因，或在重发时使其影响力最小化。其次，记录解决方案、变通方法、预防性措施，根据需要添加到知识库中。再次，提出变更请求，对问题的解决方案进行评估，通过提出变更请求以对该方案进行测试和实施。最后，问题必须进行事后回顾以找出改进机会或总结预防性措施，包括改进事件监测、找出技能差距和文档资料改进等。

（3 ）变更管理

变更请求通常由于问题的解决方案中需要对生产环境进行某些改变而产生， 变更请求来源于问题管理环节或由用户提交。 变更管理通过一个单一的职能流程来控制和管理整个信息系统运行环境中的一切变更，范围可包括软件，硬件，网络设备和文档等的变更，其流程如下。

①由用户或问题管理环节的维护人员提出变更申请， 由运维负责人检查和完善其内容，并进行风险等级、优先级的初步评估。

②通过分类，确定是否为重大变更、紧急变更，如果是常规变更请求，则由运维负责人安排实施； 如果是风险等级为“重大”的变更请求， 则应上报变更管理小组。

③根据特定的变更请求成立特定的变更管理小组， 成员包括对该变更申请有批准权的人员、对该变更的评估和批准提供参考意见的技术人员和管理人员。评估内容包括变更的技术可行性、对系统性能的影响、对现有服务的影响、对资源的需求等。

④变更管理小组评估后决定是否批准变更申请。变更请求得到批准后，运维负责人安排相应资源进行变更的计划、测试，并制定实施方案，确定实施时间表，分配相应资源，通知请求人

⑤相应岗位实施变更，运维负责人监视实施过程，并在必要时进行协调。

⑥定期回顾变更管理流程以提高效率和效能，在实施变更流程不久之后，可以进行第一次回顾，以确保流程得到正确实施并达到预期目的。对发现的问题必须追根溯源并尽快解决，之后可以定期举行回顾。

（4 ）配置管理

配置管理是服务管理的一个核心流程，能确保应用系统及其运行环境中所有 IT设备/系统及其配置信息得到有效完整的记录和维护， 包括各 IT 设备/系统之间的物理和逻辑关系，从而为实现有效服务管理奠定基础

配置管理流程着重于管理生产环境中所有必须控制的组成元素， 并为其他相关流程（如事件管理等）提供信息，使这些流程更有效地运行，从而确保应用系统环境的完整性和稳定性，其主要流程内容如下。

①识别和维护配置元素：确定需要进行配置管理的元素及所有必需的配置属性，并指明与生产环境中其他配置元素之间的关系。 对配置管理数据库提供日常维护。

②配置状态汇总：根据需要定期产生配置管理报表，并能使相关人员进行相关配置的提取、查询，定期产生配置项的状态报告，并能反映配置项的版本和变动历史。

③审计和确认：定期审核全部或部分配置数据库中的配置项，确认其和物理环境的一致性，从而确保配置信息的完整性。

④计划、回顾和改进：定期制定计划（如半年），以明确下阶段配置管理工作；定期回顾流程和审核结果，找出需要改进的配置项。

⑤配置管理数据库（CMDB）：配置管理数据库由配置识别活动来定义，配置识别活动不但要定义配置项，还需定义配置结构及配置项的相互关系。

4. 运维项目管理流程

项目管理模块主要管理 IT 项目整个生命周期从立项准备、立项、采购、实施、验收、 收尾各个阶段的任务和参与人。从功能上理解项目管理类似于发布管理流程， 即总行部署的应用系统分行仅需要展开实施和验收工作即可，而分行自建项目�...

登入国税网上申报系统

1.找到公司申报系统左列功能操作区菜单“申报历史数据查询”

2点开进入申报历史数据查询，输入需要查询的月份（例如201508是查询7月份是申报数据，以此类推）

3.输入完毕时间后点“查询”键

当月申报的所有财务报表跟纳税申报表都会提现，点击需要查询的报表就可以了

（本文内容由百度知道网友鲁C666贡献）

大数据时代，数据挖掘是最关键的工作。数据挖掘是一种决策支持过程，它主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等，高度自动化地分析企业的数据，做出归纳性的推理，从中挖掘出潜在的模式，帮助决策者调整市场策略，减少风险，做出正确的决策。

数据挖掘的定义

技术上的定义及含义

数据挖掘(Data Mining)就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。这个定义包括好几层含义：数据源必须是真实的、大量的、含噪声的;发现的是用户感兴趣的知识;发现的知识要可接受、可理解、可运用;并不要求发现放之四海皆准的知识，仅支持特定的发现问题。

与数据挖掘相近的同义词有数据融合、人工智能、商务智能、模式识别、机器学习、知识发现、数据分析和决策支持等。

----何为知识从广义上理解，数据、信息也是知识的表现形式，但是人们更把概念、规则、模式、规律和约束等看作知识。人们把数据看作是形成知识的源泉，好像从矿石中采矿或淘金一样。原始数据可以是结构化的，如关系数据库中的数据;也可以是半结构化的，如文本、图形和图像数据;甚至是分布在网络上的异构型数据。发现知识的方法可以是数学的，也可以是非数学的;可以是演绎的，也可以是归纳的。发现的知识可以被用于信息管理，查询优化，决策支持和过程控制等，还可以用于数据自身的维护。因此，数据挖掘是一门交叉学科，它把人们对数据的应用从低层次的简单查询，提升到从数据中挖掘知识，提供决策支持。在这种需求牵引下，汇聚了不同领域的研究者，尤其是数据库技术、人工智能技术、数理统计、可视化技术、并行计算等方面的学者和工程技术人员，投身到数据挖掘这一新兴的研究领域，形成新的技术热点。

这里所说的知识发现，不是要求发现放之四海而皆准的真理，也不是要去发现崭新的自然科学定理和纯数学公式，更不是什么机器定理证明。实际上，所有发现的知识都是相对的，是有特定前提和约束条件，面向特定领域的，同时还要能够易于被用户理解。最好能用自然语言表达所发现的结果。

商业角度的定义

数据挖掘是一种新的商业信息处理技术，其主要特点是对商业数据库中的大量业务数据进行抽取、转换、分析和其他模型化处理，从中提取辅助商业决策的关键性数据。

简而言之，数据挖掘其实是一类深层次的数据分析方法。数据分析本身已经有很多年的历史，只不过在过去数据收集和分析的目的是用于科学研究，另外，由于当时计算能力的限制，对大数据量进行分析的复杂数据分析方法受到很大限制。现在，由于各行业业务自动化的实现，商业领域产生了大量的业务数据，这些数据不再是为了分析的目的而收集的，而是由于纯机会的(Opportunistic)商业运作而产生。分析这些数据也不再是单纯为了研究的需要，更主要是为商业决策提供真正有价值的信息，进而

获得利润。但所有企业面临的一个共同问题是：企业数据量非常大，而其中真正有价值的信息却很少，因此从大量的数据中经过深层分析，获得有利于商业运作、提高竞争力的信息，就像从矿石中淘金一样，数据挖掘也因此而得名。

因此，数据挖掘可以描述为：按企业既定业务目标，对大量的企业数据进行探索和分析，揭示隐藏的、未知的或验证已知的规律性，并进一步将其模型化的先进有效的方法。

数据挖掘常用的方法

利用数据挖掘进行数据分析常用的方法主要有分类、回归分析、聚类、关联规则、特征、变化和偏差分析、Web页挖掘等， 它们分别从不同的角度对数据进行挖掘。

①分类。分类是找出数据库中一组数据对象的共同特点并按照分类模式将其划分为不同的类，其目的是通过分类模型，将数据库中的数据项映射到某个给定的类别。它可以应用到客户的分类、客户的属性和特征分析、客户满意度分析、客户的购买趋势预测等，如一个汽车零售商将客户按照对汽车的喜好划分成不同的类，这样营销人员就可以将新型汽车的广告手册直接邮寄到有这种喜好的客户手中，从而大大增加了商业机会。

②回归分析。回归分析方法反映的是事务数据库中属性值在时间上的特征，产生一个将数据项映射到一个实值预测变量的函数，发现变量或属性间的依赖关系，其主要研究问题包括数据序列的趋势特征、数据序列的预测以及数据间的相关关系等。它可以应用到市场营销的各个方面，如客户寻求、保持和预防客户流失活动、产品生命周期分析、销售趋势预测及有针对性的促销活动等。

③聚类。聚类分析是把一组数据按照相似性和差异性分为几个类别，其目的是使得属于同一类别的数据间的相似性尽可能大，不同类别中的数据间的相似性尽可能小。它可以应用到客户群体的分类、客户背景分析、客户购买趋势预测、市场的细分等。

④关联规则。关联规则是描述数据库中数据项之间所存在的关系的规则，即根据一个事务中某些项的出现可导出另一些项在同一事务中也出现，即隐藏在数据间的关联或相互关系。在客户关系管理中，通过对企业的客户数据库里的大量数据进行挖掘，可以从大量的记录中发现有趣的关联关系，找出影响市场营销效果的关键因素，为产品定位、定价与定制客户群，客户寻求、细分与保持，市场营销与推销，营销风险评估和诈骗预测等决策支持提供参考依据。

⑤特征。特征分析是从数据库中的一组数据中提取出关于这些数据的特征式，这些特征式表达了该数据集的总体特征。如营销人员通过对客户流失因素的特征提取，可以得到导致客户流失的一系列原因和主要特征，利用这些特征可以有效地预防客户的流失。

⑥变化和偏差分析。偏差包括很大一类潜在有趣的知识，如分类中的反常实例，模式的例外，观察结果对期望的偏差等，其目的是寻找观察结果与参照量之间有意义的差别。在企业危机管理及其预警中，管理者更感兴趣的是那些意外规则。意外规则的挖掘可以应用到各种异常信息的发现、分析、识别、评价和预警等方面。

⑦Web页挖掘。随着Internet的迅速发展及Web 的全球普及， 使得Web上的信息量无比丰富，通过对Web的挖掘，可以利用Web 的海量数据进行分析，收集政治、经济、政策、科技、金融、各种市场、竞争对手、供求信息、客户等有关的信息，集中精力分析和处理那些对企业有重大或潜在重大影响的外部环境信息和内部经营信息，并根据分析结果找出企业管理过程中出现的各种问题和可能引起危机的先兆，对这些信息进行分析和处理，以便识别、分析、评价和管理危机。

数据挖掘的功能

数据挖掘通过预测未来趋势及行为，做出前摄的、基于知识的决策。数据挖掘的目标是从数据库中发现隐含的、有意义的知识，主要有以下五类功能。

1、自动预测趋势和行为

数据挖掘自动在大型数据库中寻找预测性信息，以往需要进行大量手工分析的问题如今可以迅速直接由数据本身得出结论。一个典型的例子是市场预测问题，数据挖掘使用过去有关促销的数据来寻找未来投资中回报最大的用户，其它可预测的问题包括预报破产以及认定对指定事件最可能作出反应的群体。

2、关联分析

数据关联是数据库中存在的一类重要的可被发现的知识。若两个或多个变量的取值之间存在某种规律性，就称为关联。关联可分为简单关联、时序关联、因果关联。关联分析的目的是找出数据库中隐藏的关联网。有时并不知道数据库中数据的关联函数，即使知道也是不确定的，因此关联分析生成的规则带有可信度。

3、聚类

数据库中的记录可被化分为一系列有意义的子集，即聚类。聚类增强了人们对客观现实的认识，是概念描述和偏差分析的先决条件。聚类技术主要包括传统的模式识别方法和数学分类学。80年代初，Mchalski提出了概念聚类技术牞其要点是，在划分对象时不仅考虑对象之间的距离，还要求划分出的类具有某种内涵描述，从而避免了传统技术的某些片面性。

4、概念描述

概念描述就是对某类对象的内涵进行描述，并概括这类对象的有关特征。概念描述分为特征性描述和区别性描述，前者描述某类对象的共同特征，后者描述不同类对象之间的区别。生成一个类的特征性描述只涉及该类对象中所有对象的共性。生成区别性描述的方法很多，如决策树方法、遗传算法等。

5、偏差检测

数据库中的数据常有一些异常记录，从数据库中检测这些偏差很有意义。偏差包括很多潜在的知识，如分类中的反常实例、不满足规则的特例、观测结果与模型预测值的偏差、量值随时间的变化等。偏差检测的基本方法是，寻找观测结果与参照值之间有意义的差别。 数据挖掘与传统分析方法的区别

数据挖掘与传统的数据分析(如查询、报表、联机应用分析)的本质区别是数据挖掘是在没有明确假设的前提下去挖掘信息、发现知识.数据挖掘所得到的信息应具有先未知,有效和可实用三个特征.

先前未知的信息是指该信息是预先未曾预料到的,既数据挖掘是要发现那些不能靠直觉发现的信息或知识,甚至是违背直觉的信息或知识,挖掘出的信息越是出乎意料,就可能越有价值.在商业应用中最典型的例子就是一家连锁店通过数据挖掘发现了小孩尿布和啤酒之间有着惊人的联系。

数据挖掘应用

1、数据挖掘解决的典型商业问题

需要强调的是，数据挖掘技术从一开始就是面向应用的。目前，在很多领域，数据挖掘(data mining)都是一个很时髦的词，尤其是在如银行、电信、保险、交通、零售(如超级市场)等商业领域。数据挖掘所能解决的典型商业问题包括：数据库营销(Database Marketing)、客户群体划分(Customer Segmentation & Classification)、背景分析(Profile Analysis)、交叉销售(Cross-selling)等市场分析行为，以及客户流失性分析(Churn Analysis)、客户信用记分(Credit Scoring)、欺诈发现(Fraud Detection)等等。

2、数据挖掘在市场营销的应用

数据挖掘技术在企业市场营销中得到了比较普遍的应用，它是以市场营销学的市场细分原理为基础，其基本假定是“消费者过去的行为是其今后消费倾向的最好说明”。

通过收集、加工和处理涉及消费者消费行为的大量信息，确定特定消费群体或个体的兴趣、消费习惯、消费倾向和消费需求，进而推断出相应消费群体或个体下一步的消费行为，然后以此为基础，对所识别出来的消费群体进行特定内容的定向营销，这与传统的不区分消费者对象特征的大规模营销手段相比，大大节省了营销成本，提高了营销效果，从而为企业带来更多的利润。

商业消费信息来自市场中的各种渠道。例如，每当我们用信用卡消费时，商业企业就可以在信用卡结算过程收集商业消费信息，记录下我们进行消费的时间、地点、感兴趣的商品或服务、愿意接收的价格水平和支付能力等数据;当我们在申办信用卡、办理汽车驾驶执照、填写商品保修单等其他需要填写表格的场合时，我们的个人信息就存入了相应的业务数据库;企业除了自行收集相关业务信息之外，甚至可以从其他公司或机构购买此类信息为自己所用。

这些来自各种渠道的数据信息被组合，应用超级计算机、并行处理、神经元网络、模型化算法和其他信息处理技术手段进行处理，从中得到商家用于向特定消费群体或个体进行定向营销的决策信息。这种数据信息是如何应用的呢?举一个简单的例子，当银行通过对业务数据进行挖掘后，发现一个银行帐户持有者突然要求申请双人联合帐户时，并且确认该消费者是第一次申请联合帐户，银行会推断该用户可能要结婚了，它就会向该用户定向推销用于购买房屋、支付子女学费等长期投资业务，银行甚至可能将该信息卖给专营婚庆商品和服务的公司。数据挖掘构筑竞争优势。

在市场经济比较发达的国家和地区，许多公司都开始在原有信息系统的基础上通过数据挖掘对业务信息进行深加工，以构筑自己的竞争优势，扩大自己的营业额。美国运通公司(American Express)有一个用于记录信用卡业务的数据库，数据量达到54亿字符，并仍在随着业务进展不断更新。运通公司通过对这些数据进行挖掘，制定了“关联结算(Relation ship Billing)优惠”的促销策略，即如果一个顾客在一个商店用运通卡购买一套时装，那么在同一个商店再买一双鞋，就可以得到比较大的折扣，这样既可以增加商店的销售量，也可以增加运通卡在该商店的使用率。再如，居住在伦敦的持卡消费者如果最近刚刚乘英国航空公司的航班去过巴黎，那么他可能会得到一个周末前往纽约的机票打折优惠卡。

基于数据挖掘的营销，常常可以向消费者发出与其以前的消费行为相关的推销材料。卡夫(Kraft)食品公司建立了一个拥有3000万客户资料的数据库，数据库是通过收集对公司发出的优惠券等其他促销手段作出积极反应的客户和销售记录而建立起来的，卡夫公司通过数�...

一个公司的一小步，一个行业的一大步。

Jenny是一位音乐公司合伙人，也是一位超级乐迷。她打开了手机客户端，音乐源源流出，她靠在椅上闭上双眼，想象各种版权信息、数据报表通过电波源源不断地流向版权商的电脑终端。。。

在数字音乐行业中有过相同梦境的，不仅仅是Jenny。

置身互联网时代，技术和服务的发展不断刷新着用户的体验，也为音乐消费带来了前所未有的便利、为音乐产品的精准开发和推广创造了可能。然而现实情况比较骨感，版权商获得的数据在完整度、准确度、时效性等方面都差强人意，格式不规范，透明度不够，难以分析和解读 —— 上下游之间仿佛总隔着一片难以穿越的磨砂玻璃。

随着“大数据”技术已经应用到了生活中的诸多领域，通过数字科技的力量来追踪全球网络音乐服务的实时数据以及实时的版权收入分成已经成为可能。遗憾的是，纵观全球音乐行业，只有为数不多的公司建立起了数据实时分享系统（比如苹果、谷歌这样的巨头），而中国市场上这样的先行者更是无迹可寻。

与其他产业不同，数字音乐行业的消费模式非常碎片化，每分每秒都有用户从四面八方通过各种渠道点播歌曲或者付费下载音乐，由此产生的小额交易数以亿计。举例来说，Spotify上的一首热歌，单次点击的收入可能只有0.007美元，然而该曲目独立的流媒体渠道收入可能高达70万。这种“碎片化的收入”放在过去一张唱片卖10美元的年代是不可想象的，对超高频、低单价的行业消费数据进行精准实时的统计，是一项极为繁琐的工作。这种吃力却未必讨好的苦差事面前，音乐平台们大都动力不足，长期以来选择了裹足观望。

直到最近，局面终于有了改变 —— 近日，中国领先的数字音乐内容及服务整合商爱听卓乐，经过近两年的规划，在投入大量资源并经过一年时间的筹备和研发后，发布了专门针对版权行业痛点的数据报表系统。目前测试版本V1.0 已经开放给部分合作CP试用。爱听卓乐将根据首批合作伙伴的反馈，对数据报表系统进行优化升级和功能完善，争取尽快开放给所有的合作伙伴使用。

爱听卓乐团队花费一年多时间研发出数据报表系统

作为一家拥有小米、三星、魅族等优质客户以及包括全球前三大唱片公司在内海量版权资源的B2B音乐平台，爱听卓乐自创立伊始积极倡导建立公开透明的行业环境，改善数字音乐生态。通过数据报表系统的发布，爱听卓乐冀望能吸引更多的同行、合作方参与进来，共同建立一个更完善的数据分享体系，促进行业的健康有序发展。

该项目的负责人、爱听卓乐产品负责人范永松介绍，爱听卓乐的数据报表系统能够提供的信息主要包括：

●各家版权方完整的、歌曲相关的多维度播放数据，包括播放总次数、各硬件渠道播放次数、市场份额、用户行为、各省份播放次数等相关实时数据；

●各家版权方、各硬件渠道及不同设备上的热门歌曲排行、热门专辑排行、热门歌手排行；

●各家版权方财务分成收入相关实时数据；

●爱听卓乐为各家版权方设置独立登录账号，各家版权方可以在任何时刻上网登录系统，查看自己所关心的数据。

数据报表系统全面上线后，爱听卓乐的合作伙伴将能够在系统后台实时调阅上述数据，获取音乐版权详尽的使用情况报告，这意味着版权方可以：

●全面掌握音乐作品的消费情况，及时调整在不同音乐平台渠道和不同地区的推广策略，以及音乐创作的方向；

●精确估算版权收入情况，确保财务利益得到保护。

对于此次发布的数据报表系统，爱听卓乐及合作各方均寄予了厚望：

福茂唱片 新媒体部&著作权公司总监 陈晓云(Sabine) ：福茂唱片一直致力于为乐迷精心打造具有影响力和创造力的华语流行乐。我们希望能直观真实地了解到艺人的作品在各个硬件渠道的音乐数据，爱听卓乐诚实地把这些数据开放给我们，这将加强我们与爱听卓乐精诚合作、发展共赢的信心。

杰威尔音乐 新媒体经理 徐剑铭：杰威尔很高兴能和爱听卓乐携手，把杰伦、袁咏琳、派伟俊及其他签约艺人的好音乐通过手机及各种智能设备与数以亿计的乐迷共享。我们从其他音乐平台获得的报表通常是每月或季度的报告，而爱听卓乐提供了接近实时的报告，让我们对其技术实力和合作诚意刮目相看。

爱听卓乐创始人、CEO潘才俊：数据报表系统的开发和使用将为所有的合作伙伴乃至整个行业创造价值。对于艺人、创作者来说，通过爱听卓乐提供的音乐数据，他们能够非常清楚地了解作品的市场表现，有助于创作出更受粉丝喜爱的作品；对于唱片公司来说，通过实时的数据报表，不仅可以直观地查看版税收入，通过深层次的数据分析和挖掘，还将有助于制定更符合自身发展需要的运营策略；对数字音乐行业来说，数据报表系统将大幅度提升行业透明度、现金流速度和行业效率。未来，爱听卓乐还将以数据报表系统为基础，打造中国第一个服务于全行业的音乐大数据平台。

数据报表系统还将为整个音乐行业带来一个显著的进化，版权合作将从过去的以“金钱”为中心变成以“数据”为中心，音乐版权的使用情况、收入趋势的预测将变得前所未有的便利，从而让版权预付、保底金额的估算变得更加理性和有章可循。

数据报表系统的推出，不仅是提供一种服务，更是表达一种态度，随着合作各方的信任度的提升，行业将进入更健康更迅捷的发展通道。一个公司的一小步，或将带动行业往前迈进一大步。

摘下耳机放下手机的Jenny打开了电脑，屏幕上跳动的数字告诉她，刚才的梦境已经成为了现实。

欢迎关注爱听卓乐

一、中国大数据行业发展状况

1、大数据行业发展趋势

2018年中国大数据核心产业规模预计为329亿元人民币，较2017年相比增速达39.4%。预计在未来几年内，大数据市场将继续保持30%以上的增速。到2020年，中国大数据市场规模将达到586亿元人民币，接近2017年全年规模的2.5倍。

2017年软件市场规模为104.1亿元，占比达到44.1%，比2016年上升0.9个百分点。

注：① 数据来源于《中国信通院：中国大数据调查发展报告（2018）》② 大数据核心产业：是指大数据直接相关的软件、硬件及专业服务，大数据市场规模的计算口径，相应的包含的大数据软件、硬件及服务的直接产值，不含因大数据应用产生的附加值。

2、企业在大数据领域的投入

随着大数据技术的逐步成熟，以及国家政策的大力推进，企业届普遍看好大数据的发展前景，对于大数据领域的投入持更积极的态度。一半以上的受访企业未来计划加大对大数据的投入，相比2016年提升了6.7%；其中，大数据投入增加超过50%的企业占比达到了25.5%，另有32.7%的企业在数据方面的投入增加在50%以内。

注：数据来源于《中国信通院：中国大数据调查发展报告（2018）》

3、企业对大数据应用的重视程度

企业对大数据的应用重视程度愈加显著，绝大部分企业已经认识到数据分析对企业发展的重要性。调查发现，超过六成的企业已经成立数据分析相关部门，较2016年提高了7个百分点。

注：数据来源于《中国信通院：中国大数据调查发展报告（2018）》

接近四成的受访企业，已经在应用大数据，较2016年提升了4.5%；暂不考虑应用大数据的企业从2016年的7.8%下降到6.8%。

注：数据来源于《中国信通院：中国大数据调查发展报告（2018）》

二、企业数据应用情况

1、BI上线情况

调查发现，超过73.31%的企业，上线了诸如ERP、CRM、MES等业务信息化系统，上线BI商业智能系统的企业，占据受访企业的22.47%。

超过7成的已经上线BI的企业认为，当前BI项目建设能较好的满足现在的需求，对未来也有比较好的扩展支撑。16.7%的受访企业认为，BI技术选型和实施过于落后，无法满足多变的需求，面临上线即被淘汰的尴尬境地。

2、企业数据应用成熟度

调研发现，几乎所有已上线BI的企业处于“数据产出间接价值”的阶段，即通过数据来驱动企业决策和运营。37.9%的企业，处于业务监测阶段，他们通常应用传统的DW和报表方式，监测现有企业业务的运行状况。25.9%的企业处于业务洞察阶段，他们通常使用统计分析、预测分析以及数据挖掘技术，来提示重大、相关的业绩改善建议。31 %的企业处于业务优化阶段，他们应用大数据分析来助力业务运营，使业务活动自动进行不断的优化和提升。仅有3.5%的企业处于数据盈利阶段，比如将数据分析与产品集成，创造智能型产品，或利用可操作的业务洞察与推荐技术，提升客户关系、全新重塑客户体验。另外，还有1.7%的企业处于业务重塑阶段，他们通常利用对客户使用方式、产品效能行为及总体市场趋势的分析，将上演模式转换到新市场的新服务。

3、数据的应用需求

（1）数据价值需求

当前企业应用BI产品，最期待获得的数据价值，一是数据整合方面，二是数据展示效率，三是辅助管理决策。72.8%的受访企业最想获得的数据价值是整合多系统数据，打通多系统的数据，解决掉数据壁垒问题，实现信息透明，69.1%的企业想要提高报表的输出效率，能够更快更准更省事。53.7%的企业需要通过数据分析，辅助企业决策，实现科学化、数据化的决策。

（2）企业部门应用情况

运营管理、营销、财务是企业应用BI最广泛，也是最为成功的三个领域。调查发现，26.5%的企业成功应用于运营管理，22.9%的企业成功应用于财务部门，另有22.9%的企业成功应用于营销部门。

（3）场景需求

随着企业数据量的不断增加，以及数据可视化效果的展现需求，70.2%的受访企业期望解决大数据分析场景，43.3%的企业期望实现业务人员自主做分析，以增加数据分析效率。

另外随着移动互联网时代的推进，69.7%的受访企业需要移动端数据展现，提高数据的访问和应用效率。数据可视化大屏是近2年火起来的，约54.49%的企业对数据大屏有兴趣，希望通过炫酷的数据大屏效果，来满足参观、会议、生产现场的数据展示等场景需求。

4、企业的数据现状

企业数据资源规模增长迅速。调查发现，目前约70%的企业拥有的数据资源总量在50~500T之间，与往年相比，企业数据资源总量呈增长趋势。此外，不清楚数据规模的企业从2016年的11.4%降低至2017年的5.6%，说明企业已愈加重视数据资产管理。

注：数据来源于《中国信通院：中国大数据调查发展报告（2018）》

企业数据资源主要来源于企业内部。调研发现，企业数据主要来源于内部生产数据、客户/用户数据、内部经营管理数据，与以往相比，企业对外部购买的数据和政府免费开放的数据需求越来越多，但外部购买的数据和政府免费开放的数据的应用比例仍处于较低水平。

注：数据来源于《中国信通院：中国大数据调查发展报告（2018）》

企业在数据层面遇到的主要是数据孤岛的问题。调查发现，61.7%的受访企业的数据过于分散，存在数据孤岛的问题，取数分析麻烦.78.7%的企业的数据仍旧大量分散在excel、word等文本文件中，进一步加强了数据孤岛的难度。

24.7%的企业表示，曾经尝试过一些数据治理的方案，但效果差，达不到数据管理的预期，这些企业中的70.9%还认为存在数据孤岛的问题。可见底层数据管理是一项艰巨而长远的事情。

企业面临的数据问题

5、企业的数据展示

几乎所有的企业都会使用传统的数据报表来展示信息，有84.3%的企业会选择使用酷炫的图形图表来制作报表。Gartner在《Survey Analysis: Traditional Approaches Dominate Data and Analytics Initiatives》报告中也提到“报表能力”和“仪表板能力”是BI平台最关键的部分。

企业的数据展现方式

企业的数据分析的方式多样，不同企业也会选择多个方式，但主要依赖业务系统自带的报表，以及使用SQL+EXCEL的方式来解决。调查发现，64.8%的受访企业，采取了业务系统自带的报表或分析来查看数据，70 %的企业采取了SQL+EXCEL的手工方式，来制作特定或临时的报表，用于展现财务、经营等状况。10.8%的企业，信息部门具备一定的开发能力，通过手工写代码的方式来制作报表，其余则采取BI工具来制作报表或分析，而这一比例还在不断上升。

在前端数据分析与可视化方面，企业主要存在可读性的问题，约有65%的企业表示内部数据报表交互性差，体验不好，报表不美观，数据的可读性较差。另外有53.4%企业表示，他们为了满足业务的数据需求，不断开发新的报表或数据分析，通过暴力的堆砌数量的方式，虽然短时间内满足了需求，但长远来看给信息部门带来了大量的维护工作。缺乏统一，没有报表体系，无法形成全局的数据视野，即难以将报表价值，提升为管理价值、运营价值，是50.9%的企业遇到的难题。

6、企业选型BI工具时的考虑

企业在选型BI产品的时候，最关注的要素是产品是否高效易用。调查发现，69.1%的受访企业看中产品是否高效易用，便捷高效。同时Gartner在《Survey Analysis: Key Selection Criteria for Business Intelligence and Analytics Platforms》报告中指出，产品的易用性对企业获取商业价值也是第一位的影响要素。产品的功能与稳定性，关注比例相近，是第二关注的要素。对于产品的采购成本，并不是企业选购BI工具时候的主要考虑因素。另外，接近三分之一的企业看中厂商所提供的服务支撑和学习资源，这一比例较往年有所提升，越来越多的企业认识到服务和学习资源，对自己信息部门日后承担其BI项目运维与开发，有着至关重要的影响。

从功能层面，企业比较看重报表能力、移动端、填报录入、管理驾驶舱这几项功能。超过一半的企业，重视常规报表制作与展示、移动端BI功能。接近一半的企业，期待用数据填报来解决企业内部数据采集和录入的问题，数据填报也是解决数据分散在excel、word中的有效办法。对于机器学习、自然语言识别、人工智能这些未来BI的功能，企业并不感冒，仅有一成的企业表示关注。这些功能更多是停留在概念层面，还处于炒作期，实际的使用场景还不多。

7、企业数据价值展现的主要困难

数据整合治理与数据人才的培养，是企业在推动BI项目成功，面临的主要问题。64.8%的受访企业表示数据的整合与治理，是未来的主要挑战。一半的受访企业认为，数据人才的培养和数据分析工具的选择，也是主要难点。

1.Linux基础和分布式集群技术

学完此阶段可掌握的核心能力：

熟练使用Linux，熟练安装Linux上的软件，了解熟悉负载均衡、高可靠等集群相关概念，搭建互联网高并发、高可靠的服务架构；

学完此阶段可解决的现实问题：

搭建负载均衡、高可靠的服务器集群，可以增大网站的并发访问量，保证服务不间断地对外服务；

学完此阶段可拥有的市场价值：

具备初级程序员必要具备的Linux服务器运维能力。

1.内容介绍：关注作者：需要大数据学习视频资料可以加我QQ群，此文里面连起来的数字，你会找到我的

在大数据领域，使用最多的操作系统就是Linux系列，并且几乎都是分布式集群。该课程为大数据的基础课程，主要介绍Linux操作系统、Linux常用命令、Linux常用软件安装、Linux网络、防火墙、Shell编程等。

2.案例：搭建互联网高并发、高可靠的服务架构。

2.离线计算系统课程阶段

1. 离线计算系统课程阶段

Hadoop核心技术框架

学完此阶段可掌握的核心能力：欢迎加入722680258零基础到项目实战

1、通过对大数据技术产生的背景和行业应用案例了解hadoop的作用；2、掌握hadoop底层分布式文件系统HDFS的原理、操作和应用开发；3、掌握MAPREDUCE分布式运算系统的工作原理和分布式分析应用开发；4、掌握Hive数据仓库工具的工作原理及应用开发。

学完此阶段可解决的现实问题：

1、熟练搭建海量数据离线计算平台；2、根据具体业务场景设计、实现海量数据存储方案；3、根据具体数据分析需求实现基于mapreduce的分布式运算程序；

学完此阶段可拥有的市场价值：

具备企业数据部初级应用开发人员的能力

1.1 HADOOP快速入门

1.1.1 hadoop知识背景

什么是hadoop、hadoop产生背景、hadoop在大数据云计算中的位置和关系、国内hadoop的就业情况分析及课程大纲介绍

国内外hadoop应用案例介绍

分布式系统概述、hadoop生态圈及各组成部分的简介

1.1.2 HIVE快速入门

hive基本介绍、hive的使用、数据仓库基本知识

1.1.3 数据分析流程案例

web点击流日志数据挖掘的需求分析、数据来源、处理流程、数据分析结果导出、数据展现

1.1.4 hadoop数据分析系统集群搭建

集群简介、服务器介绍、网络环境设置、服务器系统环境设置、JDK环境安装、hadoop集群安装部署、集群启动、集群状态测试

HIVE的配置安装、HIVE启动、HIVE使用测试

1.2 HDFS详解

1.2.1 HDFS的概念和特性

什么是分布式文件系统、HDFS的设计目标、HDFS与其他分布式存储系统的优劣势比较、HDFS的适用场景

1.2.2 HDFS的shell操作

HDFS命令行客户端启动、HDFS命令行客户端的基本操作、命令行客户端支持的常用命令、常用参数介绍

1.2.3 HDFS的工作机制

HDFS系统的模块架构、HDFS写数据流程、HDFS读数据流程

NAMENODE工作机制、元数据存储机制、元数据手动查看、元数据checkpoint机制、NAMENODE故障恢复、DATANODE工作机制、DATANODE动态增减、全局数据负载均衡

1.2.4 HDFS的java应用开发

搭建开发环境、获取api中的客户端对象、HDFS的java客户端所具备的常用功能、HDFS客户端对文件的常用操作实现、利用HDFS的JAVA客户端开发数据采集和存储系统

1.3 MAPREDUCE详解

1.3.1 MAPREDUCE快速上手

为什么需要MAPREDUCE、MAPREDUCE程序运行演示、MAPREDUCE编程示例及编程规范、MAPREDUCE程序运行模式、MAPREDUCE程序调试debug的几种方式

1.3.2 MAPREDUCE程序的运行机制

MAPREDUCE程序运行流程解析、MAPTASK并发数的决定机制、MAPREDUCE中的combiner组件应用、MAPREDUCE中的序列化框架及应用、MAPREDUCE中的排序、MAPREDUCE中的自定义分区实现、MAPREDUCE的shuffle机制、MAPREDUCE利用数据压缩进行优化、MAPREDUCE程序与YARN之间的关系、MAPREDUCE参数优化

通过以上各组件的详解，深刻理解MAPREDUCE的核心运行机制，从而具备灵活应对各种复杂应用场景的能力

MAPREDUCE实战编程案例：通过一个实战案例来熟悉复杂MAPREDUCE程序的开发。该程序是从nginx服务器产生的访问服务器中计算出每个访客的访问次数及每次访问的时长。原始数据样例如下：

通过一系列的MAPREDUCE程序——清洗、过滤、访问次数及时间分析，最终计算出需求所要的结果，用于支撑页面展现：

1.4 HIVE增强

1.4.1 HIVE基本概念

HIVE应用场景、HIVE内部架构、HIVE与hadoop的关系、HIVE与传统数据库对比、HIVE的数据存储机制、HIVE的运算执行机制

1.4.2 HIVE基本操作

HIVE中的DDL操作、HIVE中的DML操作、在HIVE中如何实现高效的JOIN查询、HIVE的内置函数应用、HIVE shell的高级使用方式、HIVE常用参数配置、HIVE自定义函数和TRANSFORM的使用技巧、HIVE UDF开发实例

1.4.3 HIVE高级应用

HIVE执行过程分析及优化策略、HIVE在实战中的最佳实践案例、HIVE优化分类详解、HIVE实战案例--数据ETL、HIVE实战案例--用户访问时长统计

HIVE实战案例--级联求和报表实例：

离线数据挖掘系统

学完此阶段可掌握的核心能力：

1、通过对数据仓库知识的加强初步掌握数据仓库的核心概念和设计流程;2、通过对HADOOP生态圈关键辅助工具的学习掌握hadoop分析系统的整合能力;3、通过电商系统点击流日志数据挖掘系统实战项目，掌握hadoop离线数据挖掘系统从数据采集、入库、分析及报表展现的整套流程

学完此阶段可解决的现实问题：

1、可根据企业具体场景设计海量数据分析系统的通用架构2、根据具体场景的特点有针对性地调整数据分析各环节的技术选型;3、根据具体需求搭建起整套离线数据分析系统;4、简单数据仓库模型的设计和架构5、各环节具体功能模块的开发实现

学完此阶段可拥有的市场价值：

具备企业数据部中高级应用开发和初级架构师能力

2.1 数据仓库增强

2.1.1 数据仓库及数据模型入门

什么是数据仓库、数据仓库的意义、数据仓库核心概念、数据仓库的体系结构

2.1.2 数据仓库设计

建立数据仓库的步骤、数据的抽取、数据的转换、数据的加载、什么是数据模型、数据模型的常见类型、如何设计数据模型、如何选择数据建模的架构

典型数据模型——星型建模实例

2.1.3 数据仓库建模样例

业务建模、领域建模、逻辑建模、物理建模

web点击流日志分析系统数据仓库设计实战：

通过对数据特点和业务需求的分析，关系梳理，设计出一个主题明确、层次合理的数据模型

2.2 离线辅助系统

2.2.1 数据采集系统

数据采集概念介绍

FLUME日志采集框架介绍、FLUME工作机制、FLUME核心组件、FLUME参数配置说明、FLUME采集nginx日志实战案例

2.2.2 任务调度系统

任务调度系统概念介绍、常用任务调度工具比较、OOZIE介绍、OOZIE核心概念、OOZIE的配置说明、OOIZE实现mapreduce/hive等任务调度实战案例

2.2.3 数据导出

数据导出概念介绍、SQOOP基础知识、SQOOP原理及配置说明、SQOOP数据导入实战、SQOOP数据导出实战、SQOOP批量作业操作

2.3 web点击流日志分析系统实战项目

2.3.1 项目介绍

1. 在PC时代，营销的核心是购买，在移动互联网时代，其核心是如何实现用户个性化互动，对用户传播更为精准化的内容，而实现这一核心的基础就是对数据的管理和分析——数据驱动型商业模型。

2. 各类互联网服务产品(如网站、APP)都可以通过前端技术获取用户的详细行为数据(如访问的页面，点击的区域、登陆的频次、注册行为、购买的行为等)，将这些点击流日志数据与后台商业数据综合起来，就可以挖掘对公司运营决策意义非凡的商业价值。

3. 本项目则是一个用大数据技术平台实现的点击流日志分析数据挖掘系统，项目内容涵盖一个典型数据挖掘系统中，包括需求分析、数据采集、数据存储管理、数据清洗、数据仓库设计、ETL、业务模型统计分析、数据可视化的全部流程。

2.3.2 需求分析

什么是点击流日志、点击流日志的商业价值、点击流日志分析需求

业务模型指标体系设计——流量分析、来源分析、受访分析、访客分析、转化率分析

2.3.3 系统设计及开发

1. 系统架构设计

2. 数据采集设计及开发——数据格式、数据内容分析、数据生成规律、采集系统技术选型解析、FLUME采集系统实现

3. 数据存储设计及开发——存储技术选型、存储业务流程解析、存储目录规划及文件命名规则、小文件合并实现

4. 数据统计设计及开发——数据预处理、数据加载、原始数据表的创建、数据入库、数据ETL

5. 报表统计设计——数据模型设计、事实表设计、维度表梳理

6. 业务指标设计及开发——PV统计(时间维度、终端维度、地域维度)、来访次数统计(时间维度、地域维度、终端维度)、独立访客统计(时间维度、终端维度、地域维度)、受访页面统计(时间维度、栏目维度)、页面热点图、转化率分析、来源关键词分析、来源搜索引擎分析、来源广告推广分析

2.3.4 任务调度系统设计实现

任务调度单元实现、各环节任务运行频次及依赖关系梳理、工作流设计及实现、工作流定义配置上传部署、工作流启动即状态监控

2.3.5 数据可视化——结果报表展现

1. hive分析结果使用sqoop导出到msyql数据库

2. 报表展现系统技术选型：

后台使用spingmvc + spring + mybatis

前端页面使用全静态异步刷新技术jQuery + Echarts

3. web展现程序架构搭建，使用maven构建项目工程

4. web展现程序页面设计开发：原型页面设计、js代码开发

5. 最终实现以下数据可视化效果：

(1)流量概况可视化效果：

(2)来源地域分析可视化效果：

(3)来源类型分析可视化效果：

3.Storm实时计算部分阶段

实时课程分为两个部分：流式计算核心技术和流式计算计算案例实战。

1.流式计算核心技术

流式计算核心技术主要分为两个核心技术点：Storm和Kafka，学完此阶段能够掌握Storm开发及底层原理、Kafka的开发及底层原理、Kafka与Storm集成使用。具备开发基于storm实时计算程序的技术能力。

学完此阶段可掌握的核心能力：

(1)、理解实时计算及应用场景

(2)、掌握Storm程序的开发及底层原理、掌握Kafka消息队列的开发及底层原理

(3)、具备Kafka与Storm集成使用的能力

学完此阶段可解决的现实问题：

具备开发基于storm的实时计算程序的能力

学完此阶段可拥有的市场价值：

具备实时计算开发的技术能力、但理解企业业务的能力不足

1.1、流式计算一般结构

2011年在海量数据处理领域，Hadoop是人们津津乐道的技术，Hadoop不仅可以用来存储海量数据，还以用来计算海量数据。因为其高吞吐、高可靠等特点，很多互联网公司都已经使用Hadoop来构建数据仓库，高频使用并促进了Hadoop生态圈的各项技术的发展。一般来讲，根据业务需求，数据的处理可以分为离线处理和实时处理，在离线处理方面Hadoop提供了很好的解决方案，但是针对海量数据的实时处理却一直没有比较好的解决方案。就在人们翘首以待的时间节点，storm横空出世，与生俱来的分布式、高可靠、高吞吐的特性，横扫市面上的一些流式计算框架，渐渐的成为了流式计算的首选框架。如果庞麦郎在的话，他一定会说，这就是我要的滑板鞋!

上图是流式分析的一般架构图，抽象出四个步骤就是数据采集、数据缓冲、数据处理、数据输出。一般情况下，我们采用Flume+kafka+Storm+Redis的结构来进行流式数据分析。实时部分的课程主要是针对Kafka、Storm进行学习

1.2、流式计算可以用来干什么

一淘-实时分析系统：实时分析用户的属性，并反馈给搜索引擎。最初，用户属性分析是通过每天在云梯上定时运行的MR job来完成的。为了满足实时性的要求，希望能够实时分析用户的行为日志，将最新的用户属性反馈给搜索引擎，能够为用户展现最贴近其当前需求的结果。

携程-网站性能监控：实时分析系统监控携程网的网站性能。利用HTML5提供的performance标准获得可用的指标，并记录日志。Storm集群实时分析日志和入库。使用DRPC聚合成报表，通过历史数据对比等判断规则，触发预警事件。

一个游戏新版本上线，有一个实时分析系统，收集游戏中的数据，运营或者开发者可以在上线后几秒钟得到持续不断更新的游戏监控报告和分析结果，然后马上针对游戏的参数和平衡性进行调整。这样就能够大大缩短游戏迭代周期，加强游戏的生命力。

实时计算在腾讯的运用：精准推荐(广点通广告推荐、新闻推荐、视频推荐、游戏道具推荐);实时分析(微信运营数据门户、效果统计、订单画像分析);实时监控(实时监控平台、游戏内接口调用)

为了更加精准投放广告，阿里妈妈后台计算引擎需要维护每个用户的兴趣点(理想状态是，你对什么感兴趣，就向你投放哪类广告)。用户兴趣主要基于用户的历史行为、用户的实时查�...

文 | 帆软数据应用研究院 刘传岑

一、客户介绍

西南证券成立于1999年，唯一一家注册地在重庆的全国综合性证券公司。2009年公司在上海证券交易所挂牌上市，成为中国第九家上市证券公司，重庆第一家A股上市金融机构。目前在全国29个省份设立9家分公司和119家证券营业部，员工逾3400人。公司在做优做强传统业务的基础上，持续加大产品服务创新，为各类型客户提供全方位的证券服务。

为了更好的为公司各业务部门提供决策数据支撑，满足日益增长的信息化需求，IT部门通过帆软产品搭建了企业集团级的业务分析系统，业务分析系统目前挂载了300多个页面，供公司3000多人访问，系统月访问量达1万次左右。同时业务分析系统与公司OA系统进行了集成，满足各业务部门人员日常使用需求。

二、合作背景

公司领导层早在几年前就意识到了数据辅助决策的重要性，IT部门之前采用IBM的Cognos工具进行业务分析系统的搭建，但是由于Cognos在实现营业部树状条件和月份条件等常见查询控件需求、Excel导出样式失真、不支持word导出以及系统集成一般等功能上的局限性，同时缺乏对数据填报功能的支持，为了满足日常业务需求场景，在采用Cognos的基础上引入第三方开源报表框架，以弥补查询控件、excel导出、系统集成和数据填报上的功能需求。

这种业务分析系统的开发模式，在业务部门需求逐渐增多的情形下，由于较高的开发门槛和较长的开发周期以及若干功能细节的局限等原因，给IT部门带来较大的开发压力，无法及时应对频繁的需求变更，造成需求方满意度下降等负面情况。

因此，IT部门一直在寻求技术门槛更低、可操作性更好的工具，能同时满足业务分析系统的功能应用场景。在经过新的产品选型，综合产品功能、成熟度、服务支持、集成性等方面，在2016年西南证券和帆软合作，IT部门一方面将之前开发的报表进行迁移，一方面快速响应业务部门新的需求。

三、 数据中心建设

数据中心建设背景

企业级的业务分析系统，离不开底层数据的支持。随着公司业务规模的不断扩大，业务系统的增多，如果直接让业务分析系统连接各业务系统，一方面会给业务系统带来压力，可能影响正常业务的开展，降低业务系统的数据安全性。另一方面为了满足业务分析场景的需求，需要进行数据的整合，而各业务系统的数据口径不一致，如果直接把各业务系统的数据取过来使用，会给数据整合带来麻烦。

与此同时各业务系统多年来积累了大量的历史数据，包括了客户的基本信息、交易行为、业务流程等数据，这些数据蕴含着传统经验难以寻觅的价值，对于企业而言是一笔宝贵的资源。从公司层面来说，通过数据挖掘，可以去寻找目标客户、寻找客户需求、分析业务流程，让客户增长更迅速、产品销售更精准、业务流程更高效。站在企业创新的角度来看，如何利用好这些数据成了助推企业发展的关键。

因此为了实现对集团业务数据的管理和应用，需要建立企业级的数据中心。

在技术方面，西南证券的数据化建设起于2013年，公司实施建立了数据中心系统、上线了业务分析系统，合并整合了原有的龙虎榜，同时提供了更多的数据展示。

项目组也形成了持续稳定的数据中心团队，为公司提供数据平台和数据服务，数据中心团队目前共计有8人，数据中心支持了公司23个系统数据集中和数据交换，200多个任务，8T数据量。

数据中心体系结构

数据中心整体架构分为数据仓库和数据分析两部分，数据仓库作为数据中心的底层，提供整体业务数据的落地存储，为数据分析打好地基。数据分析作为数据中心的应用层，通过数据仓库提供的数据，进行业务相关分析。

数据仓库目前使用Oracle数据库，每天夜间通过ETL工具定时自动将数据从各业务系统中增量抽取到贴源层，贴源层作为各业务系统数据的镜像，只采集数据，不对数据进行处理。采集过来的数据由于数据口径不一致，无法直接进行数据整合，因此需要将贴源层的数据根据统一的数据标准进行数据清洗，规范字段名称、统一数据单位与格式、将清洗后的数据落地到EDW层。DDW层则根据具体的业务分析需要用到的指标，建立指标模型，将EDW层的数据根据指标进行整合。同时根据业务需要建立新的数据库表，在数据仓库中将复杂的逻辑运算先处理掉，以减轻前端数据展现时的响应时间。

建设阶段

第一阶段目标是搭建基础平台、业务数据集中、满足基础报表。实现了以数据中心为核心的数据交互体系,为三方系统及业务部门提供数据服务。在应用上，实现了各业务条线的决策数据、业务报表需求，并建设了后台的任务调度管理平台、数据质量管理平台以及业务报表管理平台等功能，形成了公司级的数据基础平台和服务平台。

第二、三阶段目标是建立数据仓库、制定数据标准、深入数据应用。基于证券行业设计落地了数据仓库模型，建设了客户统一模型，通过身份识别将公司分布在各系统中的客户信息和标识进行统一和关联。在数据仓库的基础上设计和开发了多维指标层，将客户、分支机构各主要指标和标签进行了计算，满足客户分析、经营分析、固定报表等。同时形成和发布公司标准《西南证券数据仓库指标标准》。在数据标准、数据应用、数据治理三个方面上持续建设。面向公司各层级建立多维分析模型和自主分析平台，构成客户、产品、分支机构、渠道主题分析，满足自定义分析需求。

四、数据应用场景实例

客户开户引流和渠道分析

近年来证券行业随着与互联网的结合，证券公司间对零售客户的竞争越来越激烈，开户渠道、客户服务、产品营销各方面都需要付出极大努力，数据也在其中起到重要作用。比如作为客户开户的重要来源的渠道引流，如果对各渠道开户进入的客户数据进行分析，就可以看到不同渠道开的客户质量是不同的，有效户占比、人均资产、人均佣金贡献、客户地区来源等关键信息，都体现了不同渠道的优劣，因此我们就可以择优选择渠道重点进行投入，实现引入更优质的客户以及更高的成功率。另一方面对开户流程进行分析，又可以发现是流程中哪个开户环节成功率较低、是客户流失严重的，这样反过来对我们的开户流程进行优化，进而提高开户成功率。

潜在客户挖掘

通常业务流程上对于潜在客户寻找、产品营销是通过对客户的熟悉程度加以经验判断来进行的，这其中数据也可以起到相应作用。例如寻找期权业务的潜在客户，可以从两融客户中通过获取客户交易量、日均资产、周转率、交易频率等指标，将符合期权业务特点的活跃的、投机性强的客户集中筛选出来，作为期权业务的潜在客户进行重点推广，会产生更好的效果。

业务经营分析

数据在经营管理上也起到举足轻重的作用，对于业务的开展，通过数据趋势发现业务发展是否与经营决策相符、找出发展瓶颈，比如某项业务收入或客户数量的走势高低，加上与市场行情的对比，寻找出业务发展是由于市场活跃带动，还是被市场萎靡拖累；再加上市场份额的对比，能更客观的分析出业务发展的状况，未雨绸缪，而不会被表面数字所迷惑。比如去年的行情下，公司经纪业务交易量市场份额基本保持稳定、客户保证金也有小幅增长，但是单独看开户市场份额，就会发现公司经纪业务的开户市场份额全年都低于交易量市场份额，并且在有些月份开户量也低于市场开户水平。这体现出了当前的交易份额多数是由存量客户的交易增长提供的，新增客户量已经在拖后腿了，新增客户量应该更加投入，若牛市到来，这部分新增的客户将产生巨大价值。

五、未来规划

搭建大数据平台

目前客户每日资产、历史交易流水、客户盈亏率计算等较大的历史表，在做统计汇总、复杂关联查询时因数据量和计算量较大，目前类似Oracle关系型数据库已无法支持高效率查询。同时传统的数据仓库每天需要抽取的数据量越来越大，未来可能会出现第二天上班以后数据未完全抽取过来的情况。因此，未来规划通过大数据平台，提高数据响应的实时性。

多维分析平台直连大数据平台

在大数据平台搭建的基础上，利用FineDirect大数据直连引擎对接大数据平台，实现大数据量数据的在线自主分析，以及准实时数据分析及监控功能。

大屏应用

在数据底层、业务分析系统逐步完善的基础上，计划通过大屏应用，将公司经营层面的各种指标通过大屏的形式进行展现，让管理层和各业务人员能实时了解公司的整体经营情况。