浅谈大数据对统计学的挑战和机遇

引言　　国际数据公司的相关研究指出，2011年全球数据生产量达1.8ZB，且全球信息总量每隔两年增长一倍[1]。在大数据时代下，对于统计学发展而言，挑战与机遇并存，挑战指的是现阶段传统统计学相关方法难以适用大数据，机遇指的是基于统计学，大数据展开数据处理、分析，促使大数据具备可视化特性。由此可见，研究大数据对统计学的挑战和机遇有着十分重要的现实意义。　　1.大数据及其目的　　现阶段，关于大数据仍旧没有一个十分明确的界定，大数据起初是源自于技术领域。在信息量不断扩大的情况下，使得常规电脑原有存储空间已不能对新处理数据进行承载，新兴数据处理技术得以产生，好比雅虎的Hadoop平台、谷歌的MapReduce等。此类技术能够对僵化层次结构、一致性予以消除，促进数据无需通过常规数据库表格进行排列，极大程度地提升了人们可处理的数据量[1]。　

　2.大数据与统计学的对比　　2.1样本统计与全样本统计的区别　　样本统计属于统计学不可或缺的依赖，样本指的是结合相应的概率自总体中随机筛选并视作总体代表的集合内容，值得一提的是随机抽样是需要成本的，包括社会关系、资金成本或者时间成本等。基于样本数量提升有限前提下，样本估计误差会随着总体数量增多而增大，这亦是样本统计无法避免的不足。大数据时代下，收集整理庞大的数据信息应运而生，数据信息发展表现出总体即是样本的态势，该属性很好的消除了样本统计这一不足。大数据时代下的全样本统计，通常情况下可对完全总体进行覆盖，然而受大部分数据属于半结构、半结构数据影响，使得概率论应用遭受一定的制约[2]。鉴于此，将全样本统计应用到统计学中，应当就总体数据展开相应的归纳、筛选，即好比在样本统计中展开数据预处理。　　2.2预测分析与非预测分析的区别　　统计学的创立，是为了对变量相互相关关系展开分析，因此获取数据是发生于变量确定之后的，数据分析价值是能够被预测的。相较于统计学的预测分析，庞大数据将互联网、传感器作为载体，存在于分析需求之前，因此构建于大数据上的分析多为非预测性分析。在统计学中，出现大数据无法有效应用局面，这是由于不具备非预测分析所需的庞大数据，庞大数据产生与数据中心、存储系统存在紧密的联系，并非短期产生。也就是说，统计学中大数据的应用发展，说明了非预测分析正逐步取代传统统计学预测分析，数据多次利用正逐步取代传统数据一次性利用的。　　3.大数据对统计学的挑战与机遇　　3.1数据生产、处理与应用的转变　

　相关统计部门经开展严格的统计设计工作，获得相关的统计数据，数据的预处理分别有数据清洗、非全面数据填补以及数据矫正等。大数据时代下的统计手段尚不十分明确，自大数据流环境而言，要不断探索新型抽样方法，并确保抽样方法的实时、连贯及可行性。除去传统的统计分析方法，还应当开发大数据动态分析、数据流算法等[3]。　　3.2大数据时代对市场营销的机遇　　3.2.1大数据营销的特点与价值　　大数据营销的特点：I.数据采集多平台化特点，即大数据时代下，大数据的数据大多来源于不同的领域、不同的渠道。II.时效性特点，随着信息技术的急速发展，互联网用户消费、购物行为方式往往会瞬间出现转变。国际先进大数据营销企业AdTime基于此大数据营销特点，采取了时间营销措施，即采取相应的技术方式全面获悉用户所需，于第一时间对用户当下的需求进行回应，以使用户在下决心购买的最佳时间及时看到对应的产品广告。III.个性化特点，在大数据时代下，广告商传统媒体导向的营销理念逐步由受众导向取代，现如今，广告商可应用大数据了解用户的地理方位，需求内容等信息，达到对用户个性化营销的目的。　　大数据营销的价值：I.升级营销与用户的匹配度，大数据营销不仅可提供给企业了解用户有效的途径，还能够与网络环境下，选取相关技术方法达到对用户精确定位的目的，从而开展好营销工作，升级营销与用户的匹配度。II.改善用户体验，大数据营销促使企业真正意义上认识到用户及其所使用企业产品情况，以给予用户最人性化的提醒。　　3.2.2大数据营销的应用　　（1）与消费者建立紧密关系　　现如今，我国一些企业营销行为仍旧处于个性化定位信息、创意设计阶段，而无法对不同消费者展开个性化的营销活动。大数据时代下，经采用相关数据分析技术方法，基于对消费群体喜好、传媒接触习惯等展开有效的分析，达到特定营销活动明确开展的目的，实现企业精心开展的营销活动精准的辐射至目标消费群体处，与消费者建立紧密关系，极大的改善营销效率、质量[4]。　　（2）掌握竞争对手数据　　企业通过对竞争对手数据的有效掌握，获悉竞争对手发展状况，基于此帮助企业制定科学合理的产品价格，提升企业产品市场竞争优势。与此同时，企业务必要全面实施以事实为前提的决策手段，广泛地应用数据分析方式对企业每一个发展运营步骤进行优化，经对企业一系列数据的充分优化、对接，促使业务环节中潜在的价值得以被有效挖掘，降低生产成本，知己知彼，促使企业在日趋白热化的市场竞争中占据有利位置。　　（3）挖掘企业内部数据　　“市场未动，数据先行”俨然转变为国际上企业有效运营发展的一致认识，为了提升企业管理效率，要求企业要充分挖掘企业内部数据，并展开有效的整合、分析，以为企业相关人员做决策提供有利的参考依据，提升决策准确性，促进企业可持续发展。

3.2.4 企业的应用案例——以亚马逊为例　　在应用大数据开展市场营销方面，美国亚马逊公司一直处于领先地位。亚马逊研发出“用户未下单，先发货”功能，即结合用户的购物需求数据信息，分析用户想要购买的产品，达到用户未下单，提前发货的目的。此外，亚马逊通过对用户检索信息的分析，评估流感的传播，但这仅仅为海量检索数据中的一项用途，相同的数据能够应用于预测大选结果、预测某类产品市场行情等等，极大地降低了统计成本[5]。　　3.3大数据时代对市场营销的挑战　　3.3.1信息收集　　大数据并非就是对数据信息展开盲目的收集，即便收集了再多的数据，倘若这些数据并非是市场营销所需要的，如此便会导致前期收集来的数据信息，变成一堆“数据垃圾”。鉴于此，为了避免这一情况发生，务必要充分分析业务需求，再对自身存在价值的数据展开收集、归纳，如此方可实现大数据的有效收集应用。　　3.3.2经验与数据　　数据采集完毕后，面对参差不齐的数据，还应当做好数据评估工作，评估对何种目标受众开展市场营销工作。鉴于此，要求采取科学合理的手段，将这些参差不齐的数据整合成可被市场营销实践应用的，经结合过去的经验，与采集数据进行有机融合，实现对目标受众的有效分析确定。　　3.3.3分析与优化　　数据分析，一方面是实现数据优化，一方面是进行决策层面上的调整、转变。此环节对于专业人才的需求提出了严苛的挑战。数据分析、数据优化对于专业人才的知识框架要求大不相同，这要求相关企业不仅要培养专业的数据分析人才，还要打造数据优化人才队伍。　

　3.4大数据营销的未来发展趋势　　信息技术不断发展，单一媒体导向的“消费者碎片化”俨然无法达到企业对于数据多样性的需求。大数据时代下，媒体的跨界融合实现对“碎片化”受众的充分聚合。在科学技术技术不断进步的背景下，跨媒介、跨平台、跨终端的多途径将不断被开拓，将使庞大的数据信息获取多维度的整合，并且在多样化网络环境下，消费者主观信息与客观数据有机融合，构筑全面用户数据库环节，将成为未来大数据营销发展的必然趋势[6]。　　4.结束语　　总而言之，大数据为传统统计学带来了严峻的考验，也为传统统计学有效发展创造了良好的契机。在大数据时代发展潮流中，我们应当充分的认识到大数据对于传统统计学而言，是补充而不是更替，构建于样本统计、预测分析内容上的传统统计学，仍旧于社会统计、经济分析中占据着主导位置。大数据时代下，为了实现企业市场营销的有效开展，相关人员务必要不断专研研究、总结经验，全面分析大数据与统计学的对比，充分认识大数据对统计学的挑战和机遇，“与消费者建立紧密关系”、“掌握竞争对手数据”、“挖掘企业内部数据”等，积极促进企业市场营销的科学合理化。

智能技术+健康管理时代应用基础

智能手机+平板电脑；3G，4G，WIFI；传感器，蓝牙，NFC；用户和物联网设备的爆发性增长产生大数据，催生云服务。

关键词——智能终端

处理器：没有最快，只有更快。单核，双核，四核，八核。

屏幕：没有最大，只有更大。手机到平板屏幕尺寸覆盖。

功能：没有最强，只有更强。

关键词——物联网

传感技术的快速发展为各类检测与控制提供了可能。

关键词——云计算与大数据

云是互联网的一种比喻说法。狭义的云计算指的是通过网络以按需，易扩展的方式获得所需的资源；广义云计算指通过网络以按需、易扩展的方式获得所需服务，它意味着计算能力也可以作为一种商品通过互联网进行沟通。

大数据的4个特点：

第一，数据体量巨大。从TB级别，跃升到PB级别；

第二，数据类型繁多。网络日志，视频，图片，地理位置信息等；

第三，截止密度低，商业价值高；

第四，处理速度要快。

大数据的价值

2010年

肯尼斯库克尔发表大数据专题报告《数据，无所不在的而数据》。库克尔在报告中提到：“世界上有着无法想象的巨量数字信息，并以极快的速度增长。从经济界到科学界，很多放啊面都已经感受到了这种巨量信息的影响。科学家和计算机工程师已经为这个现象创作了一个新词汇：大数据。”

2013年

互联网巨头纷纷发布机器学习产品，IBM Waston系统，微软小冰，苹果Siri，标志着大数据进入深层价值阶段。

2015年

Computing Research（计算研究）发布（2015年大数据市场评论），该评论发现在过去的一年中，没有将大数据和大数据分析集成到其运营的过程的企业的比例从33%降到了16%。大数据开始作为企业决策的重要支撑，在商业市场上发挥着巨大价值。

近日，两家大数据领域的代表性企业Cloudera和Hortonworks宣布了它们相对平等的合并，宣称新公司将创建世界领先的下一代数据平台并提供业界首个企业数据云，这令很多人感到意外，大数据的未来何去何从，一时成为大数据产业从业人员关心的话题。

大数据蹒跚前行，迈进下半场

随着2012年维克托·迈尔-舍恩伯格《大数据时代》一书的出版，“大数据”这一概念乘着互联网的浪潮在各行各业中扮演了举足轻重的角色，得大数据者得天下，业界纷纷用大数据这个词来描述和定义信息爆炸时代产生的海量数据，并命名与之相关的技术发展与创新。

2013年被称为中国的“大数据元年”，大数据开始在我国流行，以势不可挡的姿态进入人们的思想意识，并在社会的各个领域探索与落地实践。涂子沛的《大数据》一时成为畅销读物，大数据的概念风行大江南北，阿里巴巴成为最早提出通过数据进行企业数据化运营的企业。2015年，我国政府通过了《关于促进大数据发展的行动纲要》，大数据更是上升为国家战略。

同美国市场一样，以Hadoop为代表的大数据技术，在中国的大数据产业中也经历了一段狂热期，在很长一段时期内，Hadoop几乎成了大数据的代名词。在这个数据大爆炸的时代，企业需要对海量数据存储、快速处理和分析，Hadoop正是为此而生。但目前看来，这股浪潮正渐渐退去，Hadoop正在逐渐变成一项传统技术。

从诞生到现在，Hadoop已经走过十多年的历史，但近年来，以Hadoop为代表的大数据产业生态，在实际落地中却面临着尴尬的局面。首先，大数据的价值被夸大，在投入产出比上差强人意。其次，中小企业对大数据的应用极为有限。目前看来，需求主要来源于一些大型企业，数据量过大，数据分析需求旺盛，但中小企业自身数据量并不大，需求度较低，同时也缺少相应的大数据技术人才。最后，大数据管理难度大，数据开放共享、数据质量、数据安全、个人隐私信息保护等已经成为管理大数据最头疼的问题。今年5月，欧盟数据保护法规《通用数据保护条例》发布，对大数据企业采集的个人隐私数据管理工作产生极大的挑战。

2018年10月底，IBM宣布以高达340亿美元的价格收购Red Hat，IBM宣称其将成为全球的头号混合云提供商，而亚马逊、微软、阿里巴巴等云计算巨头早已将计算、存储、网络资源和应用软件（大多来自开源社区）作为在线云服务来提供，Anaconda产品和营销高级副总裁Mathew Lodge指出，大数据的中心已经从Hadoop转移到了云端，在云环境下的对象存储系统（如亚马逊 S3、微软Azure Blob Storage和Google Cloud Storage）中存储数据比在HDFS中便宜了5倍。

尽管现在就谈Hadoop已死为时尚早，但大数据产业面临的以上问题已经累积很久，也没有被很好地解决，能否解决以上问题将直接关乎大数据的未来发展。

人工智能方兴未艾，取得新突破

人工智能（AI）是研究用于模拟与延伸扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学，目前在商业和生活中已有大量应用场景，被产业界寄望为下一轮技术革命，对它的关注热度已经超过大数据。

AI的发展历程一波三折，呈螺旋式发展，在历史上共经历三个时期。首先是1956年达特茅斯会议提出了AI的概念，但当时的计算机处理性能和数据容量制约了AI技术的发展。然后在20世纪80年代，专家系统兴起，AI算法模型有了重大发明，包括多层神经网络和BP反向传播算法的提出，出现了能与人类下象棋的高度智能机器，但随着台式机的出现，使得AI专家系统走向没落。再往后就是2006年，Hinton论文开启了深度学习时代，特别是2016年，AIphaGo大败李世石，将AI从后台推到了科技界的聚光灯下，一时间万众瞩目。

AI已经替代了早些年的大数据，成为新的商业科技风口。2017年全球AI融资超150亿美元，谷歌、亚马逊、苹果、微软以及阿里、百度、腾讯等中美科技巨头纷纷布局。以深度学习为代表的AI算法，PC/移动互联网上海量、多维度、高价值大数据，以及以GPU、FPGA、ASIC为代表的AI计算芯片，成为本轮AI发展的核心驱动力。

AI技术体系一般分为基础层、技术层和应用层，在AI大发展的浪潮中，AI技术体系中的各模块发展特点各不相同。

基础层对应着算法（包括回归、分类、聚类、深度学习算法等）、算力（即AI芯片）和软件框架（实现对AI算法的封装）。

算法部分，深度学习带动了本轮AI的大跃进，深度学习已经在语音识别、图像识别等领域取得突破，而海量的数据和高效的算力支撑是深度学习算法实现的基础，同时还有很多新的算法理论成果正在被提出和应用，如强化学习、迁移学习、胶囊网络、生成对抗网络等。

算力部分，由各种AI芯片来提供基础计算能力。AI芯片除了传统的CPU及 GPU 外，还包括为特定场景应用而定制的计算芯片。深度学习既要求计算芯片支持对存储介质中海量数据的高效存取，还要能支持一些特定AI计算需求，因此GPU 成为目前深度学习算法应用中的首要选择。FPGA（现场可编程门阵列）可以实现应用场景的高度定制，属于一种半定制化芯片。ASIC（专用集成电路）是不可配置的高度定制专用计算芯片，其性能也是最优的。TPU（张量处理单元）是谷歌公司设计的处理器，非常适合运行TensorFlow软件，还有寒武纪的NPU，都是ASIC的典型代表。另外，还涌现出各类定制化的高性能AI计算服务器，或称之为GPU一体机，一站式提供AI所需的算力。

软件框架部分，目前AI软件框架百花齐放，软件框架是整个技术体系的核心，实现对AI算法的封装、数据的调用以及计算资源的调度使用。软件框架好比是AI应用开发的操作系统，为开发者提供编程环境和算法库，并按需分配AI芯片等硬件资源，目的是构建AI系统开发和运行的软件环境。目前主流的AI软件框架主要有 TensorFlow、MXNet、Caffe、Torch、CNTK、Theano、SciKit-Learn等，软件框架的用户包括了AI服务的开发者和使用者。

技术层负责解决具体类别的AI技术问题。其中语音识别技术负责将语音转换为文本或命令，自然语言处理技术实现人和机器之间的自然语言通信，计算机视觉技术用于处理图形图像和视频内容的识别。

应用层立足于解决各行业领域实际场景问题，如安防场景下，用于警讯发现、人脸识别、道路监控等；金融场景下，可用于资产异动监测、征信风控和智能投顾等；医疗场景下，可应用于对医学影像、电子病例处理来辅助诊疗；还有目前最为火热的自动驾驶场景，谷歌、特斯拉和百度三巨头的无人驾驶汽车已经上路试运行。

以云服务方式提供AI服务已成为当前的趋势，AI云服务一般分为平台类服务和软件类服务。平台类服务包含GPU云服务，深度学习平台等，GPU云服务是以虚拟机的形式，为用户提供GPU计算资源。深度学习平台则是以TensorFlow、Caffe、MXNet等主流深度学习软件框架为基础，提供相应的常用深度学习算法和模型，组合各种数据源、组件模块，让用户可以基于该平台对语音、文本、图片、视频等海量数据进行离线模型训练、在线模型预测及可视化模型评估。软件类服务包括提供API程序接口、SDK包、消息服务接口的形式提供AI相关的在线网络服务，可包括语音识别、文字处理、图像检测、智能推荐等应用方式。

掘金数据资产，探索数据智能

大数据为人工智能发展提供了基础资源，人工智能技术的核心就在于通过计算找寻大数据中的规律，对具体场景问题进行预测和判断。想要训练出成功的人工智能算法，需要运算力和大量的数据，其中最重要的就是数据量要足够大。除了数据量足够大，大数据还需要通过采集、清洗、标注等处理工作后才能够作为人工智能算法模型训练的输入，但目前在实际应用中，数据流通不畅、数据质量不高和数据安全风险等问题仍然极大制约着人工智能的发展和应用。

大数据的未来何去何从，与人工智能技术如何完美结合，共同驱动数字经济发展，数据智能或将成为新的热点和大趋势。

“数据智能”是百度公司在2014年提出的概念，百度对数据智能的定义，指基于大数据引擎，通过大规模机器学习和深度学习等技术，对海量数据进行处理、分析和挖掘，提取数据中所包含的有价值的信息和知识，使数据具有“智能”，并通过建立模型寻求现有问题的解决方案以及实现预测等。

2018年10月， 第五届中国国际大数据大会上发布的《2018年数据智能生态报告》中提出，在机器学习、分布式计算等技术发展的基础上，数据逐渐呈现出高维度、高阶态、异构性的形式，把能够对海量数据进行分析、处理和挖掘，并且通过建模、工程等方式来解决实际预测问题，最终实现决策的行动，称之为数据智能。

对数据智能的信息化落地，业界一般称之为数据智能平台或数据中台。

据阿里巴巴公共数据平台负责人介绍，阿里巴巴数据中台战略在2015年首次提出，旨在对内提供数据基础建设和统一的数据服务，对外提供服务商家的统一化数据产品。阿里数据中台基于OneData体系建立的集团数据公共层，从设计、开发、部署和使用上保障了数据口径的规范和统一，实现数据资产全链路管理，并提供标准数据输出。基于阿里数据中台输出的生意参谋产品，是阿里巴巴首个统一的商家数据产品平台，为中小企业商家提供数据披露、分析、诊断、建议、优化、预测等多项数据服务。

另外，据百度公司的百度数智平台官网介绍，该平台定位为提供大规模机器学习、深度学习、数据分析及展现、数据应用等产品与服务，包括了大数据基础产品和大数据应用产品两大类，大数据基础产品包括大数据传输Minos、数据工厂Pingo、数据治理Dayu、数据分析与开发Jarvis、大数据可视化Habo等产品，大数据应用产品包括百度智客、百度觅客、百度汇客、百度客情、百度商情等产品，百度公司将其数智平台定位为AI时代的企业数据管家，服务于公司内部和各行业合作伙伴。

在2018年10月由中国联通大数据公司主办的加速-U10大数据价值峰会上，中国联通大数据公司负责人以“数智”为主题发表演讲，她认为当前大数据产业已经进入“数智”时代，联通大数据的数智升级，在于更大规模的数据、更深度的智能，打造数智新架构体系，做值得信赖的数据智能服务运营商，同时介绍了中国联通UBD数智中台的建设思路。

可以看出，以上代表性企业建设数据智能平台或数据中台的意义主要在于，一是帮助企业管理好内部现有的数据资产，即数据资产管理；二是为企业提供基于大数据的预测分析产品，即人工智能服务。数据资产管理的目的是为了准备和提供高质量的数据给人工智能应用，对数据的规范化和标准化是企业实现基于大数据提供智能化服务的关键，也是决定大数据价值实现的基础。

大数据进入下半场，人工智能已然崛起，现有的大数据技术亟须和人工智能技术结合，孕育新的产业生态，从百度、阿里和中国联通的做法可以看出，向数据智能型企业转型正在成为大型科技企业新的行动方向，阿里巴巴提出的“大中台、小前台”的做法已经成为业界主流数字化转型思路，企业通过建设数据智能平台或数据中台，打破内部数据壁垒、盘活数据资产、提升数据价值，对外提供统一的智能化数据服务，有望再次重构大数据产业生态环境，进一步深挖和释放大数据的价值红利。

作者 | 周迪

年报摘要

★年度新片总播放量76.30亿，上新影片1997部

★播放平台：爱奇艺、腾讯视频、大优酷三足鼎立

★独播影片占比进一步提升

★热播标签TOP3：喜剧、动作、爱情

★年度新片首周播放量TOP3：《斗战胜佛》《魔游纪1：盘古之心》《总裁在上1：初见初念》

备注：

1. 数据来自娱影网大系统，统计2017年1月1日-12月31日期间上新影片的播放情况；

2. 统计来源：爱奇艺、大优酷、腾讯视频、搜狐视频、乐视视频、M1905等（排名不分先后）；

3. 统计均不包括已被下架的影片。

一、2017年全网播放情况：76.30亿次

2017年，网络电影总播放量达76.30亿次，较2016年下降61.6%。值得注意的是，播放量下降的表象背后并不是网络电影市场的衰落，而是进入洗牌期后市场去泡沫化、数据更加真实的结果。

2016年上半年，网络电影市场仍处于野蛮生长时期，刷量以及其他不规范竞争现象比较严重。经历了2016年下半年行业主管部门的几次下架风波以及规范性管理政策的发布，市场开始朝着更加健康的方向发展。

2017年上新影片1997部，较2016年同比上升13.5%。2017年3月上新了225部，是全年中上新影片数量最多的一个月。但是，新片数量多不代表总点击量就一定高，仅有195部新片上线的1月，却以8.71亿次的播放量获得了年度月播放量冠军。不过，娱影君猜测，1月超高的播放量中可能存在部分水分，因为此时的市场还处于调控的缓冲期。随着平台政策的明晰，影片刷量现象在接下来的几个月里有所控制。

月平均播放量方面，表现最好的是8月，仅90部新片创造了4.16亿次的点击量，月平均播放量461.7万。其中，冠军动画影片《星游记之风暴法米拉》更是获得了3863万次点击。

二、2017上新网大各平台播放量及占比：

三足鼎立

在平台播放量及占比方面，第一梯队优势进一步提高，呈现爱奇艺、腾讯视频以及大优酷三足鼎立之势。

爱奇艺以57.01%的份额夺下冠军，较16年占比份额上升30.17%，超越腾讯视频重回网络电影行业的老大哥。爱奇艺于2014年3月18日首先提出“网络大电影”的概念，并较早地建立起了一套专业的审片流程、评级标准、票房分账及宣传资源分配政策。2017年，爱奇艺平台在新片上新数量及独播影片播放量排名上也一直名列前茅、成绩亮眼。

腾讯视频以25.13%的占比份额获得亚军，较去年下降22.76%。腾讯视频在17年的对网络电影进行了一系列的扶植政策。4月，腾讯影业推出春藤电影工坊，为年轻电影人提供IP、制作、运营、发行、营销等多方面资源支持。腾讯春藤工坊下的首个项目“比翼新电影计划”也联合了爱奇艺等7家影视公司，共同打造腾讯旗下10个动漫IP作品。但是在下半年，随着新品数量的减少，腾讯视频的播放情况出现了明显下滑。

大优酷2017年的占比达到12.45%，较16年上升4.18%，超过乐视成为年度季军。优酷从2016年底开始进入网络电影市场，去年进一步加强了对网络电影市场的布局。2017年4月，优酷携手阿里文学、阿里影业宣布，共同投入10亿资源，启动“HAO计划”，为网络电影创作者们提供开放平台、开放IP、开放资源；并提出要打破传统的六分钟分账模式，引入播放时长、会员拉新两个维度，从观众的角度以更加综合、客观的方式将网络电影的质量与分账挂钩。11月15日，优酷成为继爱奇艺之后第二个发布月度网络电影分账榜单的平台。去年，后劲儿十足的优酷出现了不少爆款口碑影片以及分账过千万的作品，如《御天神帝》、《人间大炮》等。2018年，优酷在网络电影方面的实力不容小觑，极有可能继续赶超前两大平台。

从2012年开始自制《屌丝男士》系列剧的搜狐视频在自制网生内容方面发力较早，但其在网络电影领域尚未进入第一梯队。2017年随着新系统、新的“无天花板”分账方式的发布使得其竞争力得以提升。

乐视在2017年则是路途坎坷，播放情况出现了极大的下滑。这一年公司经历了资金断裂、高层换血、债务拖欠等重大事故，也严重影响了许多在乐视平台上线的影片的播放量。更有多家网络影视公司表示，目前并未收到在乐视平台播出影片的分账收益。

三、2017上新网大独播非独播情况

有别于2016年独播与非独播影片的平分秋色，2017年，网络电影大多选择了独播方式，占84.4%。1月份，独播影片的播放占比还要少于非独播平台的播放；而到了十二月份，独播影片的播放量所占份额已经高达99.49%。

为何独播影片愈发强势压倒多平台影片呢？

娱影君认为，对平台来说，独播能确保自家平台的影片质量、吸引付费用户和广告商以提高市场收益。对于片方来说，独播可以获得发行平台更高的分账单价、优先推广资源位、集中有力的宣传等等。因此，天平渐渐地倾向了独播这一方。

但是，独播并不是确保流量的保证。年度总播放量排名第一的影片《我的朋友圈》就采取多平台播放，依然取得了很好的成绩。实际上，每周、每月能够通过独播平台出头的影片仅仅是冰山一角，大多数影片因为首几日的播放量不佳便被“拍死”在了沙滩上。娱影君认为，对于在平台评级C以下的影片，或者预估不佳的影片，可以尝试选择多平台的方式上线，也不失为一种提高流量的方法。

四、2017上新网大总类型Top10

2017年，观众最喜欢的网络电影类型前三甲与2016年一致，但具体排名稍有变化，分别是喜剧、动作和爱情。

无论在网络电影还是院线电影市场，喜剧片的地位总是无人撼动的。目前，网络电影市场的喜剧类型纷繁多样，有喜剧人加盟的《我的朋友圈》；有继承延续了周星驰风格的“无厘头”喜剧《降龙大师》；有展现黑泥土风味的东北喜剧《超级大山炮之夺宝奇兵》、《小小爸爸》等；更多的是喜剧与动作、惊悚、悬疑、奇幻等多种元素的混搭，碰撞出了许多新鲜的视听感受。

动作电影作为中国影片的特色类型，在网络电影市场依然收到观众欢迎：纯动作类、玄幻动作类、动作科幻类、电竞动作等类型层出不穷。不过，与院线电影相比，一些动作类型网大中的打斗戏还是略显尴尬，容易让观众跳戏，动作类网大在武术动作指导方面还有待加强。

悬疑、奇幻、魔幻、惊悚、犯罪等类型影片，充分调动了观众的好奇心，通过紧张刺激的剧情设置、天马行空的故事设定成为Top10影片中的常客。今年在网剧市场火爆的青春类型，也深受网络电影观众喜爱。

五、2017.1.1-2017.12.31期间

新片首周播放量Top10

娱影君综合分析了前十的影片，总结出了如下几点经验：

1、得受众基础者得“流量”

纵观2017年度首周播放量的Top10影片，许多都是已经具备了一定的受众基础，其受众可从之前的渠道引流而来。

动画作品《星游记之风暴法米拉》的TV动画版于2011年10月起在北京电视台卡酷少儿频道播出，被不少ACG爱好者评价为“国内热血动漫的基石”。此次改编成网大更是备受观众，以至于该片在上线前的预观看人数就已经突破了40万。

由宋晓峰、程野、张家豪、宋小宝等赵家班弟子领衔主演的《超级大山炮之夺宝奇兵》的观众可能来源于《乡村爱情》，这些明星演员本身也是自带流量。

2、喜剧类型霸屏，魔幻、科幻受欢迎

2017年度首周播放Top10的喜剧电影占据了三分之一。《降龙大师》由周星驰御用配角“酱爆”加盟，充满了浓厚的无厘头港片风味。

由赵家班弟子齐聚的《超级大山炮之夺宝奇兵》通过演员自带喜感的表演和麻溜儿的东北段子让人忍俊不禁。

魔幻、科幻题材也是头部影片的重头戏，经典魔幻IP及中国传统民间故事是影视作品经常拿来翻拍、改编的内容。《斗战胜佛》于去年3月15日线爱奇艺后，创下了上线16小时点击破千万， 7天突破5000万的网大新记录。该片由曾在98版《西游记2》中饰演孙悟空的陈浩民主演，讲述了“齐天大圣”在人间修行过程中发生的种种关于找寻自我、认知爱情、感悟友情的故事。

系列影片《魔游纪1：盘古之心》、《魔游纪2：异乡奇遇》则是在“西游”IP之上建构的新世界，构建出了严谨宏大的世界观和一套完整的“异人”体系。

除了东方魔幻，偏西方好莱坞的科幻电影类型也非常受欢迎。长时间以来，由于制作费用受限，许多网大都不敢轻易尝试科幻类型片。此次上榜的影片《超自然事件之坠龙事件》通过1000万的投资和400万左右的特效费用打造出了中国式科幻片。

3、网大网剧化，助影响力持续发酵

网大网剧化指的是一部网络电影在一段时间内以分集的形式上线。2017年度首周播放量的Top10影片中的《总裁在上1：初见初念》及《魔游纪1：盘古之心》、《魔游纪2：异乡奇遇》都是以分集形式上线的网大作品。《总裁在上》系列影片于每周五上线一部、总共十集；而《魔游纪》系列影片则每隔两周上线一部，总共六部。

网大网剧化是一种新的尝试，不仅能够扩大影片自身IP影响力，培养忠实观众。采用网剧的播出形式和网大的分账方式，几部下来可以获得最大化的收益。同时，网大网剧化抓住了女性观众喜爱看剧、热衷追剧的特点，有利于发开女性观众市场。

六、结语

网络电影从诞生之初，经历了2013年的酝酿期、2015年的快速增长期以及2016年的白热化竞争期。2017年，网络电影在市场竞争和政策扶植下不断规范，进入了转型阵痛期，虽然新片数量减少、播放量下降，但我们也看到了市场整体的影片质量提升，同时精品不断、爆款层出。

2018年是网络电影发展非常关键的一年，或将是网络电影发展的一个“拐点”，在这一年我们或许能迎来网络电影真正的“爆款”——被广泛大众认可的爆款。未来的发展方向究竟通向何处？让我们拭目以待。

附：2017年新片总播放量TOP 10

【转载请联系客服；未经授权，转载必究。】

首先恭喜你，当你看到这篇文章的时候，不管你是小白还是大咖，你都将直接获得一个高级技能：轻松上手可实时刷新的酷炫大屏。

制作可视化大屏，一般有这么几种方案：

写代码调用数据和图表，比如写JS+Echarts ；直接的数据可视化工具

前者对于大部分人来说门槛较高，而且尤其是大屏需求比较多，比方说要做10个的情况下，亲身试验写代码容易崩溃。如果涉及大量的动态可视化，涉及大数据量，没有底层技术，性能就会大打折扣。而且投到不同尺寸的屏幕，调试起来非常麻烦。

那么有没有一种简单的可视化大屏方案，可以快速的设计样式呈现效果、自适应不同大小的屏幕、而且还可以实时刷新数据？

有，选择后者，直接用数据可视化工具。

市面上能做到直接呈现在LED屏幕的大屏可视化工具并不多，多数需要代码调试，报表工具FineReport和FineBI工具可直接实现，相对来讲FineBI使用更简单，本文也是基于FineBI，来教大家做可实时刷新的数据大屏。

先来看看我们今天即将要教大家做的大屏效果（请接受一波酷炫可视化的冲击！）

不懂代码，如何做出实时刷新的数据大屏？

1、快速上手学习BI工具

FineBI是一个可视化的自助式BI工具，整个操作就是导数据/连数据库——处理数据（可视化ETL）选择图表——拖数据字段——可视化展现&美化，操作简单上手快。多数情况下，这个工具都是拿来做可视化报表，对接企业大数据平台，做企业数据运营分析用。

关于他的入门教程，小编之前曾发过一个视频《30分钟，教你零基础用BI搭建可视化大屏！》

2、构建数据模型

掌握了finebi的基础功能：怎么连接数据，怎么趋势，怎么做图表。接下来就到了正式做大屏步骤，先是构建数据模型。

大屏也是有主题的，本质是对一类业务的分析，然后综合展示，比如销售大屏。像这类业务分析一般要用到多张维度表和事实明细表的数据（例如下图中的分公司维度表和合同事实表）。常规操作是将不同业务系统的sql表拼接、宽表拼接，构成一个星型数据模型，需要你有专业的数据仓库技能。那这里化繁为简，可以直接用工具自带的敏捷数据模型去替代上述的工作，原理是自动构建雪花型模型，跨数据源关联。

搭建好上图的销售demo业务包的数据表和关联模型之后，下一步就可以进行正式的销售管理驾驶舱大屏搭建。

3、大屏布局设计

在给大家介绍具体制作过程之前先讲解一下通常管理驾驶舱的布局方式。管理驾驶舱往往展现的是一个企业全局的业务，一般分为主要指标和次要指标两个层次，主要指标反映核心业务，次要指标用于进一步阐述分析。所以在制作时给予不一样的侧重，这里推荐几种常见的版式。

上面几个版式不是金科定律，只是通常推荐的主次分布版式，能让信息一目了然。实际项目中，不一定使用主次分布，也可以使用平均分布，或者可以二者结合进行适当调整。比如下图所示，指标很多很多，存在多个层级的，就根据上面所说的基本原则进行一些微调，效果会很好。

4、实际分析制作过程

有了以上的布局设计，每一个模块就单独用一类图表分析一块内容，比如销售分布、签单分布、回款金额分析......整体呈现一个主题（在这里是销售业务）的分析。

那具体如何用工具操作呢？

首先，既然是销售管理驾驶舱，那么我们可以先从领导和高层最为关注的公司签单金额和回款金额入手。对于这样的汇总指标，选择仪表板进行数据展示再合适不过了。选择拖入合同事实表中的合同金额和合同回款表中的回款金额两个指标，样式这里选择圆环仪表盘，同时两个指标的单位都设置成亿，最大刻度输入当前合同金额，2.78亿。这样一来，2.78亿的合同回款，2.25亿的回款金额以及80.87%的总的回款率也就统计出来了,企业的签单金额和回款金额/回款率都一目了然。

其他部分也是一样的原理，篇幅原因不多介绍，核心是要知道展现哪些数据指标。

5、实时刷新功能

如何做出实时刷新的数据大屏，本篇还有一个重点内容就是大屏的实时刷新功能，也是大家问得比较多的。

所谓实时刷新，即你展示出来的酷炫大屏上面的数据将是动态刷新，能够实时反映数据库中的数据。我们的大屏通常连接着数据库，我们打开报表的时候，会读取数据库中的数据，但数据库中的数据可能是动态变化的，如果要读取变化的数据的话，不需要我们重新打开刷新报表，报表中的数据将动态自动刷新。

FineBI实时刷新的底层技术和性能:

实时刷新的实现所依靠的一个重要支撑，是FineBI自带的FineDirect直连引擎。FineDirect直连引擎给出了数据端到应用端的完整解决方案，支持连接企业已有的大数据计算平台，如Hadoop、Kylin、Greenplum、Vertica等，在充分利用平台计算性能的同时，也解决了TB至PB级超大数据量多维分析的难题。

FineDirect是FineBI推出的大数据直连引擎功能模块，用于更好地处理超大数据量的分析要求和数据源实时性的需求。通过FineDirect直连引擎可以直接对接现有的数据源，无论是传统的关系型数据库（Oracle，Sqlserver），还是日益成熟的Hadoop生态圈，Mpp架构的解决方案，都可以直接进行自助取数分析，实现更敏捷的、更及时的决策分析。

FineDirect引擎核心特点

①PB级别数据量多维分析

FineDirect直连引擎给出了数据端到应用端的完整解决方案，支持连接企业已有的大数据计算平台，如Hadoop、Kylin、Greenplum、Vertica等，在充分利用平台计算性能的同时，也解决了TB至PB级超大数据量多维分析的难题。

②实时大数据分析

FineDirect能够连接实时数据进行分析，及时返回分析结果。基于FineDirect的可视化引擎，可以将用户拖拽分析的操作，实时地转化为经过处理的查询语言，实现对企业数据库实时分析的效果。

③双引擎模式灵活搭配

FineBI已有FineIndex引擎（原cube）和新的FineDirect直连引擎可以搭配使用，来满足不同的应用场景。企业可以根据实际需求的不同准备两种类型的数据，通过FineIndex模式配置那些不经常更新、实时性要求不高的数据；通过FineDirect直连引擎配置大数据量且有实时分析需求的数据，双管齐下。

前沿技术普及系列·写在前面

不知道大家有没有和象牙妹儿一样的感觉，就是最近1年很多AI产品铺天盖地的来到了我们的生活，比如某些家的智能陪伴音响、翻译棒、智能机器人、AR拍照手机等等。

这里面背后的前沿技术大数据、云计算、区块链、物联网、 5G、数字化…前几年甚至现在听着还很遥远，却已有不少在冲击着商业的世界，渗透进我们的生活！

如何拨开层层浓雾，抵达未来的彼岸？如何把握技术的钥匙，启开未来商业世界的大门!

大象互联网圈发起主办的第二届中国【郑州】开发者大会不但关注技术·商业的融合，也关注着前沿技术的分享。

因此，从今天起，大象互联网圈公众号将目光聚焦在大数据、云计算、物联网IOT、人工智能AI、区块链、VR/AR等板块，一一从概念层、目前行业发展状况、企业实际应用层、技术层、岗位前景等为大家带来干货的普及，快来和象牙儿妹一块围观吧！

本文由“壹伴编辑器”提供技术支持

正文

如果你说大数据就是数据大，或者侃侃而谈4个V，也许很有深度的谈到BI或预测的价值，又或者拿Google和Amazon举例，技术流可能会聊起hadoop和Cloud Computing，不管对错，只是无法勾勒对大数据的整体认识，不说是片面，但至少有些管窥蠡测，也许“解构”是最好的方法。

首先，大数据就是互联网发展到现今阶段的一种表象或特征而已，没有必要神话它或对它保持敬畏之心，在以云计算为代表的技术创新大幕的衬托下，这些原本很难收集和使用的数据开始容易被利用起来了，通过各行各业的不断创新，大数据会逐步为人类创造更多的价值。

其次，想要系统的认知大数据，必须要全面而细致的分解它，本系列文章我们着手从概念、技术、实践三个层面来展开，本篇文章我们先介绍概念层。

本文由“壹伴编辑器”提供技术支持

大数据的定义

大数据（Big Data）概念是1998年由SGI首席科学家John Masey在USENIX大会上提出的。他当时发表了一篇名为Big Data and the Next Wave of Infrastress的论文，使用了大数据来描述数据爆炸的现象。但大数据真正得到业界关注，则是其后多年的事情了。

大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

本文由“壹伴编辑器”提供技术支持

大数据的分类

互联网上的大数据很难清晰的界定分类界限，我们先看看BAT的大数据：

百度拥有两种类型的大数据：用户搜索表征的需求数据；爬虫和阿拉丁获取的公共web数据搜索巨头百度围绕数据而生。阿里巴巴拥有交易数据和信用数据。这两种数据更容易变现，挖掘出商业价值。除此之外阿里巴巴还通过投资等方式掌握了部分社交数据、移动数据，如微博和高德。

腾讯拥有用户关系数据和基于此产生的社交数据。这些数据可以分析人们的生活和行为,从里面挖掘出政治、社会、文化、商业、健康等领域的信息，甚至预测未来。

在信息技术更为发达的美国，除了行业知名的类似Google，Facebook外，已经涌现了很多大数据类型的公司，它们专门经营数据产品，比如：

Metamarkets：这家公司对Twitter、支付、签到和一些与互联网相关的问题进行了分析，为客户提供了很好的数据分析支持。

Tableau：他们的精力主要集中于将海量数据以可视化的方式展现出来。Tableau为数字媒体提供了一个新的展示数据的方式。他们提供了一个免费工具，任何人在没有编程知识背景的情况下都能制造出数据专用图表。

ParAccel：他们向美国执法机构提供了数据分析，比如对15000个有犯罪前科的人进行跟踪，从而向执法机构提供了参考性较高的犯罪预测。他们是犯罪的预言者。

QlikTech：QlikTech旗下的Qlikview是一个商业智能领域的自主服务工具，能够应用于科学研究和艺术等领域。为了帮助开发者对这些数据进行分析，QlikTech提供了对原始数据进行可视化处理等功能的工具。

本文由“壹伴编辑器”提供技术支持

大数据的4V特征

即Variety(多样化)、Volume(大量化)、Velocity（快速化）、Value(价值密度低)。如下图所示。

其中，Variety表示来源多和格式多，数据可以来源于搜索引擎、社交网络、通话记录、传感器等等，这些数据要么以结构化形式存储，要么以非结构化数据存储；Volume表示数据量比较大，从TB级别，跃升到PB级别。

尤其是在移动互联时代，视频、语言等非结构化数据快速增长；Velocity表示数据存在时效性，需要快速处理，并得到结果出来，这一点也是和传统的数据挖掘技术有着本质的区别；Value表示大量不相关信息，不经过处理则价值较低，属于价值密度低的数据。

本文由“壹伴编辑器”提供技术支持

大数据处理流程

都有以下几个过程：数据采集、数据清洗、数据建模、数据加工、数据展现。如下图所示。

举个例子，做饭通常都要包括“买菜~洗菜~配菜~炒菜”这几个必须环节，无论你是开饭店还是家里一日三餐，做饭的规模大小会有不同，但流程却是一样的。而这几个环节其实正好对应了数据人的日常工作内容：买菜（数据采集）~洗菜（数据清洗）~配菜（数据建模）~炒菜（数据加工）-上菜（数据展示）。

在大数据时代，由于数据种类多，数据大，从结构化的数据到非结构化的数据，数据采集的形式也变得更加复杂而多样。

当存储技术的发展变得步履蹒跚，赶不上数据发展的速度时，分布式存储成为了必然选择，非结构型数据也对存储格式提出了新的要求。

层出不穷的数据源也使得数据量产生了井喷似的迅猛增长。此时分布式存储与NoSQL的诞生回应了这样的需求，解决了大数据存储的根本难题。

本文由“壹伴编辑器”提供技术支持

大数据思维

关于大数据思维即我们该如何去理解大数据，十余年潜心研究数据科学的技术权威维克托·迈尔-舍恩伯格认为要注意三点：

需要全部数据样本而不是抽样关注效率而不是精确度关注相关性而不是因果关系。

阿里巴巴的王坚对于大数据也有一些独特的见解，比如：

今天的数据不是大，真正有意思的是数据变得在线了，这个恰恰是互联网的特点非互联网时期的产品，功能一定是它的价值，今天互联网的产品，数据一定是它的价值你千万不要想着拿数据去改进一个业务，这不是大数据，你一定是去做了一件以前做不了的事情

特别是最后一点，我是非常认同的，大数据的真正价值在于创造，在于填补无数个还未实现过的空白。

有人把数据比喻为蕴藏能量的煤矿。煤炭按照性质有焦煤、无烟煤、肥煤、贫煤等分类，而露天煤矿、深山煤矿的挖掘成本又不一样。与此类似，大数据并不在“大”，而在于“有用”，价值含量、挖掘成本比数量更为重要。

本文由“壹伴编辑器”提供技术支持

大数据的价值

如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。

Target 超市以20多种怀孕期间孕妇可能会购买的商品为基础，将所有用户的购买记录作为数据来源，通过构建模型分析购买者的行为相关性，能准确的推断出孕妇的具体临盆时间，这样Target就可以有针对的在每个怀孕顾客的不同阶段寄送相应的产品优惠卷。

Wal-Mart作为零售行业的巨头，他们的分析人员会对每个阶段的销售记录进行了全面的分析，有一次他们无意中发现虽不相关但很有价值的数据，在美国的飓风来临季节，超市的蛋挞和抵御飓风物品竟然销量都有大幅增加。

于是他们做了一个明智决策，就是将蛋挞的销售位置移到了飓风物品销售区域旁边，看起来是为了方便用户挑选，但是没有想到蛋挞的销量因此又提高了很多。

这些例子真实的反映在各行各业，探求数据价值取决于把握数据的人，关键是人的数据思维；与其说是大数据创造了价值，不如说是大数据思维触发了新的价值增长。

未来在大数据领域最具有价值的是两种事物：1-拥有大数据思维的人，这种人可以将大数据的潜在价值转化为实际利益；2-还未有被大数据触及过的业务领域。这些是还未被挖掘的油井，金矿，是所谓的蓝海。

本文由“壹伴编辑器”提供技术支持

大数据的风险

提到大数据人们生活造成的干扰，你或许对隐私泄露早有耳闻。当你在不同的网站上注册了个人信息后，可能这些信息已经被扩散出去了。

当你莫名其妙的接到各种邮件，电话，短信的滋扰时，你不会想到自己的电话号码，邮箱，生日，购买记录，收入水平，家庭住址，亲朋好友等私人信息早就被各种商业机构非法存储或贱卖给其它任何有需要的企业或个人了。

更可怕的是，这些信息你永远无法删除，它们永远存在于互联网的某些你不知道的角落。除非你更换掉自己的所有信息，但是这代价太大了。

目前，中国并没有专门的法律法规来界定用户隐私，处理相关问题时多采用其他相关法规条例来解释。但随着民众隐私意识的日益增强，合法合规地获取数据、分析数据和应用数据，是进行大数据分析时必须遵循的原则。

因此在大数据的背景下，很多人都在积极的抵制无底线的数字化，这种大数据和个体之间的博弈还会一直继续下去……

专家给予了我们一些如何有效保护大数据背景下隐私权的建议：

减少信息的数字化隐私权立法数字隐私权基础设施（类似DRM数字版权管理）人类改变认知（接受忽略过去）创造良性的信息生态语境化。

本篇关于大数据的理论层面分析就介绍到这，下一篇我们将对大数据价值体现的手段和前进的基石——大数据技术深入进行展开分析。

END

第二届中国【郑州】开发者大会

线上报名通道全面开放

本次大会将开设从数字化到大数据落地专场，现已开放报名通道，门票分为免费票和VIP票两种，其中VIP票权益非常丰富，票价为199元且仅限200张，下面是两种票的权益对比：

商业银行在大数据时代的蜕变，既不是传统状态下短期目标的满足，也不是金融新业态（互联网金融）压迫下的被动选择，更不是固化金融生态结构的势力扩张，其根本目的是要带来一个更加开放、更为多元、更具效率和更有秩序的金融生态体系。商业银行不是要守住垄断的市场领域或市场份额，而是用一种市场化方式、趋势化力量，优化市场空间，形成多种金融成分（混合金融、民营金融、外资金融）共同发展、错位竞争、互补高效、公平生存的新市场环境。

　　面对大数据时代，商业银行如何完成从“数据大”到“大数据”的蜕变，既构成其过往业务实践的重要内容，又成为其未来发展创新的主攻方向。

未来的商业银行应主动拥抱“大数据”，从数据中获得洞察力，占据价值链核心位置，引领传统模式向数字化的智慧银行转型。

商业银行的全部业务，集中体现在“客户”与“风险”关系的协调上。

好的投资需要透过数据发现生意的本质。如果商业银行实现了从“数据大”到“大数据”的蜕变，就能让数据“活”起来，并成为一种再生资源。

还需要认清的是，商业银行在大数据时代的这种蜕变，既不是传统状态下短期目标的满足，也不是金融新业态（互联网金融）压迫下的被动选择，更不是固化金融生态结构的势力扩张。商业银行从“数据大”到“大数据”的蜕变，根本目的是要带来一个更加开放、更为多元、更具效率和更有秩序的金融生态体系。

市民在中国国际大数据产业博览会现场参观大型无人机。 新华社记者 刘 续摄

近年来，中国大力推动实施国家大数据战略，大数据产业保持良好发展势头，涌现出一大批大数据新企业、新产品、新服务、新业态。不断涌动的创新、深度的融合和庞大的体量让中国加速迈入“大数据时代”。而对中国而言，大数据不仅仅是“数据大”这么简单，突破核心技术、培养竞争优势、培育持久动能、增强管理能力，都是推动大数据产业发展的题中之义。

突破核心技术

产业规模达到4700亿元，同比增长30％，这是中国大数据产业去年交出的成绩单。根据国家网信办发布的《数字中国建设发展报告（2017年）》显示，2014年至2017年，中国大数据产业持续高速增长，预计2020年中国大数据市场产值将超万亿。

党的十九大提出要建设网络强国、数字中国、智慧社会，推动互联网、大数据、人工智能和实体经济深度融合，发展数字经济、共享经济，培育新增长点、形成新动能。在国家大数据战略深入实施的当下，中国各地方大数据产业发展方兴未艾。

中国大数据产业的发展得益于丰富的技术创新成果。近年来，中国大力支持前沿技术创新，加快关键产品研发，推进大数据与云计算的深度融合，促进产学研深度融合，打造了一批代表性企业和项目。比如，全部采用安全可靠CPU的“神威·太湖之光”超级计算机连续4次位列全球超算500强首位，量子点电视等创新加速涌现，中国在基于数字技术的人工智能、高性能计算等领域国际领先等。

“全球数据爆发增长、海量集聚的当下，完备的数据基础、巨大的数据资源和应用市场让中国具备创新优势。”工信部副部长陈肇雄说。

中国拥有全球最庞大的数据生产群体，网民数量、移动电话用户数量居世界第一，已是名副其实的数据资源大国。据外媒报道，全球大数据市场规模2020年有望扩大至2100亿美元。其中，中国大数据总量占比将达20%，成为全球大数据大国。

深化融合应用

“如今，大量前去医院就诊的患者都是看糖尿病、心血管疾病等慢性病，这类疾病的诊疗重在分析病人的各项数据，以此监测并发症、调整用药。”

谈到大数据技术在医学领域的应用，有业内人士说，普通百姓可以明显感受到医疗大数据带来的便利，以慢病管理应用软件为例，很多病人的诊疗可以在软件上完成，不仅节省医疗资源，也能给医生提供更准确的病史作为参考。

“医疗大数据”仅是大数据与其他产业深度融合的案例之一。随着大数据产业的深入发展，大数据产业与实体经济的融合日益加深，已经从早期的电商、金融、电信领域渗透至农业、医疗、工业等方方面面。

《2018年中国大数据产业发展水平评估报告》显示，2017年，综合基础环境、数据汇集、行业应用等因素，大数据发展水平行业排名由高到低为金融、电信、政务、交通、商贸、医疗、工业、教育、旅游、农业。

其中，金融、电信、政务大数据发展指数分别为45.35、41.69和39.44，超过行业指数平均值30.51。工业领域2017年的指数为24.28，相较2016年的15.41显著提高。

“信息技术正从助力经济发展的辅助工具向引领经济发展的核心引擎转变。对数据的‘盘活’和‘赋能’，必将为产业生活带来‘点石成金’的效应。”中科院院士梅宏说。

加强数据治理

在大数据产业迅猛发展的同时，大数据安全发展和保障能力建设等问题逐渐进入人们的视线。如何构建完善大数据治理体系，完善法律法规，加强大数据安防产品开发，建立高效数据安全管理机制，成为业界共同关心的议题。

数据安全隐患可谓全球性议题。比如美国社交平台脸书就因被指控通过手机应用收集用户及其朋友信息而引发广泛关注。在国内，近年来，地下数据交易猖獗，数据泄露和网络攻击事件频发，给个人隐私保护、企业安全生产、经济社会发展乃至国家安全都可能带来新的挑战。

《数据泄露水平指数调查报告》显示，2017年上半年全球有19亿条数据记录被泄露。相比2016年下半年，丢失、被盗或被泄露记录条数增加了164%。

另一份报告则显示，通过手机APP获取个人信息数据在国内已呈常态化趋势。高达96.6%的Android应用会获取用户手机隐私权限，25.3%的Android应用甚至存在越界获取用户手机隐私权限的情况。

中央网信办网络安全协调局副局长卿昱表示，互联时代大数据规模空前，数据流动更加频繁。国家有关部门正在积极加快推动网络安全法等一系列法律法规制度的增补完善，启动大数据安全标准研制工作，积极发挥标准的基础性引领作用。

“到2020年，技术先进、应用繁荣、保障有力的大数据产业体系基本形成”。这是工信部印发的《大数据产业发展规划（2016-2020年）》提出的目标。

来源：人民日报海外版

长按关注

在大数据成为趋势，成为国家战略的今天，如何最大限度发挥大数据的价值成为人们思考的问题。无论是对于互联网企业、电信运营商还是数量众多的初创企业而言，大数据的变现显得尤为重要。谁最先一步找到密码，谁就能够抢占市场，赢得发展。在探索大数据商业模式的同时，大数据正加速在各行各业的应用，大数据不仅为人们的购物、出行、交友提供了帮助，甚至还在高考这样重要的事件中发挥作用。

大数据产业具有无污染、生态友好、低投入高附加值特点，对于我国转变过去资源因素型经济增长方式、推进“互联网+”行动计划、实现国家制造业30年发展目标有战略意义。前几年，国内大数据产业讨论较多、落地较少，商业模式处于初探期，行业处于两种极端：一种是过热的浮躁带来了一定的泡沫和产业风险；一种是怀疑大数据只是炒作，依然坚持传统管理理念、经营模式。但是进入2015年之后，大数据产业告别了泡沫，进入更务实的发展阶段，从产业萌芽期进入了成长期。当前，如何将大数据变现成为业界探索的重要方向。

B2B大数据交易所

国内外均有企业在推动大数据交易。目前，我国正在探索“国家队”性质的B2B大数据交易所模式。

2014年2月20日，国内首个面向数据交易的产业组织——中关村大数据交易产业联盟成立，同日，中关村数海大数据交易平台启动，定位大数据的交易服务平台。2015年4月15日，贵阳大数据交易所正式挂牌运营并完成首批大数据交易。贵阳大数据交易所完成的首批数据交易卖方为深圳市腾讯计算机系统有限公司、广东省数字广东研究院，买方为京东云平台、中金数据系统有限公司。2015年5月26日，在2015贵阳国际大数据产业博览会暨全球大数据时代贵阳峰会上，贵阳大数据交易所推出《2015年中国大数据交易白皮书》和《贵阳大数据交易所702公约》，为大数据交易所的性质、目的、交易标的、信息隐私保护等指明了方向，奠定了大数据金矿变现的产业基础。

咨询研究报告

国内咨询报告的数据大多来源于国家统计局等各部委的统计数据，由专业的研究员对数据加以分析、挖掘，找出各行业的定量特点进而得出定性结论，常见于“市场调研分析及发展咨询报告”，如“2015～2020年中国通信设备行业市场调研分析及发展咨询报告”、“2015～2020年中国手机行业销售状况分析及发展策略”、“2015年光纤市场分析报告”等，这些咨询报告面向社会销售，其实就是O2O的大数据交易模式。

各行各业的分析报告为行业内的大量企业提供了智力成果、企业运营和市场营销的数据参考，有利于市场优化供应链，避免产能过剩，维持市场稳定。这些都是以统计部门的结构化数据和非结构化数据为基础的专业研究，这就是传统的一对多的行业大数据商业模式。

数据挖掘云计算软件

云计算的出现为中小企业分析海量数据提供了廉价的解决方案，SaaS模式是云计算的最大魅力所在。云计算服务中SaaS软件可以提供数据挖掘、数据清洗的第三方软件和插件。

业内曾有专家指出，大数据=海量数据+分析软件+挖掘过程，通过强大的各有千秋的分析软件来提供多样性的数据挖掘服务就是其盈利模式。国内已经有大数据公司开发了这些架构在云端的大数据分析软件：它集统计分析、数据挖掘和商务智能于一体，用户只需要将数据导入该平台，就可以利用该平台提供的丰富算法和模型，进行数据处理、基础统计、高级统计、数据挖掘、数据制图和结果输出等。数据由系统统一进行管理，能够区分私有和公有数据，可以保证私有数据只供持有者使用，同时支持多样数据源接入，适合分析各行各业的数据，易学好用、操作界面简易直观，普通用户稍做了解即可使用，同时也适合高端用户自己建模进行二次开发。

大数据咨询分析服务

机构及企业规模越大其拥有的数据量就越大，但是很少有企业像大型互联网公司那样有自己的大数据分析团队，因此必然存在一些专业型的大数据咨询公司，这些公司提供基于管理咨询的大数据建模、大数据分析、商业模式转型、市场营销策划等，有了大数据作为依据，咨询公司的结论和咨询成果更加有说服力，这也是传统咨询公司的转型方向。比如某国外大型IT研究与顾问咨询公司的副总裁在公开场合曾表示，大数据能使贵州农业节省60%的投入，同时增加80%的产出。该公司能做出这样的论断当然是基于其对贵州农业、天气、土壤等数据的日积月累以及其建模分析能力。

政府决策咨询智库

党的十八届三中全会通过的《中共中央关于全面深化改革若干重大问题的决定》明确提出，加强中国特色新型智库建设，建立健全决策咨询制度。这是中共中央文件首次提出“智库”概念。

近几年，一批以建设现代化智库为导向、以服务国家发展战略为目标的智库迅速成立，中国智库数量从2008年的全球第12位跃居当前第2位。大数据是智库的核心，没有了数据，智库的预测和分析将为无源之水。在海量信息甚至泛滥的情况下，智库要提升梳理、整合信息的能力必然需要依靠大数据分析。

研究认为，93%的行为是可以预测的，如果将事件数字化、公式化、模型化，其实多么复杂的事件都是有其可以预知的规律可循，事态的发展走向是极易被预测的。可见，大数据的应用将不断提高政府的决策效率和决策科学性。

自有平台大数据分析

随着大数据的价值被各行各业逐渐认可，拥有广大客户群的大中型企业也开始开发、建设自有平台来分析大数据，并嵌入到企业内部的ERP系统信息流，由数据来引导企业内部决策、运营、现金流管理、市场开拓等，起到了企业内部价值链增值的作用。

在分析1.0时代，数据仓库被视作分析的基础。2.0时代，公司主要依靠Hadoop集群和NoSQL数据库。3.0时代的新型“敏捷”分析方法和机器学习技术正在以更快的速度来提供分析结果。更多的企业将在其战略部门设置首席分析官，组织跨部门、跨学科、知识结构丰富、营销经验丰富的人员进行各种类型数据的混合分析。

大数据投资工具

证券市场行为、各类指数与投资者的分析、判断以及情绪都有很大关系。2002年诺贝尔经济学奖授予了行为经济学家卡尼曼和实验经济学家史密斯，行为经济学开始被主流经济学所接受，行为金融理论将心理学尤其是行为科学理论融入金融中。现实生活中拥有大量用户数据的互联网公司将其论坛、博客、新闻报道、文章、网民用户情绪、投资行为与股票行情对接，研究的是互联网的行为数据，关注热点及市场情绪，动态调整投资组合，开发出大数据投资工具，比如大数据类基金等。这些投资工具直接将大数据转化为投资理财产品。

定向采购线上交易平台

数据分析结果很多时候是其他行业的业务基础，国内目前对实体经济的电子商务化已经做到了B2C、C2C、B2B等，甚至目前O2O也越来越流行，但是对于数据这种虚拟商品而言，目前还没有具体的线上交易平台。比如服装制造企业针对某个省份的市场，需要该市场客户的身高、体重的中位数和平均数数据，那么医院体检部门、专业体检机构就是这些数据的供给方。通过获取这些数据，服装企业将可以开展精细化生产，以更低的成本生产出贴合市场需求的服装。假想一下，如果有这样一个“大数据定向采购平台”，就像淘宝购物一样，可以发起买方需求，也可以推出卖方产品，通过这样的模式，外加第三方支付平台，“数据分析结论”这种商品就会悄然而生，这种商品不占用物流资源、不污染环境、快速响应，但是却有“供”和“需”双方巨大的市场。而且通过这种平台可以保障基础数据安全，大数据定向采购服务平台交易的不是底层的基础数据，而是通过清洗建模出来的数据结果。所有卖方、买方都要实名认证，建立诚信档案机制并与国家信用体系打通。

非营利性数据征信评价机构

在国家将公民信息保护纳入刑法范围之前，公民个人信息经常被明码标价公开出售,并且形成了一个“灰色产业”。为此，2009年2月28日通过的刑法修正案（七）中新增了出售、非法提供公民个人信息罪，非法获取公民个人信息罪。该法条中特指国家机关或者金融、电信、交通、教育、医疗等单位的工作人员，不得将公民个人信息出售或非法提供给他人。而公民的信息在各种考试中介机构、房产中介、钓鱼网站、网站论坛依然在出售，诈骗电话、骚扰电话、推销电话在增加运营商话务量的同时也在破坏整个社会的信用体系和公民的安全感。

虽然数据交易之前是交易所规定的经过数据清洗的数据，但是交易所员工从本质上是无法监控全国海量的数据的。数据清洗只是对不符合格式要求的数据进行清洗，主要有不完整的数据、错误的数据、重复的数据三大类。因此，建立非营利性数据征信评价机构是非常有必要的，将数据征信纳入企业及个人征信系统，作为全国征信系统的一部分，避免黑市交易变成市场的正常行为。

除了征信评价机构之外，未来国家公共安全部门也许会成立数据安全局，纳入网络警察范畴，重点打击将侵犯企业商业秘密、公民隐私的基础数据进行数据贩卖的行为。

结语：

大数据已经从论坛串场、浮躁的观点逐步走向国家治理体系建设、营销管理、生产管理、证券市场等方面，其商业模式也多种多样。市场经验表明，存在买卖就存在商品经济，具体哪种商业模式占主流将由市场决定。而最终的事实将证明，大数据交易商品经济必然成为“互联网+”的重要组成部分。

什么是大数据？大数据就是指在一定时间范围内无法使用传统数据库工具对其进行捕捉、管理、计算、分析和处理的数据集合，大数据有以下四个特性：海量的数据规模（Volumn），数据类型繁多（Variety），数据流转速度极快（Velocity）以及价值密度较低（Value），我们就说说这四大特性。

海量的数据规模

我们接触最多最敏感的数据那就是我们手机所购买的流量，最常见的数据计量单位为K、M和G，他们的关系为1G=1024M，1M=1024KB。也许你也听过TB，1TB=1024G，这个数据单位对我们来世已经相当庞大了，我们的笔记本最大的容量也就在1TB这个级别，但是在大数据眼里最小的数据也得10TB起，比TB级还大的数据计量单位还有吗？有，而且还很多，1PB=1024TB，1EB=1024PB，1ZB=1024EB，1YB=1024ZB......我们已经无法感知这么大的数据量了。截止到2011 年，互联网用户数已达到20 亿； RFID 标签在2005 年的保有量仅有13亿个，但是到2010 年这个数字超过了300 亿；2006 年资本市场的数据比2003 年增长了17.5倍；日前新浪微博上每天上传的微博数超过1 亿条；Facebook 每天处理10TB 的数据；世界气象中心积累了220TB 的Web 数据，9PB 其他类型数据……

极快的数据流转

数据具有一定的时效性，是不停的变化的，可以随时间数据量逐渐增大，也可在空间上不断移动变化的数据。如果我们采集到的数据不经过流转，最终会过期作废。客户的体验在分秒级别，海量的数据，带来的第一个问题就是大大延长了各类报表生成时间，我们能否在极端的时间内提取最有价值的信心呢？数据在1秒内得不到流转处理，就会给客户带来较差的使用体验，若我们的数据处理软件达不到“秒”处理，所带来的商业价值就会大打折扣。

价值密度低

尽管大数据的数据量巨大，但是有价值的信息极少，我们要通过分析才能将大数据从数据到价值的转变，这些工作量极其庞大，所以云计算是一个很好的解决途径。以监控视频为例，一小时的视频，在不间断的监控过程中，可能有用的数据仅仅只有一两秒。

数据种类繁多

数据的格式是多样化的，如文字、图片、视频、音频、地理位置信息等，也可以是不同的数据类别，也可以有不容的来源，如传感器、互联网。首先用户是一个复杂的个体，单一的行为数据是不足以描述用户的各种行为，多元化的信息采集处理就像拼图一样，逐渐勾勒出我们身体的骨架，增添上我们的血肉。我们在淘宝、京东购物时，总会在下面的推荐区推荐我们想要的东西，比如我们去频繁的搜索浏览某件商品，这是他们就会采集我们浏览的数据，从中挖去有价值的信息，推送给我们。所以说这样的模式给一种体验，那就是这些app越来越懂我们的爱好和需求。

大数据未来会渗透在很多领域，大数据与云计算，机器学习与人工智能，物联网，区块链等。