（图片来源：全景视觉）

经济观察网 邓晓蕾/文大数据已成为刚需，对行业用户的重要性日益突出。根据Gartner数据显示，超过九成以上的企业管理层视数据为战略性资产，超过八成的企业经理认为数据资产并未体现在资产负债表上，而是隐含在无形资产中。掌握数据资产进行智能化决策，是企业获得核心竞争力的基石。

近几年，大数据在各行各业的落地应用不断开花，数据开始发挥越来越大的价值，驱动业务增长。加上大数据较为清晰的盈利模式，也成为资本市场竞逐的焦点。据不完全统计，在4月上旬，大数据领域投融资事件超过10起。

目前，在国内大数据领域较为典型的大数据公司主要有两类，一批是本身具有获取大数据能力的BAT等互联网巨头，另外一批是大数据初创公司，他们依赖于大数据工具，针对市场需求，为市场带来创新方案并推动技术发展。

以初创公司神策数据为例，该公司成立三年内已获得上亿元融资。该公司主要为企业提供以用户行为分析(UBA/UEBA)为核心的可视化数据服务，帮助企业解决了从采集、建模、可视化的问题，构建了数据驱动的闭环。去年，其服务的互联网客户中有108家企业发生了融资，占比 20%。

4月11日，神策数据完成4400万美元C轮融资，该轮融资由华平资本领投，A、B轮投资方跟投，其中包括红杉中国、晨兴资本、DCM资本、线性资本、明势资本等。此前，公司曾获得600万元人民币天使轮融资、400万美元A轮融资及1100万美元B轮融资。

投资人的青睐不仅缘于神策数据近十年积累的大数据分析经验，主要是其核心创始团队均来自于百度大数据。神策数据创始人兼CEO桑文锋表示，神策数据成立三年来，很幸运的走对了每一步。“从百度出来创业并没有跟风SaaS，而是结合中国市场的实际情况，确定了要做私有化部署，来帮助各类型客户将数据资产转化为可推动生产力的数据资本。

事实上，数据资产与数据资本的差距，数据沉淀与数据可持续性挖掘的差距，蕴含着巨大的机会，也为AI的应用提供基石。神策数据创始人兼COO刘耀洲认为，数据与AI变得紧密且融合，数据不再只是扮演“支持单业务、单角色的数据分析需求”的角色，而是围绕客户真实需求，贯穿从客户初次触点、客户培育、价值匹配、客户成功的全流程全接触点的运营流程中，形成从数据积累，到数据分析与应用，最终到实践验证的良性应用闭环。

以泛零售企业为例，随着互联网流量增长的红利消退，“获客”成本已经飙升到难以承受的程度。企业希望通过数据资产的积累和沉淀获取全端的用户行为数据，实现线上和线下的数据打通和融合，还原一个多场景下的用户全貌，提供以顾客为中心的新零售服务。

但是，在这个大数据的落地的过程中会遇到很多的“雷”，背后原因是存在很多的数据孤岛，以及对应的数据口径不一致导致的问题。这就需要大量的工作要集中在数据ETL(Extract，数据从来源端经过抽取；Transform，转换；Load，加载至目的端的过程)和数据整合等基础性工作上。另外，为了AI的应用更加容易些，只有进行数据积累和沉淀，以及可持续性的挖掘数据价值，才能保证数据的完整性和一致性，最终让数据分析的智能预测准确率提升。

神策数据的做法是通过私有化部署，先帮助企业做好数据采集和建模等数据基础工作，再进行数据分析和咨询业务。从而帮助企业获取数据并分析多维度、海量、实时的数据分析，从而驱动决策和驱动产品智能化。

“销售把产品卖给客户，这时的服务其实仅完成了20%。”桑文锋解释道，也就是说，数据不止驱动决策，数据更大的价值在于更早一步的数据驱动产品智能化，即利用个性化推荐、个性化投放广告等真实落地的功能，让产品本身得到大幅度优化。

在这个过程中，神策数据迈向成熟的最重要一步是服务意识的形成。桑文锋表示，大数据之于企业应用远不止产品本身，需要可持续的服务和价值传递。“我们在服务客户时，不同于传统企业软件服务的‘八二模型’，而是坚持‘二八模型’。签单只是完成了20%的工作，后续用户用起来并给客户带来业务价值，才是神策数据的独特所在。”

作为首家迈过 C 轮增长魔咒的神策数据，在产品、服务体系、商业模式的成熟度上已经得到市场初步认可，未来的重点在于将如何实现规模化扩张。

桑文锋认为，创业不应纠结于客户数量，只有强化服务体系，才能实现规模扩张。客户发展应该像“滚雪球”一样越滚越大，低劣的产品与服务必然造成“狗熊掰玉米”般客户流失。

据了解，在神策数据公布的 2018 年产品和业务战略框架中，将继续提升泛零售和金融数据服务，并进一步开发文娱、教育等领域的企业数据支持服务。

　　大数据分析师前景如何？发展趋势又是怎样的呢？谈及这个问题，我想先从大数据行业背景以及发展趋势着手，从根本上解除质疑者的忧虑。

　　大数据与大数据分析

　　数据分析是用包括检查、清洗、转换和建模等方法对数据进行处理。其目的是探索有用的信息、给出有建设性的意见，从而辅助压制决策。数据分析包含很多方面和方法，涉及的领域也遍布经济、科学、社会福利等行业。

　　数据挖掘是一个特别的数据分析技术，与传统的以纯描述为目的的技术相比，它专注于预测模型和对潜在知识的挖掘。所有的这些都是数据分析。数据分析虽然没有数据科学那样先进，可以创造新的数据结构，但是他们的目的都是一样的---探索数据可以用来怎样回答问题和解决问题。

　　大数据1.0到大数据2.0的发展

　　由维克托.迈尔舍恩伯格编写的《大数据时代》里指出大数据是指采用所有的数据进行分析，而不是抽样调查。大数据有4V特点：volume(大量)、velocity（高速）、variety（多样）、value（价值）。大数据1.0时代的特征是解决数据效率问题，大数据时代4个V中的前3个V都被有效的诠释了。但是最后一个V没有表现其作用。

　　大数据1.0时代逐一的解决了速度、容量等问题。在1.0时代积累的大数据将会在2.0时代得到其在价值上面的发挥。

　　从2015年起，大数据进入2.0时代。大数据2.0时代要求以数据本身的价值为目标，从企业本身业务需求产生的大量数据中通过深入挖掘，分析得出数据本身的价值。1.0时代留在数据认知上面，2.0则要求如何通过这些数据去解决问题。

　　大数据分析国际背景

　　在全球500强企业中，90%以上的重要投资与经营决策都取决于充分的数据分析支持。在欧盟、美国、日本等发达地区，数据分析普遍被作为运营决策的前提要素，为社会经济的高速发展做出重大贡献。可以说，数据分析技术是一把让企业通向成功之门的金钥匙。

　　大数据分析师前景如何？

　　从2003年年底信息产业部电子行业职业技能鉴定指导中心（现为“工信部教育与考试中心”）正式设立“数据分析师”培训项目，并制定出数据分析师培训、考试及管理办法。到2017年，中国的数据分析行业已经走过了11个年头。这期间中国的数据分析师、数据分析师事务所、行业协会（中国商业联合会数据分析专业委员会）从无到有，发展越来越快，业务领域也是从最初的投资数据分析转向经营数据分析。目前国家将大数据视为国家战略，并且在实施上，也已经进入企业战略层面。

　　大数据未来发展趋势又是怎样的？

　　1.大数据在经济预警方面发挥重要作用

　　2.大数据分析成为市场营销的重要手段

　　3.大数据在临床诊断、远程监控、药品研发等领域发挥重要作用

　　4.大数据为金融领域的客户管理、营销管理及风险管理提供重要支撑

　　大数据分析师前景如何？发展趋势又是怎样的？想必小编也不用煞费口舌了，上不上船，全在你一念之间。

大数据时代的到来，简单的说是海量数据同完美计算能力结合的结果。确切的说是移动互联网、物联网产生了海量的数据，大数据计算技术完美地解决了海量数据的收集、存储、计算、分析的问题。大数据时代开启人类社会利用数据价值的另一个时代。

分享之前推荐一个大数据学习交流，未来将是大数据时代，需要学习大数据的抓紧时间学习，群内不定期分享视频资料，欢迎加入关注作者其他文章，可以找到大数据学习群

大数据行业发展现状

1、一些数据的记录是以模拟形式存在，或者以数据形式存在，但是存贮在本地，不是公开数据资源，没有开放给互联网用户，例如音乐、照片、视频、监控录像等影音资料。现在这些数据不但数据量巨大，并且共享到了互联网上，面对所有互联网用户，其数量之大是前所未有。

2、移动互联网出现后，移动设备的很多传感器收集了大量的用户点击行为数据，已知IPHONE有3个传感器，三星有6个传感器。它们每天产生了大量的点击数据，这些数据被某些公司所有拥有，形成用户大量行为数据。

3、电子地图如高德、百度、Google地图出现后，其产生了大量的数据流数据，这些数据不同于传统数据，传统数据代表一个属性或一个度量值，但是这些地图产生的流数据代表着一种行为、一种习惯，这些流数据经频率分析后会产生巨大的商业价值。基于地图产生的数据流是一种新型的数据类型，在过去是不存在的。

4、进入了社交网络的年代后，互联网行为主要由用户参与创造，大量的互联网用户创造出海量的社交行为数据，这些数据是过去未曾出现的。其揭示了人们行为特点和生活习惯。

5、电商户崛起产来了大量网上交易数据，包含支付数据，查询行为，物流运输、购买喜好，点击顺序，评价行为等，其是信息流和资金流数据。

6、传统的互联网入口转向搜索引擎之后，用户的搜索行为和提问行为聚集了海量数据。单位存储价格的下降也为存储这些数据提供了经济上的可能。

我们所指的大数据不同与过去传统的数据，其产生方式、存储载体、访问方式、表现形式、来源特点等都同传统数据不同。大数据更接近于某个群体行为数据，它是全面的数据、准确的数据、有价值的数据。

中国的大数据之路任重而道远

中国目前的大数据应用环境和技术相对于美国而言，在整体技术水平、应用环境、国民意识、商业环境、技术厂商、技术平台上面相差超过5年左右。在大数据应用的国家战略层面落后的也较多。

2012年3月，美国奥巴马政府宣布推出“大数据的研究和发展计划”。该计划涉及美国国家科学基金、美国国家卫生研究院、美国能源部、美国国防部、美国国防部高级研究计划局、美国地质勘探局等6个联邦政府部门，承诺将投资两亿多美元，大力推动和改善与大数据相关的收集、组织和分析工具及技术，以推进从大量的、复杂的数据集合中获取知识和洞见的能力。美国奥巴马政府宣布投资大数据领域，是大数据从商业行为上升到国家战略的分水岭，表明大数据正式提升到战略层面，大数据在经济社会各个层面、各个领域都开始受到重视。

2014年从“两会”的提案、议案看，很多人建议将大数据业务上升为国家战略，互联网领军人物李彦宏在政协记者会上表示，政府应该把更多和人民生活有关的数据资料，公开地放到网络上；雷军则直接建议将大数据纳入国家战略，推动大数据切实地被用起来；科大讯飞刘庆峰建议国家建设声纹数据库进行大数据反恐。张近东、马化腾、杨元庆的提案也与数据应用有着紧密联系。但是在中国大数据国家战略和大数据产业发展发面还没有一个清晰的蓝图。

最后总结一下，大数据时代将会给人类社会带来巨大变化。它是一个好的工具，就像计算机一样，帮助人们提升社会生产效率，了解事物真相，认识客观规律，同时加快进入智慧社会。

以上种种，无不揭示着大数据未来发展的大好前景！时不我待，抓住机遇！

点击上方

蓝色文字

关注公众号

快节奏的今天，越来越多企业客户需要的是能够为他带来直接价值的东西，往往忽略报告给企业带来的实际价值。然而事实上一份有效的大数据分析报告能够对企业产生很大的价值。

大数据分析报告不仅能够对某个具体领域的宏观经济趋势进行判断和预测；还可以把我们的触角深入到某一个社区、某一类人群、某一个具体的产品，来了解他们的真实情况；同时，我们还能够借助大数据分析的结果来制定精细化的线上广告投放策略或是做针对性的地面推广活动；而最终，我们把大数据分析的成果以大数据工具的形式固化，才能让我们的大数据效力持续。

也就是说，真正有价值的大数据分析报告能够在中宏观规划、微观/细分市场分析、方案执行和策略部署等方方面面为企业带来价值。

一、大数据报告怎么做出来的？认识大数据分析流程！

首先，我们要理解大数据分析的基本流程，一个完整的大数据分析流程包含了商业问题理解、数据理解、数据准备、数据分析、产出分析报告、提出解决方案6个环节，并且是一个闭环、不断优化的过程。对于企业，可能不需要掌握高难度的分析处理能力，但是掌握数据分析思路、数据思维和意识都是非常重要的。

二、大数据报告究竟研究了什么东西？解密大数据分析思路！

大数据报告根据功能来分，可分为4个常见类型：

1. 市场/行业分析：对某一个行业、细分领域的市场现状的分析、发展趋势预测；

2. 用户画像：了解用户的人群特征、某个产品的不同群体的用户行为差异；

3. 竞品监测：对同类产品的用户使用情况、市场情况、功能性能进行对比研究；

4. 经营分析/业务问题专题：企业经营中重大战略决策的分析或针对某具体业务问题进行专题分析，如营销效果评估等。

大数据是新生事物，所以很多人对大数据分析报告缺乏概念，所以我来对4种典型分析报告的分析思路进行一次解密，看看每一类的数据分析报告到底需要包括哪些因素（指标仅为列举，无法全面涵盖）：

市场/行业分析

用户画像

竞品监控

营销效果评估

三、数据来自哪里？不同数据渠道和来源的优劣势对比

数据来源分为内部和外部，内部数据是企业有意识进行埋点、收集、整合与储存所获得的数据资产。一般来说，我们还会通过一些外部渠道获取数据：

1. 网页爬虫数据：通过程序在网页上把相关的信息采集下来；

2. SDK数据：游戏等应用中SDK自动打包回传的数据，像友盟、talkingdata，主要是基于SDK数据进行整合和处理分析；

3. 运营商数据：三大运营商运营、业务和管理三大领域大量的客户属性和上网行为数据，祥运大数据平台的核心数据来源之一；

4. 咨询公司加工数据：咨询公司大量的调研活动所产生的统计级数据；

5. 定制数据：向数据拥有者/采集者提需求，根据你具体的条件再进行数据的采集工作；

一份报告的价值很大程度收数据源质量影响，因此我们需要注意是数据是否靠谱。检查数据是否靠谱最简单的方式是借助你熟悉的数据进行对比，验证数据口径和数据范围。其次，就是对数据采集的对象、过程和处理方法进行评估，看数据是否具有时效性、代表性。

四、大数据报告能够怎么用？场景应用列举

祥运网未来也会陆续不断地给大家分享关于大数据的干货和有趣的、典型的案例。

海关数据是大数据时代下外贸企业发展成长中不可缺少的分析型数据，通过大数据分析转变了外贸人对的海关数据传统理念，帮助外贸人学会了去挖掘、去分析数据。网舟科技为大家分享：大数据如何对海关信息进行市场分析。

那么什么是海关数据？

海关数据是指从世界各国海关的“关单，提单，商检”中提取的真实的单证记录。企业通过海关数据，可以开拓市场，制订生产计划，寻找国外买家，了解竞争对手，监控客户动态。海关数据可以说是外贸企业必不可少的贸易协助工具。

中国进出口海关数据分析以中国进出口8位或10位海关统计数据为基础，通过分析、整理、统计，是企业分析行业宏观市场，全球市场定位，全面监控同行进出口情况的有力武器。一般适用企业：出口商、进口商、物流公司、咨询公司、律师事务所等。

海关数据里包含的字段：

中国8位进出口数据: 日期、出口、HS编码、商品名称、金额、数量、单价、单位、产销国、海关口岸、贸易方式、运输方式、中转国、企业编码、企业名称、企业性质、收发货地、联系方式

中国10位进出口数据: 日期、进口、HS编码、商品名称、金额、数量、单价、单位、原产国、海关口岸、贸易方式、运输方式、中转国、企业编码、企业名称、企业性质、收发货地、联系方式、品牌、型号等产品功能分析市场对企业关心的产品进行全球市场定位，精准了解全球每个国家采购金额、采购数量、采购均价。动态分析数据近几年数据分析每个国家市场增长情况，及时发现新兴增长市场。

海关数据的作用：

1、了解行业市场信息，掌握趋势

通过海关数据的交易记录可以找出各个采购商的全球供货商及其供货量，并可以适时地掌握商品的交易状况，从而掌握产品的总市场需求量、全球范围内的竞争对手、自己所占的比例，配额的使用情况，未来的市场走向等信息，为外贸企业的市场决策提供关键信息。

2、掌握行业细微变化，洞察需求

进口海关数据上的“规格”内容详细描述了产品规格，外贸企业可以了解到买家和目标国家市场对产品款式、花色等品质要求以及变化，也可以了解到该国的产品的包装和工艺情况。通过分析不同国家或地区的具体规格描述，外贸企业可以了解不同国家或地区的消费者对产品质量的不同要求和变化，有利于外贸企业有的放矢的推介其产品。同时也可以及时发现新产品或新材料的应用，及时把握目标市场的品质要求，调整设计和产品线，与国际市场同步，满足细分市场的变化需求，提高企业市场竞争力。

3、了解行业变化信息，调整战略

外贸企业通过监测目标国家或地区的发货单位名称变化，可以了解该行业和市场是否有新的参与者或是有退出者，竞争的激烈程度如何，这些现象可以提醒外贸企业该行业的竞争变化。如当新的参与者持续增多时，说明此行业利润有可能很大，从而不断的吸引着新的参与者，但对于现有外贸企业来说，这便意味着该行业的竞争加剧，外贸企业也要随行业的竞争程度调整市场战略。

外贸企业通过海关数据监测某一地区的出口或进口数量，可以了解目标市场所处的生命期阶段：即萌芽期、发展期、成熟期和衰退期，从而便于外贸企业决定是否进入以及如何进入等。当市场需求增大时，进出口的数量就会增大，这表明该产品的市场正处于发展期，这样外贸企业制定较为激进的市场战略，重点发展该目标市场 。

PS：网舟科技长期专注于金融保险、通信、航空、互联网、旅游酒店等行业的电子渠道大数据运营，为客户提供全球领先的电子渠道转型咨询、大数据挖掘和应用定制服务，助力客户互联网转型，提升数字化运营和数据营销能力。

在网络，移动设备，传感器，社交媒体，交易应用程序，日志文件，大数据等实时数据泛滥的情况下，发现了大量垂直市场应用程序，从诈骗检测到科学研究。无论涉及重大隐私问题或企业困难的挑战如何，仅在2017年，大数据投资就获得超过570亿美元的增长势头。预计未来三年的投资将以约10％的年增长率进行增长。

大数据分析所需的基本资源

大数据咨询已成为软件开发服务提供商的可行选择。无论是营销还是品牌实施的新产品，公司都不会轻易作出决定。当提到任何重大举措时，企业都会寻找他们客户提供的数据，以确保公司正朝着观众遵循的方向发展。

从点击流数据到购物车上的信息，都有大量的材料需要筛选，这就是为什么企业支付高价值的大数据咨询服务才能理解这一切。对于新职业市场的人来说，大数据分析是一个不错的选择。 当然，必须熟悉开始处理数字所需的技能和工具。

大数据分析所需的五个资源如下：

1.完成MATLAB Mastery Bundle

MATLAB或Matrix是一个多范型数字计算空间和编程语言。用外行人的话来说，它是一种工具，它使得编写代码，运行脚本以及执行数据分析和可视化等任务变得轻松易懂，从而解决复杂问题，而这些代码还不那么复杂。

2. Python Power Code BONUS Bundle

市场上有许多重要的编程语言可供选择，数据分析师使用其日常任务和职责中的很多。但是，如果有人要先学习，那就是Python。 Python语言被誉为用户友好型以及直观性。此外，它拥有众多的功能，这使它能够处理数据争夺。 70小时的培训通过展示如何下载，提取，清理，汇总，分析和可视化数据，开始了编程教育。

3.大数据和分析主工具包

数据分析师和高级分析咨询人员使用大量的语言和工具来获取角色，这并不足为奇。这四个模块集合为数据库添加了四个重要的分析工具，即Minitab，SPSS，SAS和R Studio。

4.使用Tableau Desktop 9 Bundle进行数据可视化

通过交互式仪表板分析和呈现数据以完全挖掘信息的主要工具之一是Tableau 9.这个收集将使您了解Tableau。因此，可以开始创建自己的可视化数据。

5.完整介绍R编程包

R的核心是一种统计编程语言，它非常适合挖掘和分析数据。但是，它也具有高级图形和机器学习功能，在数据可视化和集成复杂算法方面提供了一些独特的优势。在五门课程和三本电子书中，收集指导通过要点使用R来充分发挥潜力。

大数据优势

大数据应用程序可让数据科学家，统计人员和其他分析专业人员分析越来越多的结构化数据以及其他形式的数据，而这些数据往往不被传统的商业情报和分析程序所利用。这涵盖了非结构化和半结构化数据的组合，例如互联网点击流数据，网络服务器日志以及来自客户电子邮件的文本，机器数据，社交媒体内容和通过连接的传感器到事物互联网的呼叫细节记录。

在更大的范围内，数据分析技术迎合数据集分析的手段，并最终帮助企业做出充分知情的决策。商业智能查询回答关于业务绩效和操作的基本查询。大数据是一种高级分析，涉及复杂的应用程序元素，如预测模型，统计算法等。

用数据咨询创造新的增长机会

数据分析可以创造大量新的增长机会。此外，它甚至可能会产生一个新的业务类别，例如分析和汇总行业数据的类别。大多数企业将处于大量关于服务和产品，供应商和买家，消费者偏好和意图以及更多信息流的信息中。

各行各业的企业都应该开始大力创造数据功能。除了广泛的数据外，数据的高频率和实时性也是至关重要的。通过数据分析，实践被更广泛地使用。

今天的大数据和分析应用市场真是巨大。世界各地的软件开发服务提供商提供了大量的数据咨询工作。现在，大数据体验意味着更有可能从软件开发组织获得有利可图的工作。市场很大，有一系列的项目，交易，服务和合作关系。咨询服务可能会有所不同，具体取决于组织的特定要求，以及需要利用数据分析和解决方案的功能，这些功能可以简化业务流程。

你好，大数据分析师专业已经上线，但是很多人看见这个专业瞬间蒙圈！感觉真的是高难度的一个专业！但是，其实他就是相对于传统的数据更庞大，分析更精准，同时给企业高层提供精准决策。当然，这是一切都是有用工具来实现的。

一、大数据分析师现在的行业需求量非常大吗？其实我也不知道。但是我用这组数据还说明：

从20世纪90年代起，欧美国家开始大量培养数据分析师，直到现在，对数据分析师的需求仍然长盛不衰，而且还有扩展之势。

根据美国劳工部预测，到2018年，数据分析师的需求量将增长20%。就算你不是数据分析师，但数据分析技能也是未来必不可少的工作技能之一。据数联寻英发布《大数据人才报告》显示,目前全国的大数据人才仅46万,未来3-5年内大数据人才的缺口将高达150万。

目前，研发工程师、产品经理、人力资源、市场营销、运营和数据分析是当下中国互联网行业需求最旺盛的六类人才职位。其中研发工程师需求量最大，而数据分析人才最为稀缺。领英报告表明，数据分析人才的供给指数最低，仅为0.05，属于高度稀缺。数据分析人才跳槽速度也最快，平均跳槽速度为19.8个月。

在数据分析行业发展成熟的国家，90%的市场决策和经营决策都是通过数据分析研究确定的。

二、学完大数据分析师薪资到底有多少呢？

有媒体报道，在美国，大数据分析师平均每年薪酬高达17.5万美元，而国内顶尖互联网公司，大数据分析师的薪酬可能要比同一个级别的其他职位高20%至30%，且颇受企业重视。

国内某大型招聘平台给出的数据分析师平均薪酬为：9724（取自 1139份样本），且北京、上海、广州、深圳、杭州、南京、武汉、成都、长沙为大数据分析师需求量前十的城市。

三、如何成为大数据分析师呢？

相信很多人对大数据行业非常感兴趣。但是零基础的学生发愁，担心自己能不能学会这个专业。很多人会发愁这个问题。

华信智原（南京）从事IT教育培训行业十余载，结合企业用人需求已经研发出专属零基础学员的定制课程，个性化培训。项目实训及演练+大数据行业专家级讲师授课，让你在短短数月的时间内成为一名合格的大数据分析师。而且学完保就业！薪资不低于6000元。名额有限，报名从速！！！

后web2.0时代，互联网、物联网每天都在生产大量数据，人们对于这些庞大数据资源的价值渴求，使得“大数据”的概念得以问世。如果说“数据”是支撑未来核心技术的基础“原材料”，那么“大数据”正在演变成一种战略资源，当“用户需求导向”成为企业共识，大数据的收集、挖掘和分析开始支撑企业的业务运转、营销策略乃至战略方向，数据成为企业愈加珍视的宝贵资产。

目前，建设有大数据平台的企业不在少数，对比传统数据库，大数据平台数据大量集中，且蕴含更高价值，其安全建设要求明显更高。然而，由于大数据平台使用非结构化数据库类型，以及不同于以往应用与数据库，对应相对简单的传统网络结构，大数据平台安全建设为平台开发和运维者提出了难题。

日前，安华金和面向各行业IT运维和开发人群开展了一次大数据安全市场现状和需求调研。希望借此方式了解用户的大数据使用和运维安全现状，发现各行业用户在数据库运维工作中的安全需求，并梳理出整套适用于大数据平台特性的数据安全方案，帮助用户开展安全建设。安华金和从多方通道获取的近400份问卷中抽取170份有效样本进行统计分析，总结归纳出此份《大数据安全市场现状和需求分析》，摘取报告重点分析结论，分享给关注大数据安全的人士。

参与人员概况

抽取调研样本来自不同行业的部门或企业，包括：政府、制造、医疗、金融、通信、教育、能源、交通、保险行业等。调查对象主要为技术人员，直接从事IT运维或技术开发工作，或者为用户提供运维服务、解决方案及相关产品咨询，其中以技术经理、运维工程师、技术开发者占大多数，他们在单位中会指导或直接参与大数据平台的建设和运维，肩负大数据安全建设的责任，这为此份调研报告的客观性、专业度提供了基本的保障。

调查结果

大数据技术应用现状

本次调研中，半数受访者表示已经将大数据技术应用于单位部分业务中，或者明确列在应用计划内，处于技术选型阶段，另外半数受访者虽然没有真正启动大数据应用项目，但同样关注并处于技术调研阶段。同时，在已经投入大数据应用的受访者中，45%的受访者表示将大数据技术应用在了单位核心的数据分析或业务系统中，意味着单位核心业务数据写入大数据平台，这部分数据与平台分析结果具有非常高的商业价值，需要更高敏感度。

可以肯定的是，大数据技术已经受到各行业用户的广泛关注，当市场中近半数群体已经有所动作，一旦行业标杆案例成熟落地，另半数用户的方案复制和普及将很快开展起来。

大数据产品的使用情况

对于很多需要提供24小时不间断服务的网站来说，对数据库系统进行升级和扩展是非常痛苦的事情，往往需要停机维护和数据迁移，除了这些，大数据平台对传统的关系型数据库提出了更多的挑战，包括：高性能的事务管理性要求、读写实时性要求、高可用性要求。因此，在大数据平台的建设中，关系型数据库的很多特性失去了用武之地，非关系型数据库（NoSQL）成为大数据平台的标配。

在本次调研中，我们列出了目前相对常见的几类非关系型数据库产品，希望对几款产品的市场接受度加以了解：

32%的受访者应用了MangoDB数据库，使用最为广泛：Mongo最大的特点是支持的查询语言非常强大，语法类似于面向对象的查询语言，可以实现类似关系数据库单表查询的大部分功能，而且还支持对数据建立索引。MongoDB主要解决的是海量数据的访问效率问题，当数据量达到50GB以上的时候，Mongo的数据库访问速度是MySQL的10倍以上，这也是MongoDB广受青睐的主要原因。

其次为Hbase、Hive、Redis等几类，均在22%左右：Hive与HBase都是基于Hadoop平台的数据仓库工具，其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。

Spark紧随其后，占比17%：Spark 是一种与 Hadoop 相似的开源集群计算环境，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。

此外，在其他选项的答案中也出现了DB2、阿里大数据云等产品。

大数据平台中有哪些数据？

我们谈安全建设的时候，首先要搞清楚保护对象，不同业务类型、不同敏感级别的数据，需要根据其本身的敏感级别以及被访问和使用的情况，选择恰当的保护手段。因此，我们需要了解用户群体到底把哪些数据放到了大数据平台中存储和使用。

调研结果显示，50%的受访者会将“生产数据”放入大数据平台中，也就是单位主营业务系统实时产生的重要数据。这些数据从生产环境直接写入大数据平台，具有很强的实时性和敏感度。

41%的受访者选择“用户资料”，也是企业赖以生存的商业数据；此外，访问日志和交易信息分别有34%和24%的受访者选择。

更有14-15%的受访者表示会将第三方数据和财务数据放在大数据平台中，这里面第三方数据的出现，是指业务中的数据多方共享，测试、开发、分析场景中的数据分发等情况。此外，也有少数受访者提到了企业征信数据。

用户们的安全顾虑

大数据平台中汇集了一个单位方方面面的数据，并向各类对内或对外的业务系统开放接口，这意味着传统环境下的数据安全威胁在大数据应用场景下发生了更复杂的叠加和自由组合。那么用户们对大数据平台的安全顾虑更偏重哪方面呢？

59%的受访者选择漏洞攻击，56%的受访者选择“数据共享安全”，相较传统环境，共享场景下的安全问题在大数据技术的应用中显得更为突出，已经能与传统安全威胁中的“漏洞攻击”打个平手。不难理解，大数据平台除了提供存储和查询的功能，更重要的价值在于数据分析和价值挖掘，这决定了大数据平台需要向多部门甚至多家单位开放，比如政务大数据平台会向该地区各政府单位提供数据接口。

46%的受访者选择“企业机密泄露”，看来用户在安全问题引发的后果中，更担心机密数据泄露，这关乎企业的命脉。

38%的受访者选择“权限控制弱”，这与大数据平台所涉及的人员规模和角色复杂程度有关，目前只有具备一定技术水平的单位具备大数据平台建设能力，但同样需要引入第三方开发、测试人员，在后期的数据维护和挖掘中，需要引入第三方服务公司，这些不同访问角色的权限划分和管控愈加重要。

28%的受访者选择“无审计信息”，可见用户对于大数据平台的审计记录比较关注，这将提供一切安全事件的追责依据。

值得注意的是，只有13%的受访者选择“违反国家法规”，这不同于以往“安全需求多出自政策要求”的传统观念，保障数据安全的刚需成为越来越多用户考虑的重点。

哪些大数据安全产品最受青睐？

传统的安全建设思路对于大数据安全同样适用，但真正落地到技术手段的实现和方案的整合中，非关系型数据库的技术结构比传统关系型数据库难度更大。另外，由于大数据平台的数据访问来源、对象以及过程都要复杂的多，安全策略的制定和实现难度也会更高，那么在数据安全产品的选择上，用户更倾向哪几类呢？

大数据运维管控产品受到59%的受访者青睐，这侧面体现了用户对运维侧的行为管控最为重视，事实上，相比应用侧的数据读写，运维侧的开发、测试、分析人员会拥有更高的数据操作权限，也意味着更高的管控难度。

其次，大数据防火墙产品为41%，由于防火墙多用于应用侧的对外安全防护，也正应了用户对漏洞攻击等外部入侵的安全防护需求。

32%的受访者选择大数据审计，该数字低于运维管控和防火墙产品，这与传统环境下的安全需求差异明显，看来用户更看重能够提供事中管控的安全手段，审计产品的旁路监控和事后追查能力也重要，但看起来没那么迫切。

“大数据风险扫描”、“敏感数据梳理”的选择者各有27%和28%。安全风险扫描能够帮助用户发现安全隐患，如安全漏洞、弱安全配置、弱口令等，有些问题可以人工修复，提高平台安全基线，也能够指导安全方案的规划。敏感数据梳理是整体数据安全建设的基础，但这项技术在规模庞大且数据类型繁杂的大数据平台中落地，会面临不小的挑战。“大数据脱敏”有20%的青睐者，这项技术适用于数据分发和共享场景下的安全需求，但这个数字没有想象中高，也许用户是出于性能考虑？有待观察。

十九大确立了“新时代中国特色社会主义” 思想理论和战略布局。习近平总书记针对“实施国家大数据战略” 主持中共中央政治局第二次集体学习，强调加快完善数字基础设施，推进数据资源整合和开放共享，保障数据安全，加快建设数字中国，更好服务我国经济社会发展和人民生活改善。

国家大数据产业市场在国家政策引导、大数据试验区、各地试点实践基础上，面临前所未有的市场机会和前景，以下从国家大数据发展模式、大数据市场方向和大数据技术方向展开论述，并结合实践给出市场布局建议。

一、国家大数据发展模式的变迁：从“行业垂直”发展走向“聚通融合”，从“封闭沉睡”走向“开放创新”，建设“国家一体化”大数据资源目录体系，形成政府与市场的共治模式

大数据的概念处于不断认知的过程之中。上世纪八十年代，世界未来学家托夫勒在《第三次浪潮》中从文明发展阶段角度提出“农业文明”、“工业文明”和“信息文明”的划分方式，目前世界毫无疑问处于信息文明的阶段，从计算机技术的兴起和互联网的诞生，到现在层出不穷的信息系统、互联网应用、移动应用、物联网以及云计算基础实施的变革，社会和经济发展所产生的数据从GB、TB、PB、EB、ZB逐渐呈爆炸式增长，在传统数据处理工具、处理模式、复杂性、数据价值认知等方面发生巨大的变化，由此产生了大数据的概念以及分布式计算和存储模式的进一步发展，大数据的发展和利用正在带动深刻的社会变革，从电子商务、移动支付到共享经济，从政务服务、不见面审批到国家治理，从信息安全、网络安全到国家安全，大数据技术上升为国家战略层面，大数据技术正在成为信息文明发展的基石，是未来人工智能发展的基础和起点。

大数据技术的使用最早集中在“垂直行业”内，比如互联网方面的电子商务、互联网搜索、互联网金融、互联网广告等，侧重行为分析、特征分析、以分词为核心的自然语言处理、风险监控、安全监控等；在政务和企业方面，集中在通信、医疗、金融、气象、海洋、交通、公安、水利、能源、环保等数据密集、数据量较大的行业，侧重使用大数据技术在存储和分析方面的性能提升，在行业内进行业务特征分析、画像分析和趋势分析，逐步提升行业应用大数据的水平，尤其是图像技术、语音技术、分词技术以及物联网的兴起建设和云计算的大发展，极大推动了大数据的发展。

国家大数据战略的提出，是站在更高、更广泛、更深刻的经济和社会发展认识基础上提出的大数据发展思路，在国家以“放管服”为核心的全面深化改革进程中，所面临的问题具有整体性和综合型，比如商事制度改革所涉及的“证照合一”，“双随机一公开”，“综合执法改革”，“三项制度”等，牵涉到工商、国税、地税、人社、公安、民政、银行等多个部门和单位；比如国家信用体系建设基本覆盖所有政务部门和主体单位，面向政务诚信、市场诚信、社会诚信和司法公信力建设，要形成以“法人”和“自然人”为核心的信用行为库和支撑系统；比如“以审判为核心”的司法体制改革，涉及公安、检察院、法院、律师事务所、社会公众等；比如以反腐为核心的权力监管，基本覆盖党政公检法和国资国有企业，牵涉面更为广泛。

国家大数据战略的核心思路是“聚通融合”，建设覆盖全国的政务信息资源共享交换平台，重点建设基础库、主题库和部门库，形成国家、省、地区三级数据资源中心、数据共享平台和数据开放平台，在此基础上实现跨层级、跨地域、跨系统、跨部门、跨业务的全国一张网（电子政务外网+互联网），不断提升国家政务治理能力和便企便民服务，面向政务治理为各层级政府单位提供国家资源目录共享视图，在垂直行业大数据融合分析方面有了更广阔的数据维度，彻底解决没有数据，有数据不统一、数据融合度不够等突出问题，通过共享交换模式整合政务共治的突出难题；面向企业和社会公众形成“全国漫游”模式的业务能力，比如户口迁移、车辆年检、教育转学、企业投资、社保转移、医疗异地支付等，实现“让百姓少跑腿、数据多跑路”的严肃承诺；面向互联网企业、软件企业、大数据企业、数据交易所、数据研究机构、智库等各类企业事业单位，采用社会化运营的思路，通过大数据驱动产业创新，以“互联网+教育”、“互联网+医疗”、“互联网+文化”等模式建设民生保障体系并创造出新的经济增长点，实现国家和社会共治共发展模式。通过全国数据共享和交换平台，行业大数据资源从“封闭沉睡”走向“开放创新”，以政务信息大数据为基础，引导社会和企业大数据整合融合，国家大数据战略走向一体化，聚变效应必将推动大数据产业链的快速形成，在大数据确权、交易、投资、流通、加工、追溯、安全、计费、服务等方面形成一整套完备的国家管理模型和市场运营机制。

二、大数据市场方向、要点和设想：贴紧大数据资源中心建设，在信用体系、电子证照、主题工程、行业部门信息化建设方面拓展行业优势，走大数据联合运营之路

国家大数据发展战略和要求带来了广阔的市场方向，包括云数据中心基础设施建设、行业云大数据平台、数据交换共享平台、大数据细分行业协同应用、大数据处理和服务平台、大数据资产交易等，在此重点阐述数据交换和共享平台以及未来的行业应用带来的市场机遇。全国一体化的数据共享和交换平台，形成了一体化的政务数据资源中心、政务资源信息共享平台和政务资源信息开放平台。数据资源中心重点建设基础库、主题库和部门库。

基础库包括法人库、自然人库、信用库、地理信息库和电子证照库，这五个库是政务治理提升和便企便民的基础，国家治理模式的重心已经由“事前监管”转化为“事中事后监管”，行政权力事项推行“不见面审批”和“最多跑一次”，实行“一窗、一号、一网”的政务服务模式，“放管服”改革的核心思想是依靠信用机制分层管理，提高政务效率和质量并降低成本，建设和发展信用经济，符合现代经济的特征和规律，以“法人”和“自然人”为基础建设全国或者全省以生命周期为模型的电子证照库和以时间线为模型的信用行为库，可有效优化审批流程和监管模式，是未来政务大数据和行业大数据争夺的制高点，为了加强电子证照和信用行为的数据鉴权和认证，可引入区块链技术和体系，保证数据的可信性、不可篡改和追溯性；基础库中的地理信息库是全国全省一张图的基础，未来构建省级时空大数据平台是大势所趋，以GIS和大数据融合平台为基础，建设行政区划、国土规划信息、交通信息、生态资源信息、房产信息、医疗资源信息、教育资源信息、宏观经济信息、环保信息、行政服务、农业科技、精准扶贫、市场监管、城市运营信息、气象海洋测绘等等多层多领域信息，以服务的形式服务于各政务和企事业单位。

主题库的建设主要是以十二五和十三五规划的重点领域工程为基础，按照主题形成信息库，包括全民健康保障、全民住房保障、全民社会保障、药品安全监管、食品安全监管、安全生产监管、市场价格监管、金融综合监管、能源安全保障、信用体系建设、生态环境保护、行政执法监督、民主法制建设、执政能力建设、基本公共服务建设、行政许可审批等方向，这些主题工程和主题库具备延续性和完善性，未来的市场方向是依托基础库和其他主题库以及部门库进行深入融合分析；

部门库是党政公检法各领域各部门汇集的政务基础信息和业务信息，未来的市场方向是基于各部门主体业务，融合基础库和主题库进行数据融合分析以及大量新的应用创新，改造或者新建符合国家治理提升和公共服务的管理系统、互联网应用以及移动APP和微信应用，加强数据融合分析用以支撑领导决策、指挥调度和监管创新。

基于政务资源信息共享平台和政务资源信息开放平台，未来的市场机会是社会化联合运营，以政府和国资为主导，联合具备实力的软件厂商、大数据厂商、数据分析机构、互联网厂商、数据交易机构、智库、研究院等共同运营政务大数据和社会数据，运营实体可能是独立公司、控股公司或者协议合作方式，未来在常态数据分析、数据脱敏脱密、数据融合处理、数据服务产品加工、数据销售和推广方面展开合作并创造出巨大的就业机会，各类具备互联网运营特征的互联网应用、移动应用和产品将被持续孵化。

三、大数据技术方向、路线和建议：面向国家重大需求，实施创新驱动，形成自主可控的基于云平台的混合式大数据技术路线，整合资源加速形成大数据产业优势

国家大数据发展战略在技术方面提出明确要求，即：

要瞄准世界科技前沿，集中优势资源突破大数据核心技术，加快构建自主可控的大数据产业链、价值链和生态系统。要加快构建高速、移动、安全、泛在的新一代信息基础设施，统筹规划政务数据资源和社会数据资源，面向国家重大需求，面向国民经济发展主战场，全面实施促进大数据发展行动，完善大数据发展政策环境。要以数据为纽带促进产学研深度融合，形成数据驱动型创新体系和发展模式，培育造就一批大数据领军企业，打造多层次、多类型的大数据人才队伍。突出了自主可控、统筹规划和全面实施，面向重大需求在政务和社会大数据方面，促进创新驱动模式的企业、人才和研发深度融合发展。

大数据技术可行的架构一定是混合式体系，既要支撑大数据的存储和计算，又要支撑交换、共享以及各类大数据应用。从结构化数据、半结构化数据和非结构化数据方面，待选方案和产品较多，结构化和半结构化数据依托SQL数据库（传统关系型数据库，包括事务性和分析性）、NewSQL数据库(MPP数据库)，NoSQL数据库（mongodb、hbase、redis、leveldb等）进行存储，半结构化和非结构化数据主要依托文件系统、共享文件系统、分布式文件系统进行存储。在分布式计算和数据分析方向主要依托MapReduce、Yarn、hive、Spark、R、python、sas、pig、Impala、Hama、kylin等开源和商业体系。在大数据可视化方向，重点研究数据模型构建工具、数据立方以及基于WEB图形化集合。综上所述，基于Hadoop体系，在数据多源实时和非实时采集、分布式存储、分布式计算、数据模型和算法、可视化交互分析和展示、安全等方面整合研发，有效融合传统开源存储和计算技术，构建自主可控的基于开源组件的技术体系行之有效。目前国内自主知识产权的大数据分析平台基本是按照这个思路在整合研发，尤其是阿里云、腾讯云等公有云平台，整合力度和产品线较全。大数据技术体系，尤其是超大规模大数据平台，是从云计算的IAAS层、PAAS层和DAAS层统一整合，从基础实施资源虚拟资源、数据交换与采集、分布式存储和计算、大数据挖掘分析和可视化展示均实现弹性可配置、可监控、可管理、可扩展，成为事实上的大数据操作系统（DATAOS），而在私有云中心和大数据平台建设方面参照公有云大数据平台进行裁剪和定制。