随着金融大数据技术应用，以及相关业务大数据应用不断创新，金融机构的数据分析和业务创新，以及数据安全如何深度融合，是当前金融机构信息化面临的重要挑战。

中国银监会印发《银行业金融机构信息系统风险管理指引》（2006年），其中第二十七条：银行业金融机构应加强数据采集、存贮、传输、使用、备份、恢复、抽检、清理、销毁等环节的有效管理，不得脱离系统采集加工、传输、存取数据；优化系统和数据库安全设置，严格按授权使用系统和数据库，采用适当的数据加密技术以保护敏感数据的传输和存取，保证数据的完整性、保密性。

中国银监会印发《银行业金融机构全面风险管理指引》（银监发〔2016〕44号），其中第四十三条：银行业金融机构应当建立与业务规模、风险状况等相匹配的信息科技基础设施；第四十四条 银行业金融机构应当建立健全数据质量控制机制，积累真实、准确、连续、完整的内部和外部数据，用于风险识别、计量、评估、监测、报告，以及资本和流动性充足情况的评估。

从银监会的两次下发指引文件要求中，我们可以看到，针对金额行业的数据分析，相对传统行业，在数据的采集、存储和处理过程中，在数据安全性、完整性、业务管理全面性上，有着更为严格的要求。

那在金融大数据技术应用领域，如何更高效、安全的实现金融业务数据的精细化采集管理，是其中一个细分的技术领域，也是我们今天探讨的话题。

金融业务大数据的采集管理技术需求

金融行业的信息化在众多异构系统和DT环境中，越来越重视可视化和业务关联性，在互联网化金融交易和大数据技术应用的背景下，相关数据采集、分析的技术需求演进出现了新的变化，那就是分别是分流调度管理技术和业务可视化技术。

可视化分析业务，需要采集、分析不同类别的数据，如基础数据，日志数据，安全数据或特定业务数据，因此需要分门别类进行分类调度。专业的分析应用需要专业的设备和系统配合。

比如风险监管日趋严谨，每家金融机构对贷前风控、贷后风险管理的重视空前提高。而通过信息化手段实现风控能力上，数据准确完整，算法和模型是风控部署的核心。

现在的金融机构IT架构大多分为在线系统、近线系统与离线系统。在线系统主要面向最终用户的交易请求；近线系统则针对一段时间内的历史数据进行存放和进行溯源查询；而离线系统则对历史时间的数据进行归档，在特殊情况下会被恢复进行使用。

随着大数据技术的蓬勃发展，金融机构对全量历史数据的认知有新的变化。如何从历史数据中挖掘其潜在价值，如何将离线数据在线化以满足监管部门的需求，是很多银行开始利用大数据技术解决的问题。

例如征信，银行已经能够获取社会各类有意义的信息进行记录，例如网上的各地各楼盘的房价、人行征信、法院执行纪录、工商局信息、企业上下游现金流等信息，然后通过这种信息对个人企业进行分析对比，对超常理的数据进行风险警告，便于审计人员快速判断识别潜在风险。

又比如客户的POS刷卡记录，企业上下游流水账单，交税信息等等，整个可对企业进行现金流测算。又或者对客户信用卡还款时间，转账时间等等来判断客户手中现金或者回款时间，把推荐的理财营销时间推送给其客户经理等，实现真正的精准营销。

总体来说，金融现有的业务需要把数据的有效分析和灵活应用到金融体系中去，而非空谈大数据应用。

那在大数据业务分析、内容安全审计和业务应用可视化的应用中，面临最核心问题，那就是如何把业务流量正确、按需的方式传递给所需的数据分析系统。笔者认为需要专业的业务流数据管理系统才能够精准的识别、分类和分发传递。

比如很多运维日志数据是通过UDP 514传递的，那日志服务器不需要接受其他内容，针对性采集即可。如交易或征信业务只需要采集数据库的Mysql TCP 3306 和Oracle TCP 1521端口往返数据，那分析系统也可降低性能负载，摘取所需数据是当前数据分析的必要措施。

另外不得不说的是流量不少是无用的数据载荷。而常见的分析系统平台大多为千兆速率，那么网络单接口流量在万兆或更高流量时候，是增强系统分析系统的硬件配置还是通过数据裁剪方式来部署，那选择显而易见是裁剪优化而不是升级分析平台的硬件平台，因为那将是更高昂的硬件摊销成本。

比如交易数据或征信数据等，可以进行剥离掉帧头帧尾和部分封装协议。数据分析服务器（比如性能分析类）吞吐量较低，无法承载大流量分析能力，需要将分发流量进行载荷截短，降低数据流量带宽，提升服务器分析效率。

金融大数据采集分析应用建议使用专业分流技术

上述的金融业务可视化分析以及IT系统环境运维过程中问题，是我们常见的数据采集、归类、提取再分发分析的技术需求和环境。

因此在金融大数据识别、分类采集、分发存储等应用方面建议使用专业数据分流技术，因为其系统的精细化数据流管理功能为相关业务应用提供专业能力的保障，而这个数据分流应用并已在诸多的行业的运维和业务应用可视化领域成熟应用。

目前国内市场上还没有针对金融行业系统应用的专业分流器出现。迈普公司凭借多年服务于金融经验，适时推出了与国外品牌相媲美的“网视”系列网络“数据分流器”产品。三大硬件系列、八大核心功能，在金融行业“可视化运维”部署业务中获得了充分验证和应用部署，打开了国产专业化网络分流器的新篇章。

迈普“网视”系列“数据分流器”采用定制化专业流处理芯片，采用灵活流量调度技术，针对金融行业面临的全网安全审计和多业务点性能分析需求，重点解决基础网络设备“流”分发使用限制多、安全风险高、扩展能力弱等问题。

过滤选项可以帮助用户在数据包层级，选择发送何种数据包到指定的监测端口。专业数据分流特性能实现业务流量正确、按需的方式传递给所需的分析系统，才能实现高效、快捷的问题定位、安全回溯，业务分析等应用。在满足上述需求的同时，更具有不影响原有业务网络、端口密度高和关键数据脱敏等技术优势。

“八大核心功能”依次是：分析流M:N、分析流1：N负载、分析流溯源标识、分析流时间戳标签、分析流数据脱敏、分析流载荷截短、分析流远端IP传输和分析流对称HASH，可以满足运维过程中流量灵活分类、流量压缩、多业务支持的三个关键业务需求，解决传统网络设备的功能不足。

迈普“网视”系列“数据分流器”是国内领先的行业级数据分流器产品，产品功能丰富、定制能力强，目前已经与大量流量可视化厂家实现了应用对接，如天旦、Ixia 、Netscout、赛门铁克、Compuware、科来、绿盟等。

---------------------------------------------------------

1.本文援引自互联网，旨在传递更多网络信息，仅代表作者本人观点，与本网站无关。

2.本文仅供读者参考，本网站未对该内容进行证实，对其原创性、真实性、完整性、及时性不作任何保证。

从IT时代到DT时代，本文将从金融行业大数据发展现状、市场规模及前景、数据类型分析、应用场景、实际案例等方面简要分析大数据在金融行业应用发展。

IT时代是以自我控制、自我管理为主，而DT(Datatechnology)时代，它是以服务大众、激发生产力为主的技术。这两者之间看起来似乎是一种技术的差异，但实际上是思想观念层面的差异。未来，包括数据处理、综合处理、语音识别、商业智能软件等在内的大数据服务，将成为企业的下一步发展重点。

金融行业数据资源丰富，数据应用由来已久。从发展特点和趋势来看，金融数据与其他跨领域数据的融合应用正不断强化，金融行业数据的整合、共享和开放正在成为趋势。对于大数据的应用分析能力，正在成为金融机构未来发展的核心竞争要素。而针对金融机构转型，目前移动互联网化及大数据技术的迅速普及则为其提供了更多的利好可能。

金融大数据发展现状

数据容量大，涵盖范围广

在大数据时代，金融业数据迅速膨胀并呈现出几何级数的增长态势。由于行业特性，银行业在长期业务开展过程中积累了海量数据。从数据涵盖范围来看，数据类型包括以工资、公积金、消费贷款等为代表的结构化数据和以文档、图片、音像和地理位置信息等种类繁多的非结构化和半结构化数据。以银行业为例，每创收100万美元，会平均产生820GB的数据，数据强度高踞各行业之首，而在相同创收条件下，电信、保险和能源行业数据强度分别为490GB、150GB和20GB，由此可知金融业在大数据应用方面具备天然优势。

数据处理复杂，充分挖掘困难

商业银行数据体量庞大，在数据处理过程中存在很多问题，主要包括：

（1）数据治理体系化建设匮乏。现阶段商业银行尚未形成系统的数据治理方法和体系，缺乏有效的数据分类、整理和加工。

（2）数据资源管理整合度不高，内部可用信息使用率低下。当前商业银行的数据在组织内部处于割裂状态，缺乏顺畅的共享机制，难以实现数据的有效整合和使用。

（3）数据内容复杂多样，难以充分挖掘数据资源潜在价值。造成这一现状的原因在于商业银行非结构化数据占比不断上升，数据构造方法重复率高，且关系复杂。

数据资产化，应用场景丰富

国内商业银行现处于数据资产化、产业化的起步阶段，且银行运用大数据技术以描述性数据分析为主，预测性数据建模为辅，以自身交易和客户数据为主，外部数据为辅。数据资产目前最主要的作用是趋势预测和决策支持，典型的应用场景集中在营销分析、内部运营和风险管控等方面，具体应用案例包括交叉销售、客户群体划分、信用评分及违约监测等。当前我国商业银行大数据应用深度、广度和频度都与国际先进银行存在着巨大差距，迫切需要拓宽数据应用层面，实现数据资产增值。

数据应用难度大，制约因素多

1.大数据技术框架

大数据技术框架的组成部分包括处理系统、平台基础和计算模型。首先，处理系统必须稳定可靠，同时支持实时处理和离线处理多种应用，支持多源异构数据的统一存储和处理等功能。其次，平台基础要解决硬件资源的抽象和调度管理问题，以提高硬件资源的利用效率，充分发挥设备的性能。最后，计算模型需要解决三个基本问题：模型的三要素（机器参数、执行行为、成本函数）、扩展性与容错性、性能优化。这些要求对构建大数据技术框架提出了非常高的要求。

2.大数据应用推进和落地

商业银行大数据应用虽然在风控、反欺诈、征信等领域初见成效，但在其他层面暂时还处于探索阶段。究其原因，一方面只有当数据分析转变为企业业务方式后才产生价值；另一方面商业银行在新建应用系统的过程中缺乏数据思维，没有充分了解大数据分析的价值、战略和流程。同时大数据应用投资效果难以衡量，领域建模未得到充分重视。

3.数据安全与个人隐私

现阶段用户数据的收集、存储、管理和使用缺乏规范，主要依靠商业银行自律，用户无法确定自己隐私信息的用途。此外，鉴于国内商业银行体制机制限制以及尚未健全的金融法律法规体系，许多金融机构担心擅自使用数据会触犯监管和法律底线，同时数据处理不当可能会给自身带来声誉风险和业务风险，因而在驾驭大数据层面难以付诸实际行动。

金融大数据市场规模

金融行业竞争日益激烈，基于数据的精细化运营需求日益迫切是金融大数据发展的内在需求。金融企业经过多年的信息积累沉淀了大量高价值的数据，发展金融大数据成为必然方向。

据爱分析《中国大数据行业报告》中指出，2017年大数据行业整体市场规模1000亿，其中行业应用细分市场规模为700亿，是大数据行业最大细分领域，大数据在金融、政务、互联网成熟度最高。基础平台整体市场规模在100亿元左右，通用技术整体市场规模在200亿元左右。行业应用层，大数据在各个行业应用差异较大，应用相对成熟的金融、政府领域市场规模为200亿元。

金融、政务、互联网这三个行业的IT投入位列各行业前列，随着“互联网+政务”的普及、政务云和政务大数据的落地，政府2017年IT投入超过800亿元，占中国IT总投入的5-10%。金融一直是重IT投入的行业，以银行为例，2017年中国银行业整体IT投资为800亿元，整个金融行业的IT投资突破千亿元大关。

金融大数据发展前景

互联网的出现让海量的企业、个人行为数据的获取、存储、管理成为可能。大数据的发展已经在多个层面推进金融机构的业务模式不断发生改变。比如，在金融产品的营销设计、风险控制、扩展服务半径等方面，大数据都深刻改变了金融机构的经营模式，有效降低了成本、提高了效率。

从金融领域的视角来看，大数据在金融领域是一枝独秀，加上人工智能的兴起，规模急速地增长。在政策层面，国家多层面推进金融大数据发展提供了政策支持，金融行业经过一二十年的信息化的积累，从数据到技术，人才的储备等方面，都具有非常好的优势。

金融机构是大数据天生的合作者，一方面自身有着利用技术红利带来收益冲动，另一方面又有国内较好的信息化基础。因此金融大数据发展也促进了金融行业从多方面实现管理的转型和业务产品的创新，其中包括信用风险、客户服务、智能运营以及金融本身的产品。而金融行业在大数据领域里有着较好的场景应用，例如银行、保险、证券等，同时互联网公司在大数据基础上开展金融业务，这些业务跨过银行传统的信贷领域，开始向转账汇款、现金管理、资产管理、供应链金融、支付等领域蔓延。

金融跟互联网的融合是一个大势所趋，金融向互联网发展，互联网向金融转型，已经成为整个科技和互联网金融发展的焦点。中国是全球第二大经济国，金融业向实体经济、创新驱动的转型中，利用大数据技术，必将成为中国金融业的新增长点和新亮点。

金融大数据类型

金融数据从数据类型上进行划分，大致可以分为结构化数据、半结构化数据与非结构化数据三大类。

结构化数据

结构化的数据来源自金融企业运营数据仓储(ODS)和数据仓库(EDW)。EDW为企业提供分析决策服务，ODS主要实现企业数据整合、共享和准实时运营监控等功能。而通过Hadoop等组件的应用可以将数月前甚至几年前的历史数据进行迁移保存。在分布式存储结构下，结构化数据的存储计算可以得到巨大的改善，可对海量离线数据进行离线分析，将离线数据优势最大化，为金融企业用户打造立体用户画像提供最全面的数据支撑。

半结构化数据

半结构化数据的整合在数据整合中是最为复杂的。金融企业可对接来源于外部单位所提供的不同类型数据库或Excel等的数据。“打通”多源异构的数据是项目中遇到的最困难的部分，数据整合完毕可快速进行建模分析。

非结构化数据

金融行业对于非结构化的处理的方法还是比较原始的。非结构化数据涵盖的范围比较广泛，有新闻，视频，图片以及社交网络等数据。

金融大数据应用场景

从技术角度来看，金融大数据主要分为数据接入、数据存储、数据计算、数据分析四层。目前金融大数据典型的应用场景包括精准营销、舆情监控与股价预测、智能投顾、智能投研、监管科技、信贷风险评估、信息可视化、消费信贷、供应链金融、风险定价、黑产防范等。特别是在监管科技方面，大数据勘称市场风险、非法集资、异常交易等监测利器。

金融信贷

以前借款需要很长时间的审核，尤其是线下取证、财务报表、抵押担保、审批流程、领导签批、最后借款等环节，根据内在的大数据信用评估和内控技术，能够实现实时计算借款人的信用额度，在信用额度内实现即时放款。这是传统金融领域是难以想象的。而这种快速借款模式，将成为未来互联网金融时代的标准配置。

信息可视化

帮助双方站在同一个平台上相互模拟、相互评估与相互决策。金融信息可视化已经成为经济分析、管理决策、绩效评价等工作的必备工具，它将始终贯穿于金融活动的全过程。在技术变革的推动下，金融可视化成为未来发展趋势。数据可视化的最大价值并不仅在于直接将数据呈现出来，让人直观地感受到数据，而更在于思维模式和决策方式的转变。可以利用数据的可视化重新定义金融领域的数据模型，判断金融价值模型中的爆发点与增长的关联。

管理决策

在数据集成的基础上，运用大数据、云计算技术，将数据清洗，处理，然后输入模型，就能还原真实世界，得出精准信息，以此作为决策依据。未来的决策中人主观因素会弱化，大数据提供的信息使得决策更加科学智能化，动态实时化。

供应链金融

供应链金融的风险控制从授信主体向整个链条转变。供应链核心企业拥有良好的资产、充足的资金 和高额的授信额度。而依附于核心企业的上下游企业可能需 要资金，但是贷不到款。供应链金融可以由核心企业做担保， 以产品或应收账款做质押，帮助上下游企业获得资金。

风险控制

应用大数据技术，可以统一管理金融企业内部多源异构数据与外部征信数据，可以更好的完善风控体系。内部可保障数据的完整性与安全性，外部可控制用户风险。

智能投顾

智能投顾业务提供线上的投资顾问服务，能够基于客户的风险偏好、交易行为等个性化数据，采用量化模型， 为客户提供低门槛、低费率的个性化财富管理方案。智能投顾在客户资料收集分析、投资方案的制定、执行以及后续的维护等步骤上均采用智能系统自动化完成，且具有低门槛、低费率等特点，因此能够为更多的零售客户提供定制化服务。

金融大数据解决方案

微构科技的大数据和人工智能技术在金融行业已经全面服务了多家大型金融机构、保险、证券、互联网金融客户。在金融行业，积累了大数据基础平台、风控、智能营销、用卡欺诈行为识别、交易风险预判、客户画像、实时风险管控、用户信用体系等多个从平台到应用的产品和解决方案的案例，助力金融机构未来基于大数据和人工智能的创新发展。

针对金融行业大数据分析的特点，引入大数据平台架构，实现对海量的银行数据、证券数据、保险数据的自动化、高能效、虚拟化和标准化的存储和管理，保证金融行业海量交易数据的安全性、可靠性和高效的运营。

金融行业大数据总体系统架构分为五层, 分别是数据层，存储层，计算层，模型层, 应用层。模型层是整个大数据的核心部分，为上层应用提供数据支撑。

微构科技金融行业大数据解决方案能全面整合金融数据，具备全面的安全保障、强大的数据计算性能、先进的智能分析、便捷的协作分享等特性，充分发挥出金融大数据的价值。在客户深度分析，市场新业务开发，传统业务运营方面，具有高性价比，易于管理和扩展等特性，效果显著，为金融机构理解客户金融需求，把金融需求转化成金融产品，促建业务快速稳健的发展。

金融大数据案例分析

中信银行信用卡中心始终坚持"以客户为中心，为客户创造价值"的经营理念，在金融行业的持续化深入经营，在2017年发卡量已达4100万余张，日均产出4亿条消费数据标签。中信银行信用卡中心在客群分析、偏好预测、交易预测、客群推荐等大数据方面需求大幅度增加，同时也对数据分析处理时效与精准度有了更高的要求。

微构大数据基于具有超强计算能力的云计算中心平台，针对金融行业大数据分析特点同时结合信用卡业务场景，引用大数据平台架构为中信信用卡中心搭建“智慧分析挖掘平台”。实现对海量的银行数据、证券数据、保险数据的自动化、高能效、虚拟化和标准化的存储和管理，保证金融行业海量交易数据的安全性、可靠性和高效的运营。

平台基于卡中心云计算平台，集成了Spark、Python、R、XCBoost等机器学习框架、搭建支持深度学习的自助式数据挖掘分析平台，实现了一键建模和业务自助式挖掘分析，提升了大数据�...

随着大数据应用越来越广泛，应用的行业也越来越低，每天都可以看到大数据的一些新奇的应用，从而帮助人们从中获取到真正有用的价值。很多组织或者个人都会受到大数据分析影响，但是大数据是如何帮助人们挖掘出有价值的信息呢?

随着大数据应用越来越广泛，应用的行业也越来越低，每天都可以看到大数据的一些新奇的应用，从而帮助人们从中获取到真正有用的价值。很多组织或者个人都会受到大数据分析影响，但是大数据是如何帮助人们挖掘出有价值的信息呢?

随着大数据应用越来越广泛，应用的行业也越来越低，每天都可以看到大数据的一些新奇的应用，从而帮助人们从中获取到真正有用的价值。很多组织或者个人都会受到大数据分析影响，但是大数据是如何帮助人们挖掘出有价值的信息呢?下面就让我们一起来看看九个价值非常高的大数据的应用，这些都是大数据在分析应用上的关键领域：

1、大数据正在改善我们的生活

大数据不单单只是应用于企业和政府，同样也适用我们生活当中的每个人。我们可以利用穿戴的装备(如智能手表或者智能手环)生成最新的数据，这让我们可以根据我们热量的消耗以及睡眠模式来进行追踪。而且还利用利用大数据分析来寻找属于我们的爱情，大多数时候交友网站就是大数据应用工具来帮助需要的人匹配合适的对象。

2、业务流程优化

大数据也更多的帮助业务流程的优化。可以通过利用社交媒体数据、网络搜索以及天气预报挖掘出有价值的数据，其中大数据的应用最广泛的就是供应链以及配送路线的优化。在这2个方面，地理定位和无线电频率的识别追踪货物和送货车，利用实时交通路线数据制定更加优化的路线。人力资源业务也通过大数据的分析来进行改进，这其中就包括了人才招聘的优化。

3、理解客户、满足客户服务需求

大数据的应用目前在这领域是最广为人知的。重点是如何应用大数据更好的了解客户以及他们的爱好和行为。企业非常喜欢搜集社交方面的数据、浏览器的日志、分析出文本和传感器的数据，为了更加全面的了解客户。在一般情况下，建立出数据模型进行预测。比如美国的著名零售商Target就是通过大数据分析，得到有价值的信息，精准得预测到客户在什么时候想要小孩。另外，通过大数据的应用，电信公司可以更好预测出流失的客户，沃尔玛则更加精准的预测哪个产品会大卖，汽车保险行业会了解客户的需求和驾驶水平，政府也能了解到选民的偏好。

4、提高体育成绩

现在很多运动员在训练的时候应用大数据技术来分析。比如例如用于网球鼻塞的IBM SlamTracker工具，我们使用视频分析来追踪足球或棒球比赛中每个球员的表现，而运动器材中的传感器技术(例如篮球或高尔夫俱乐部)让我们可以获得对比赛的数据以及如何改进。很多精英运动队还追踪比赛环境外运动员的活动-通过使用智能技术来追踪其营养状况以及睡眠，以及社交对话来监控其情感状况。

5、提高医疗和研发

大数据分析应用的计算能力可以让我们能够在几分钟内就可以解码整个DNA。并且让我们可以制定出最新的治疗方案。同时可以更好的去理解和预测疾病。就好像人们戴上智能手表等可以产生的数据一样，大数据同样可以帮助病人对于病情进行更好的治疗。大数据技术目前已经在医院应用监视早产婴儿和患病婴儿的情况，通过记录和分析婴儿的心跳，医生针对婴儿的身体可能会出现不适症状做出预测。这样可以帮助医生更好的救助婴儿。

6、金融交易

大数据在金融行业主要是应用金融交易。高频交易(HFT)是大数据应用比较多的领域。其中大数据算法应用于交易决定。现在很多股权的交易都是利用大数据算法进行，这些算法现在越来越多的考虑了社交媒体和网站新闻来决定在未来几秒内是买出还是卖出。

7、改善我们的城市

大数据还被应用改善我们日常生活的城市。例如基于城市实时交通信息、利用社交网络和天气数据来优化最新的交通情况。目前很多城市都在进行大数据的分析和试点。

8、改善安全和执法

大数据现在已经广泛应用到安全执法的过程当中。想必大家都知道美国安全局利用大数据进行恐怖主义打击，甚至监控人们的日常生活。

而第五元素独立研发的警务实战应用平台不但可以帮助警察综合应用提升警务工作信息化程度，而且警务实战平台可通过对大量数据进行整合形成可视化的警务研判工具来进行罪犯预测、分析、捕捉，提高警务工作效率，改善社会治安效果。

9、优化机器和设备性能

大数据分析还可以让积极和设备在应用上更加智能化和自主化。例如，大数据工具曾经就被谷歌公司利用研发谷歌自驾汽车。丰田的普瑞就配有相机、GPS以及传感器，在交通上能够安全的驾驶，不需要人类的敢于。大数据工具还可以应用优化智能电话。

关于第五元素

第五元素大数据科技有限公司是一家专注于技术研究、产品开发、系统设计、项目运行的大数据系统集成解决方案提供商，致力于为智慧城市、平安城市、智慧公安、智慧政务等业务建设提供整体解决方案及业务支撑，全面推进我国新型智慧城市发展。

第五元素大数据

领先的大数据集成系统解决方案提供商。

关注

大数据，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，需要新处理模式才能处理，具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

在《大数据时代》中，维克托·迈尔-舍恩伯格及肯尼斯·库克耶将大数据定义为不用随机分析法（抽样调查）这样的捷径，而采用所有数据进行分析处理。

阿姆斯特丹大学提出了大数据的5V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）。

大数据在零售行业的应用有哪些？

1.客户细分

基于大数据海量数据和分析技术的支持，零售企业可以对客户进行群体细分，针对不同的客户群体制定相应的营销计划，达到事半功倍的效果。

2.客户挖掘

通过客户日常行为数据分析挖掘新需求，智能手机的普及让企业获得的客户行为数据呈爆发式增长，各大社交平台的迅猛发展更是为之提供了一大助力。在云计算与大数据分析技术的支持下，企业可以将客户日常浏览行为和交易行为数据全部整合在一起，对客户进行深度分析，挖掘客户新的需求。

3.数据储存

随着互联网时代的发展和4G网络的普及，企业对于储存空间的需求日益增长，不论是企业经营数据还是用户消费数据，都需要长久储存才能发挥其价值。

4.客户关系管理

大数据时代飞速发展的背景下，越来越多的企业意识到客户管理的重要性，企业通过不同的角度去深度分析客户，通过分析数据来挖掘新客户、提升客户粘性、降低客户流失率等目的。

5.市场分析

根据已有的销售数据，对市场进行分析，从“人”、“货”、“场”三个角度来分析销售数据产生原因，比如：是否应该推出促销活动，产品的陈列、包装是否需要优化，客户购买动机等。

首先问大家一个问题，什么是企业最重要的资产?我想大部分人可能会说是企业的固定资产或劳动力或人员流动之类等等。但是，超过上述所有情况，任何企业或组织最重要的资产都是它的信息，每个企业的未来取决于他们现有的数据和管理的好坏，由此可见数据的重要性，本文就重点讲述数据对于各行各业大小企业的应用。

我们生活在一个数字化的世界里，一切都可以在互联网上找到，根据商业(特别是电子商务和社交媒体)的变化趋势。互联网的使用已经成为每个人日常生活的必需品。现在所有的交易都通过互联网进行。公司最大的挑战是记录客户的每笔交易。难点在于，企业必须记录每天生成的大量数据，而如何合理管理数据是企业最头疼的。而且数据包括各种类型，如非结构化、半结构化和结构化数据更是让各行业数据维护举步维艰。

大数据是什么?

每个企业每天都会生成数据，数据量根据企业业务的复杂度而变化。如果业务量大，我们可以很容易地使用常用的软件工具来管理，但是如果业务体系庞大，那么就将这些数据合理归档整合。这就是我们称之为“大数据”的原因。大数据能让用户处理大量的原始数据，并根据业务需要进行合理分析报表，以备将来参考和预测。大数据有助于管理数据，并为将来的有用目的存储全部数据。数据首先在不同类型中生成，包括非结构化数据、半结构化数据和结构化数据。大数据获取任何原始数据并将其处理成结构化数据。公司利用他们的过去和现在的数据来预测未来。大数据帮助企业获得利润，并在全球范围内扩大业务活动，并提供大数据。它不仅预测了未来的收益，还有助于预测未来的问题和趋势。它有助于企业做出重大决定。

政府行业

政府通常将历来数据进行汇总和分析规划未来发展趋势以及做好预防工作。大数据帮助政府机构为他国家制定计划。如政府利用人口普查来扩大或向全国的每个人提供福利，利用食品溯源管理追踪食品安全等等。

教育产业

教育部门需要不断的改进，为学生提供良好的教育。大数据帮助教育机构利用这些数据来跟踪学生表现的变化，他们使用数据来实现变化。它还有助于设计教育形式，帮助学生更好地让世界变得更好。

医疗保健行业

卫生部门使用其病人记录、治疗计划和过去用于治疗不同疾病的药物，这将有助于该部门改善治疗或向患者提供更好的医疗援助。它还可以提高行政管理、成本管理、人力资源/人员管理和供应管理的效率。

制造业

制造部门必须采购原材料，并维持必要的人员生产高质量的产品和服务。制造业的常规和持续的任务产生大量的数据。大数据可以帮助制造商减少成本和浪费，并帮助他们在更短的时间内制造出高质量的产品。大数据让制造商能够预测未来的需求，基于此，他们能够及时生产和供货，最终带来更高的利润。

零售行业

零售业是与顾客有最终联系的行业。它必须记录客户的数据——包括顾客的品味、偏好和生物数据——以便与他们保持紧密联系。客户关系是在业务开发中发挥关键作用的重要途径之一。大数据提供了解决复杂问题的准确信息，这些问题与零售业有关。我们可以清楚地知道该做什么，什么时候使用大数据。

结论

我们生活在信息时代。信息是任何进一步行动的一个关键方面。定期记录大量的数据需要一个更好更有效的软件工具。大数据是存储高数据量的最终来源，并以一种可以理解的方式处理它，我们可以预测行业未来的动态发展。

更多精彩内容，关注小伍

近日，中国管理科学学会大数据管理专委会、国务院发展研究中心产业互联网课题组、社会科学文献出版社共同举办的《大数据应用蓝皮书：中国大数据应用发展报告No.1（2017）》发布会在北京举行。本书是国内首本研究大数据应用的蓝皮书。

蓝皮书旨在描述当前中国大数据在相关行业及典型代表企业应用的状况，分析当前大数据应用中存在的问题和制约其发展的因素，并根据当前大数据应用的实际情况，对其未来发展趋势做出研判。

蓝皮书认为，从应用的角度看，大数据并非一个全新的产业，而是与已有产业融合，对已有模式的改造、升级和替代。制约大数据发展的往往并不是大数据本身，而是大数据所应用的行业和领域原本存在的问题，如行业管制、行政垄断、要素不能自由流动，等等。因此，推动大数据应用的发展，需对不当的行业管理模式进行改革，对既有利益格局进行调整。即便在企业内部，大数据应用也不仅仅是个技术问题，而且是涉及业务流程重组和管理模式变革的问题，是对企业管理能力的一个考验。

大数据应用的三个关键点

大数据应用的三个关键点是：数据从哪里来？数据怎么用？成果谁买单？

数据从哪里来？

关于数据来源，普遍认为互联网及物联网是产生并承载大数据的基地。互联网公司是天生的大数据公司，在搜索、社交、媒体、交易等各自核心业务领域，积累并持续产生海量数据。物联网设备每时每刻都在采集数据，设备数量和数据量都与日俱增。这两类数据资源作为大数据金矿，正在不断产生各类应用。国外关于大数据的成功经验介绍，大多是这类数据资源应用的经典案例。还有一些企业，在业务中也积累了许多数据，如房地产交易、大宗商品价格、特定群体消费信息，等等。从严格意义上说，这些数据资源还算不上大数据，但对商业应用而言，却是最易获得和比较容易加工处理的数据资源，也是当前在国内比较常见的应用资源。

在国内还有一类是政府部门掌握的数据资源，普遍认为质量好、价值高，但开放程度差。许多官方统计数据通过灰色渠道流通出来，经过加工成为各种数据产品。《大数据纲要》把公共数据互联开放共享作为努力方向，认为大数据技术可以实现这个目标。实际上，长期以来政府部门间信息数据相互封闭割裂是治理问题而不是技术问题。面向社会的公共数据开放愿望虽十分美好，但恐怕一段时间内可望而不可即。在数据资源方面，国内“小数据”、“中数据”应用并不充分，试图一步跨入大数据时代，借机一并解决前期信息化过程中没能解决的问题，前景并不乐观。另外，由于中国互联网公司业务主要在国内，其大数据资源也不是全球性的。

蓝皮书分析指出，数据从哪里来是我们评价大数据应用的第一个关注点。一是要看这个应用是否真有数据支撑，数据资源是否可持续，来源渠道是否可控，数据安全和隐私保护方面是否有隐患。二是要看这个应用的数据资源质量如何，是“富矿”还是“贫矿”，能否保障这个应用的实效。对于来自自身业务的数据资源，具有较好的可控性，数据质量一般也有保证，但数据覆盖范围可能有限，需要借助其他资源渠道。对于从互联网抓取的数据，技术能力是关键，既要有能力获得足够大的量，又要有能力筛选出有用的内容。对于从第三方获取的数据，需要特别关注数据交易的稳定性。数据从哪里来是分析大数据应用的起点，如果一个应用没有可靠的数据来源，再好、再高超的数据分析技术都是无本之木。

数据怎么用？

数据怎么用是我们评价大数据应用的第二个关注点。《大数据纲要》规划了许多大数据应用领域和方向，包括公共部门和产业领域，实际上是提出了许多需要大数据解决的问题或期待大数据完成的任务。如何解决这些问题，如何把数据资源转化为解决方案，实现产品化，这是我们特别关注的问题。大数据只是一种手段，并不能无所不包、无所不用。我们关注大数据能做什么、不能做什么，现在看来，大数据主要有以下几种较为常用的功能。

追踪。互联网和物联网无时无刻不在记录，大数据可以追踪、追溯任何一个记录，形成真实的历史轨迹。追踪是许多大数据应用的起点，包括消费者购买行为、购买偏好、支付手段、搜索和浏览历史、位置信息，等等。

识别。在对各种因素全面追踪的基础上，通过定位、比对、筛选，可以实现精准识别，尤其是对语音、图像、视频进行识别，使可分析内容大大丰富，得到的结果更为精准。

画像。通过对同一主体不同数据源的追踪、识别、匹配，形成更立体的刻画和更全面的认识。对消费者画像，可以精准推送广告和产品；对企业画像，可以准确判断其信用及面临的风险。

提示。在历史轨迹、识别和画像基础上，对未来趋势及重复出现的可能性进行预测，当某些指标出现预期变化或超预期变化时给予提示、预警。以前也有基于统计的预测，大数据大大丰富了预测手段，对建立风险控制模型有深刻意义。

匹配。在海量信息中精准追踪和识别，利用相关性、接近性等进行筛选比对，更有效率地实现产品搭售和供需匹配。大数据匹配功能是互联网约车、租房、金融等共享经济新商业模式的基础。

优化。按距离最短、成本最低等给定的原则，通过各种算法对路径、资源等进行优化配置。对企业而言，提高服务水平、提升内部效率；对公共部门而言，节约公共资源、提升公共服务能力。

上述概括并不一定完备，大数据肯定还有其他更好的功能。当前许多貌似复杂的应用，大都可以细分成以上几种类型。例如，贵州推行的“大数据精准扶贫项目”，从大数据应用角度，通过识别、画像，可以对贫困户实现精准筛选和界定，找对扶贫对象；通过追踪、提示，可以对扶贫资金、扶贫行为和扶贫效果进行监控和评估；通过配对、优化，可以更好发挥扶贫资源的作用。这些功能也并不都是大数据所特有的，只是大数据远远超出以前的技术，可以做得更精准、更快、更好。当然，技术无法左右利益，贵州扶贫目标的完成，并不是有了大数据就万事大吉了。

成果谁买单？

成果谁买单是我们评价大数据应用的第三个也是最后一个关注点。道理很简单，不创造价值的应用不是好应用。能不能创造价值，关键看谁买单。我们不需要那些靡费公帑的“样板”工程、“面子”工程，也不需要那些炫耀神技、制造概念的创富故事。我们关注大数据的应用是否实实在在提升能力、改善绩效。如果大数据用于自身的产品设计、营销推广、资源配置，那就看企业竞争力是不是提升了，看企业最终是不是比以前更赚钱了。如果大数据用于为第三方提供服务，那就看是不是有人愿意付费、愿意持续付费。但如果是用于公共领域，还要看政府或公共部门的付费值不值，不仅仅是从出资方的视角看值不值，还要从老百姓的视角看值不值。

当我们面对一项大数据应用时，只要简单问一问上面三个问题——数据哪里来、数据怎么用、成果谁买单——就能揭开许多“伪装”。比如，许多应用并没有可靠的数据来源，或者数据来源不具备可持续性；还有些应用并没有技术或市场支撑，只是借助大数据风口套取政府部门或一些投资者的“傻钱”罢了。当然，如果经得起上述“大数据三问”，也并不一定算得上优秀，但也离优秀的大数据应用不远了。表1列举了本书中收集的几个案例，从数据来源、应用方式和创值空间三个角度，可以清晰揭示大数据是如何应用的。当然，这些案例反映的大数据应用既非面面俱到，也不是尽善尽美。我们希望通过这些实际的案例表明大数据应用踌躇前行的步伐和未来发展的前景。

工业大数据面临三大制约因素

1.工业大数据安全和开放体系亟待建立

数据安全和数据开放体系建立是工业大数据大规模应用的两个重要前提。如前所述，我国多数工业企业的信息化建设基本上均是由业务部门在业务开展过程中根据自身的局部需求出发，开展建设，缺少统一规划，形成了部门割据的信息化烟囱，导致数据编码不一致，系统之间不能相互通信，业务流程不能贯通。因此，我国工业企业无论在数据的总量上，还是数据的质量上，均和欧美发达国家制造企业存在较大差距，且由于行业垄断或商业利益等原因，数据的开放程度也不高。

另一个制约我国工业大数据应用发展的重要因素是政策法规体系不健全。工业大数据的开发和利用既要满足工业企业典型应用场景的业务发展需求，也要防止涉及国家、企业秘密的数据发生泄露。而目前，我国在工业大数据的利用、评价、交换以及信息安全保护方面的法律法规尚有待进一步健全，这在很大程度上抑制了工业大数据应用的广度和深度，不利于工业大数据生态系统的建设和培育。

2.基于工业大数据的企业管理理念和运作模式变革

随着智能设备、物联网技术、智能传感器、工业软件以及工业企业管理信息系统等在工业企业的广泛应用，综合利用各种感知、互联、分析以及决策技术，通过实时感知、采集、监控现场制造加工状况、物流情况、生产准备情况、技术状态管理情况，并开展数据挖掘分析，急需工业大数据平台和相关技术的支撑。

工业大数据应用目的是推动工业企业基于对内外部环境相关数据的采集、存储和分析，实现企业与内外部关联环境的感知和互联，并利用工业大数据分析技术开展挖掘分析，支撑工业企业基于数据进行决策管控，提升企业决策管控的针对性、有效性。

3.工业大数据人才缺乏制约产业发展

工业大数据技术应用的关键是揭示各种典型工业应用场景下，各种数据的内在关联关系，因此，工业大数据技术的应用者不但要掌握工业大数据的相关知识和工具，还需要深刻了解制造业典型业务场景，并结合工业大数据的分析和可视化展示情况，结合业务场景进行合理解读，此外，还需要结合业务场景进行解决方案的制订和管理决策，以上工业大数据人才的要求将大大制约工业大数据产业发展进程。

整体上，工业大数据对复合型人才的能力需求更强烈，目前我国工业大数据的高级管理决策人才、数据分析人才、平台架构人员、数据开发工程师、算法工程师等多个方向均存在较大缺口，极大阻碍了工业大数据产业的发展。

工业大数据技术和应用的四大发展趋势

1.工业大数据应用的外部环境日益成熟

以工业4.0和工业互联网为代表的智能化制造技术已成为制造业发展的趋势，智能化制造技术的研究和应用推动了工业传感器、控制器等软硬件系统和先进技术在工业领域的应用，智能制造应用不断成熟，一方面正在逐步打破数据孤岛壁垒，实现人与机器、机器与机器的互联互通，为工业数据的自由汇聚奠定基础，另一方面进一步增强了工业大数据的应用需求，使得工业大数据应用的外部环境日益成熟。

2.人工智能和工业大数据融合加深

工业大数据的广泛深入应用，离不开机器学习、数据挖掘、模式识别、自然语言理解等人工智能技术清理数据、提升数据质量和实现数据分析的智能化，工业大数据的应用和安全保障都离不开人工智能技术，而人工智能的核心是数据支持，工业大数据反过来又促进人工智能技术的应用发展，两者的深度融合成为发展的必然趋势。

3.云平台成为工业大数据发展的主要方向

工业大数据云平台是推动工业大数据发展的重要抓手。传统的互联网大数据处理方法、模型和工具难以直接使用，增加了工业大数据的技术壁垒，导致工业大数据解决方案非常昂贵，云平台的出现，为工业企业特别是中小型工业企业随时、按需、高效地使用工业大数据技术和工具提供了便宜、可扩展、用户友好的解决方案，大大降低了工业企业拥抱工业大数据的门槛和成本。

4.工业大数据将催生新的产业

除了云平台，新的大数据可视化和自动化软件也能大大简化工业大数据的数据处理、分析过程，打破了大数据专家和外行之间的壁垒。这些软件的出现使得企业可以自主利用工业大数据，做相对简单的工业大数据分析，以及外包复杂的工业大数据应用需求给专业工业大数据服务公司，从而催生新产业，包括工业大数据存储、清理、分析、可视化等相关的软件开发、外包服务等。

国防大数据：抢占未来战争制高点的基石

大数据时代的国防建设需要新的国防战略思想体系来指导。未来作战是各军种一体化行动的联合作战，国防大数据生之于此，并可以更好地为未来联合作战服务。

国防大数据是大数据在国防与军事领域的应用，是保卫国家主权、统一，领土完整和安全而展开的军事活动所生成的各种数据资源，是综合了国防和大数据的需求，表现了国防大数据主要的内涵和特点。

国防大数据要求处理数据更高效、数据来源更可靠、数据安全系数更高，注重将重大国防和军事任务进行数据融合，注重信息防御和数据安全管理，例如国防动员数据、军事情报、战场的实时动态、武器使用维护数据等。掌握国防与...

群脉SCRM认为，从本质上讲，大数据对于商业营销的价值是为了组织更好的产品或服务的流通，以最快的速度、最高效的方式解决大多数人的需求，并实现稳定的收益。

其实，大数据其实已经在为商业的发展提供实际的应用，群脉SCRM总结了大数据商业化应用的5个价值点和应用场景，供大家参考学习。

1、用户标签化管理

“大数据”可以对用户实现比较精细的划分，利用现在的SCRM系统对不同人群进行自动化打标签，持续运营校准用户标签，实现对每个用户画像的丰富和完善，最终实现品牌方对不同用户的精准推送和个性化服务。

用户标签管理主要涉及基础信息、消费信息、社交信息三方面，通过三种维护的标签分析，可以相对准确的对用户进行价值判断，并且对商业营销决策提供战略性支持。

举个栗子，某国际运动品牌通过标签化分析得出，上海、北京、广州等大型城市的年轻人喜欢运动和交友，并且在课程培训和装备选购上舍得投入。事实证明，品牌全年在北上广城市举办关联主题活动20场次，总互动量高达350万人次，获取了超过50万+数据标签，并且对现有用户人群实现了更精细的划分和产品策略调整，爆款数量比上一年提升3倍，营业额激增83%。

这就是看似不起眼的标签，对营销所带来的巨大价值。

2、AR/VR大数据商业广告实景增强和模拟

“大数据”不仅可以带来用户层面的价值，甚至也可以对未来新的商业模式提供更新的启发。在《攻壳机动队》中有这样一个场景，大数据结合新的商业模式，衍生出具有强大震撼效果的实景广告效果。比参天大树还高的巨大水壶，倾泻而下的巨大模拟水幕，能够按照你的喜好随意换装的服装店……

“大数据”对于商业营销的深度结合，利用分析技术对消费者运营和商业模式实现彻底改造，使得品牌可以更多交互的方式获取更多有效信息，随时随地将用户行为信息、交易信息等进行存储和模型分析。

任何交易流程、产品使用场景和消费行为都可以全部实现数据化和可视化管理。

3、提高销售投入回报率

提高“大数据”分析成果在营销和市场部门的应用。基于现有运营模式，提高整个营销管理和获客转化的投入回报率。企业或者品牌客户借助“大数据”能力，以云计算、互联网和本地数据库信息综合分析，形成整个企业良好的运营氛围，最终输出客户转化和商业获利。

4、交互式客户关系管理

交互式客户管理，可以理解为社交crm或者互动crm管理。根据用户所处的不同场景采集用户基础信息和行为捕捉，从不同维度分析用户，全面了解每个用户的喜好、习惯、消费倾向性和消费能力等，以数字运营方式挖掘新客、提升品牌用户关注度、提高客户的忠诚度、刺激用户的持续性消费等。

对中小客户来说，现在有很多SaaS级的社交CRM产品可供选择，例如群脉SCRM、数云CRM等产品。传统的用户管理模式已经需消费者的实际需求脱节，基于原有体系的调整只能是尾大不掉。基于微信、QQ、微博等平台的社交化客户管理将是未来用户运营的大方向，由此衍生的客户服务管理、服务预约和评价、个性化定制服务等，也将成为企业和品牌方重要的经营拓展领域。

5、个性化精准信息推送

精准推送现在主要在信息流广告和视频中应用比较多，其实对于品牌方和企业，尤其是现在做内容运营的大趋势下，用户并不缺少内容，但是缺少能够快速满足需求和符合用户阅读习惯的内容。大数据对于用户商业化的运营，可以安次区关联算法、语义分析、标签化等特性实现个体样本分析，实现按照地域、兴趣、人群喜好等多重维护的定向推送，解决用户对于内容的选择问题。

例如，在上海的某个商场，消费者可以借助微信扫码，实现对商铺的全局概览，方便的找到想去的商铺。不论购物、娱乐，还可以借助支付宝钱包、微信支付等实现快捷付款。商场既可以在法律允许的范围内，通过分析不同用户的消费行为和商铺的热度，有根据的优化运营，例如去哪个店消费高，消费能力和频率，精准推送优惠信息给用户，刺激用户的冲动型消费。

除此以外，SCRM系统的BI数据分析功能可以给予商家建议性的服务指导，提升整体商业地产的运营效率，最终服务好消费者和客户，实现有序的运营和提升。

转载请注明：群脉SCRM

随着大数据技术的飞速发展，大数据已经融入到各行各业。2018年中国的大数据行业发展趋势是什么?大数据行业整体市场规模如何?大数据行业前景如何?

(一)大数据行业整体市场规模及预测

整体来看，2018中国大数据行业的发展依然呈稳步上升趋势，市场规模达到了327 亿元，和去年相比增速超过 39%。随着政策的支持和资本的加入，未来几年中国大数据规模还将继续增长，但增速可能会趋于平稳。

(二)大数据在各行业应用状况

(1)企业哪些方面需要大数据?

根据大数据分析结果，将近一半的企业将大数据运用在企业工商信息管理方面，此外，在社会保障、劳动就业、市政管理、教育科研方面分别占据33.9%，32.7%，29.4%，29%。整体来看，大数据的应用范围广泛。

(2)多少企业应用到了大数据?

大数据分析对企业的发展越来越重要，35.1%以上的企业已经开始在企业内部应用到了大数据;34.2%的企业正在考虑应用大数据，22.9%的企业在未来1年有应用大数据的计划，仅仅有7.8%的企业暂不考虑应用大数据。

(3)这些企业如何使用大数据?

根据数据显示，38.8%的企业使用实时动态处理大数据并提供分析结果;37.5% 的企业分析历史数据;通过机器学习，辅助企业管理者更好地决策的企业占比为22.5% 。

(三)各行业大数据的发展水平如何?

我国行业大数据总体发展水平较好，在各行业都有应用。其中，金融大数据、政务大数据的应用水平高，同时交通、电信、商贸、医疗、教育、旅游等行业大数据的发展水平也有显着提升。

(四)大数据助力企业发展

(1)企业在哪些领域会应用大数据?

大数据应用广泛的top3领域是营销分析、客户分析和内部运营管理。其中，营销分析占比6成以上;50.2%的企业使用大数据进行客户分析;48.4% 的企业运用大数据进行内部运营管理。 大数据应用对企业的影响

(2)这么多企业应用大数据，大数据将会为这些企业带来什么收益呢?

55.8%的企业表示应用大数据后实现了更智能的决策;应用大数据提升了运营效率的企业占比为48.2%，这两个影响较为显着。应用大数据更好的管理风险，创造新的业务收入，增强生产能力的企业也占有一定比重。

从上述数据中，我们可以看出，大数据在各行各业的应用还将继续加强。

End.

作者：夏立城

来源：蓝盟网络运维专家

近期文章推荐

女生读研占比超半数，哪些是热门专业？

Excel、SAS、R、SPSS、Python优势分析

<入职数据分析师>线下分享 · 北京站

一、大数据产业概述

1. 大数据的认识

大数据是新资源、新技术和新理念的混合体。从资源视角来看，大数据是新资源，体现了一种全新的资源观。1990年以来，在摩尔定律的推动下，计算存储和传输数据的能力在以指数速度增长，每GB存储器的价格每年下降40%。

2000年以来，Hadoop为代表的分布式存储和计算技术迅猛发展，极大的提升了互联网企业数据管理能力，互联网企业对“数据废气”（Data Exhaust）的挖掘利用大获成功，引发全社会开始重新审视“数据”的价值，开始把数据当作一种独特的战略资源对待。大数据的所谓3V特征（体量大、结构多样、产生处理速度快）主要是从这个角度描述的。

从技术视角看，大数据代表了新一代数据管理与分析技术。传统的数据管理与分析技术以结构化数据为管理对象、在小数据集上进行分析、以集中式架构为主，成本高昂。

与“贵族化”的数据分析技术相比，源于互联网的，面向多源异构数据、在超大规模数据集（PB量级）上进行分析、以分布式架构为主的新一代数据管理技术，与开源软件潮流叠加，在大幅提高处理效率的同时（数据分析从T+1到T+0甚至实时），成百倍的降低了数据应用成本。

从理念的视角看，大数据打开了一种全新的思维角度。大数据的应用，赋予了“实事求是”新的内涵，其一是“数据驱动”，即经营管理决策可以自下而上地由数据来驱动，甚至像量化股票交易、实时竞价广告等场景中那样，可以由机器根据数据直接决策；

其二是“数据闭环”，观察互联网行业大数据案例，它们往往能够构造起包括数据采集、建模分析、效果评估到反馈修正各个环节在内的完整“数据闭环”，从而能够不断地自我升级，螺旋上升。

目前很多“大数据应用”，要么数据量不够大，要么并非必须使用新一代技术，但体现了数据驱动和数据闭环的思维，改进了生产管理效率，这是大数据思维理念应用的体现。

2.大数据的产业体系

大数据本身既能形成新兴产业，也能推动其他产业发展。当前，国内外缺乏对大数据产业的公认界定。我们认为，大数据产业可以从狭义和广义两个层次界定。

从狭义看，当前全球围绕大数据采集、存储、管理和挖掘，正在逐渐形成了一个“小生态”，即大数据核心产业。大数据核心产业为全社会大数据应用提供数据资源、产品工具和应用服务，支撑各个领域的大数据应用，是大数据在各个领域应用的基石。应该注意到，狭义大数据产业仍然围绕信息的采集加工构建，属于信息产业的一部分。

数据资源部分负责原始数据的供给和交换，根据数据来源的不同，可以细分为数据资源提供者和数据交易平台两种角色。数据基础能力部分负责与数据生产加工相关的基础设施和技术要素供应，根据数据加工和价值提升的生产流程，数据基础能力部分主要包括数据存储、数据处理和数据库（数据管理）等多个角色。

数据分析/可视化部分负责数据隐含价值的挖掘、数据关联分析和可视化展现等，既包括传统意义上的BI、可视化和通用数据分析工具，也包括面向非结构化数据提供的语音、图像等媒体识别服务。

数据应用部分根据数据分析和加工的结果，面向电商、金融、交通、气象、安全等细分行业提供精准营销、信用评估、出行引导、信息防护等企业或公众服务。根据IDC、Wikibon等咨询机构预测，2016年，全球的大数据核心产业规模约为300亿美元。

3.大数据的规模

据中商产业研究院数据，我国大数据行业市场规模增速明显，2015年中国大数据市场规模为115.9亿元，增速达53.10%。

4.大数据产业图谱

二、大数据的行业运用

1.零售业领域

具体来说，在零售企业，大数据分析的应用可以归纳为如下方面：在智慧的客户体验领域的全方位的顾客洞察、提升客户服务、基于位置的营销和服务以及精准营销；在智慧的商品管理和供应联网络领域的供应链优化和商品优化；在智慧的运营领域的财务管理、劳动力管理和防损 / 防偷盗管理。

大数据驱动的快速响应系统是ZARA实现供应链神话的重要原因之一

ZARA有一个全天候开放的“数据处理中心”。每一个零售网点都可以通过该系统追踪销售数据。此外，顾客的反馈也能在系统上反映出来，ZARA能够很快发现哪些款好卖，哪些款滞销。ZARA店内，柜台和店内各角落都装有摄影机，店经理随身带着PDA。

当客人向店员反映诸如“这个衣领图案很漂亮”、“我不喜欢口袋的拉链”等意见时，店员通过ZARA内部全球资讯网络，每天至少两次传递资讯给总部设计人员，由总部汇总信息进行分析并作出决策后立刻传送到生产线，改变产品样式。

微软Dynamics零售分销渠道管解决方案

微软Dynamics零售渠道管理解决方案提供通过系统管理渠道的收发货信息的渠道进销存管理；收集各渠道经营的其他竞争对手产品信息的客户拜访管理；管理会员信息及购买习惯发会员管理；

管理会员促销及积分兑换的促销管理；报表分析，提供数据报表支持，帮助企业分析会员购买行为，对下一步销售策略做预测工作。

新零售解决方案提供商—— 小工蚁科技推出客户大数据平台

小工蚁科技是一家互联网创业公司，专注新零售解决方案。小工蚁推出的客户大数据平台可帮助企业从各给历史遗留系统中将客户相关的数据抽取出来，然后建模分析，使用大数据分析引擎帮助快速将企业客户360°画像、针对客户个性化产品推荐、进行客户群体分析，将数据变成可视化工具平台；

同时小工蚁也提供客户社区，帮助企业和客户建立强连接。帮助传统企业将客户相关数据和信息提炼出规律和价值的平台工具。

2.电信领域

电信行业掌握体量巨大的数据资源，单个运营商其手机用户每天产生的话单记录、信令数据、上网日志等数据就可达到PB级规模。电信行业利用IT技术采集数据改善网络运营、提供客户服务已有数十年的历史，而传统处理技术下运营商实际上只能用到其中百分之一左右的数据。

大数据对于电信运营商而言，首先意味着利用廉价便捷的大数据技术提升其传统的数据处理能力，聚合更多的数据提升洞察能力。比如法国电信、T-Mobile借助大数据加快了诊断网络潜在问题的效率，改善服务水平，为客户提供了更好的体验，获得了更多的客户以及更高的业务增长。

中国移动、德国电信、沃达丰利用大数据技术加大对历史数据的分析，动态优化调整网络资源配置，大幅提高无线网络的运行效率。T-Mobile通过集成数据综合分析客户流失原因，在一个季度内将客户流失率减半。SK电讯成立SK Planet公司专门处理与大数据相关的业务，通过分析客户的使用行为防止客户流失。

中国联通利用大数据技术对其全国3G/4G用户进行精准画像，形成大量有价值的标签数据，为客户服务和市场营销提供了有力支持。中国移动通过对消费、通话、位置、浏览、使用和交往圈等数据的分析，利用各种联系记录发现各种圈子，分析影响力及关键人员，用来进行家庭客户、政企客户和关键客户的识别，以实现主动营销和客户维系。

二是提高数据意识，寻求合适的商业模式，尝试数据价值的外部变现。主要有数据即服务（DaaS）和分析即服务（AaaS）两种模式，数据即服务模式往往通过开放数据或开放API的方式直接向外出售脱敏后的数据；

分析即服务（AaaS）模式往往与第三方公司合作，利用脱敏后的（自身或整合外部）数据资源为政府、企业或行业客户提供通用信息、数据建模、策略分析等多种形式的信息和服务，以创造外部收益，实现数据资源变现。

数据即服务方面，AT&T将客户在WiFi网络中的地理位置、网络浏览历史记录以及使用的应用等数据销售给广告公司可以获取客观收益；AT&T同时还提供Alert业务，当客户距离商家很近时，就有可能收到该商家提供的折扣很大的电子优惠券；

英国电信基于安全数据分析服务Assure Analytics，帮助企业收集、管理和评估大数据集，将这些数据通过可视化的方式呈现给企业，帮助企业改进决策；

德国电信和沃达丰主要尝试通过开放API，向数据挖掘公司等合作方提供部分用户匿名地理位置数据，以掌握人群出行规律，有效的与一些LBS应用服务对接。限于国内对数据交易流通方面缺乏明确规定，国内运营商很少尝试数据即服务（DaaS）模式。

分析即服务方面，西班牙电信成立动态洞察部门Dynamic Insights开展大数据业务，与市场研究机构Gfk进行合作，在英国、巴西推出名为智慧足迹的创新产品，该产品基于完全匿名和聚合的移动网络数据，可对某个时段、某个地点人流量的关键影响因素进行分析，并将洞察结果面向政企客户提供；

Verizon成立精准营销部门Precision Marketing Divisio，提供精准营销洞察、精准营销、移动商务等服务，包括联合第三方机构对其用户群进行大数据分析，再将有价值的信息提供给政府或企业获取额外价值；

中国电信在大数据RTB精准广告业务（根据客户行为和位置分析进行商铺选址和实施营销）、景区流动人口监测业务、基于客户行为的中小微企业通用信用评价等方面均有尝试，且成效显著，借助对不同行业、不同类型企业的行为数据分析，中国电信的“贷 189”平台，一个月吸引中小企业580家，金融机构24家，订单成交3368万元。

中国移动和中国联通也与第三方合作，开展智慧旅游、智能交通、智慧城市等项目，探索数据外部变现的新型商业模式，寻找新的业务增长点。

3.金融领域

消费金融中的运用

天创为消费金融机构提供“数据+风控+场景”的完整解决方案。

可靠的数据渠道保障了数据的真实性、连续性和稳定性。

多角度贷后监控与风险预警

基于大数据的反欺诈服务

4.交通领域

对于驾驶者来说，不想开车的时候，在大数据和人工智能的支持下，车辆可以自动驾驶，并且对于你经常开的线路可以自学习自优化。

谷歌的自动驾驶汽车，为了对周围环境作出预测，每秒钟要收集差不多 1GB的数据，没有大数据的支持，自动驾驶是不可想象的；在和周围车辆过近的时候，会及时提醒车主避让；上下班的时候，会根据实时大数据情况，对于你经常开车的线路予以提醒，绕开拥堵点，帮你选择最合适的线路；

在出现紧急状况的时候，比如爆胎，自动驾驶系统将自动接管，提高安全性（人一辈子可能难以碰到一次爆胎，但人在紧急时的反应往往是灾难性的，只会更糟）；到城市中心，寻找车位是一件很麻烦的事情，但未来你可以到了商场门口后，让汽车自己去找停车位，等想要回程的时候，提前通知让汽车自己开过来接。

车辆是城市最大最活跃的移动物体，是拥堵的来源，也是最大的污染来源之一。数字化的车辆、大数据应用将带来很多的改变。红绿灯可以自动优化，根据不同道路的拥堵情况自动进行调整，甚至在很多地方可以取消红绿灯；

城市停车场也可以大幅度优化，根据大数据的情况优化城市停车位的设计，如果配合车辆的自动驾驶功能，停车场可以革命性演变，可以设计专门为自动驾驶车辆的停车楼，地下、地上楼层可以高达几十层，停车楼层可以更矮，只要能高于车高度即可（或者把车竖起来停），这样将对城市规划产生巨大的影响；

在出现紧急情况，如前方塌方的时候，可以第一时间通知周围车辆（尤其是开往塌方道路的车辆）；现在的燃油税也可以发生革命性变化，可以真正根据车辆的行驶路程，甚至根据汽车的排污量来收费，排污量少的车甚至可以搞碳交易，卖排放量卖给高油耗的车；政府还可以每年公布各类车型的实际排污量、税款、安全性等指标，鼓励民众买更节能、更安全的车。

三、大数据运用安全实践

1.国内企业的方案

京东大数据安全实践

数据资源已经成为一种基础战略资源，数据的共享和流通会产生巨大价值。然而，数据资源在流通过程中却面临着诸多瓶颈和制约，尤其是当数据一种特殊的数字内容产品时，其权益保护难度远大于传统的大数据，一旦发生侵权问题，举证和追责过程都十分困难。

为了解决这些问题，京东万象数据服务平台（如图B-6所示）利用区块链技术对流通的数据进行确权溯源，数据买家在数据服务平台上购买的每一笔交易信息都会在区块链中存储起来。

数据买家通过获得交易凭证可以看到该笔交易的数字证书以及该笔交易信息在区块链中的存储地址，待买家需要进行数据确权时，登录用户中心进入查询平台，输入交易凭证中的相关信息，查询到存储在区块链中的该笔交易信息，从而完成交易数据的溯源确权。

京东万象数据服务平台主要通过数据交易平台和区块链溯源平台2个核心模块提供服务：

数据交易平台。平台通过数据搜索、数据展示、数据评论等服务，以各种维度展示数据商品，并提供订单和支付系统完成用户数据交易；

区块链溯源平台。用户订单信息、数据标识、交易私钥等交易信息存入区块链集群中，用户获得交易凭证，并可利用该溯源平台查询溯...

什么是大数据？

这次我们不谈概念，不谈理论，避虚就实，关注大数据在十大行业的实际应用。

从证券行业到医疗领域，越来越多公司意识到大数据的重要性。2015年Gartner调查显示，超过75％的公司正在投资或计划在未来两年内投资大数据。而在2012年进行的类似调查中，仅有58％的公司在未来两年内计划投资大数据。

增强客户体验、降低成本、精准营销以及提高流程效率、数据安全是公司关注大数据的主要目的。本文将研究正在使用大数据的10个垂直行业及面临的挑战，以及大数据如何解决这些难题。

1. 银行和证券

挑战：

通过对10家投行券商的16个项目的研究表明，该行业面临的挑战包括：证券欺诈预警、蜱虫分析、检测卡片欺诈、审计跟踪档案、企业信用风险报告、贸易可视性、客户数据转换、用于交易的社交分析、IT运营分析和IT策略合规性分析等。

应用：

证券交易委员会（SEC）正在使用大数据网络分析和自然语言处理器来捕捉金融市场中的非法交易活动。

商业银行，对冲基金和其他金融公司在高频交易的交易分析，交易前的决策支持分析，情绪测量，预测分析等方向使用大数据。

该行业还严重依赖大数据进行风险分析，这其中包括：反洗钱，企业风险管理，客户画像，以及减少欺诈行为等。

2. 通讯，媒体和娱乐

挑战：

每个观众消费着不同形式的娱乐，以及不同的娱乐设备，因此通信，媒体和娱乐行业正面临以下大数据挑战：

1. 收集，分析和利用消费者习惯

2. 利用移动和社交媒体内容

3. 实时追踪媒体内容使用形式

应用：

公司同时分析客户数据和行为数据，以创建详细的客户档案，可用于：

1. 个性化定制内容

2. 按需推荐内容

3. 衡量内容结果

一个典型的例子是国外视频网站YouTube上的温网比赛，它利用大数据实时向电视、移动和网络用户提供网球比赛的详尽的情感分析。亚马逊Prime大量使用大数据，在一站式商店提供视频，音乐和Kindle书籍来提供卓越的客户体验。

3. 医疗领域

挑战：

医疗保健行业可以获取大量数据，但由于医疗成本上升、医疗系统效率较低，大量数据没能得到有效利用。抛弃患者的数据精准度弱化、以及不同传感器的数据差异均是医疗行业所面临的困难。

应用：

一些医院正在使用从数百万患者手机应用程序收集的数据，允许医生使用循证医学，而不是对所有去医院的患者均进行多次医学检查。佛罗里达大学运用免费的公共健康数据和谷歌地图创建了视觉数据，以便更快地识别和有效分析医疗信息，用于跟踪慢性病的传播。

4. 教育

挑战：

从技术角度来看，教育行业面临的主要挑战是整合不同来源的大数据，并在统一平台上使用它，有时这些数据并非是相互协作的。从实际角度来看，教师和机构必须学习新的数据管理和分析工具。在政治上，用于教育目的的大数据相关的隐私和个人数据保护也是一个问题。

应用：

大数据在高等教育中的使用非常多。例如，一所拥有超过26000名学生的澳大利亚大学已经部署了学习和管理系统，该系统可以跟踪学生登录系统时，在系统中不同页面上花费的时间以及学生的整体学习进度等。

大数据还用于衡量教师的教学有效性，以确保学生和教师的良好体验。教师的表现可以根据学生数量，主题，学生人口统计，行为分类和其他几个变量进行微调和衡量。

5. 制造业和自然资源

挑战：

石油、农产品、矿物、天然气、金属等自然资源的需求不断增加，导致数据数量、复杂性增加。制造业的大量数据尚未开发。这些信息的利用不足会妨碍产品质量、能效、可靠性和更高的利润空间。

应用：

在自然资源行业中，大数据允许预测建模以辅助决策制定，从地理空间数据，图形数据，文本和时间数据中摄取和集成大量数据。使用领域包括：地震解释和油藏描述。

6. 政府

挑战：

在政府领域，最大的挑战是跨政府部门和组织的大数据集成和数据的互兼容性。

应用：

在公共服务领域，大数据的应用范围非常广泛，包括：能源勘探，金融市场分析，欺诈检测，健康相关的研究和环境保护。美国社保局使用大数据分析大量的社会残疾索赔数据，用于快速有效地处理医疗信息，以便更快地做出决策并检测可疑的或欺诈性索赔。美国食品和药物管理局（FDA）正在利用大数据来检测和研究食品中毒等疾病的模式。大数据让响应更快，治疗更快和死亡更少。

7. 保险

挑战：

缺乏个性化服务，缺乏个性化定价以及针对新细分市场和特定细分市场的服务。

应用：

通过从社交媒体，GPS设备和摄像头获得的数据预测客户行为，大数据已被业内用于为简单的产品提供客户见解。大数据还可以让保险公司更好地保留客户。在索赔管理方面，大数据的预测分析可以加快服务速度，因为可以分析大量数据，特别是在承保阶段。

8. 零售和整体销售贸易

挑战：

从传统的实体零售商和批发商到当今的电商，该行业随着时间的推移累计了大量数据。这些数据来自客户会员卡，POS扫描仪，RFID等，其用途不足以改善客户体验。

应用：

零售商和批发商收集来自客户忠诚度数据，POS，商店库存，本地人口统计数据的大数据。在2014年纽约Big Show零售会议上，微软，思科和IBM等公司提出零售行业需要利用大数据进行分析和其他用途，包括：通过购物模式、本地活动等数据优化人员配备，减少欺诈、及时分析库存

社交媒体的使用也有很多潜在的用途，正在被实体商店采用。社交媒体用于客户拉新、客户留存、产品推广等。

9. 运输

挑战：

最近，基于物流的社交网络的大量数据和来自电信的高速数据已经影响了人们的出行选择。遗憾的是，了解出行行为的研究并没有那么快。在大多数地方，对社交媒体结构的理解不够输出的需求模型往往不实用。

应用：

政府、私企和个人对大数据的应用包括：

1. 政府大数据：交通控制，路线规划，智能交通系统，拥堵管理

2. 私营部门在运输中使用大数据：收入管理，技术改进，物流和竞争优势

3. 个人使用大数据：节省燃料和时间的路线规划、出行安排等

10. 能源和公用事业

挑战：

60%电网资源十年内需要替换。

应用：

智能抄表器几乎每15分钟就能收集一次数据，而不是每天使用旧抄表器收集数据。这种精细数据被用于更好地分析公用事业的消耗，从而改善客户反馈并更好地控制公用资源的使用。

在公共机构中，大数据的使用还允许更好的资产和劳动力管理，这对于识别错误并在经历完全故障之前尽快纠正它们是有用的。

结论

经历了10个行业垂直行业，包括大数据如何在这些行业中发挥作用，这里有几个关键的要点：

1. 熟悉并了解行业特定的挑战

2. 了解或了解每个行业的数据特征

3. 了解支出地点

4. 将市场需求与您自己的能力和解决方案相匹配

5. 垂直行业专业知识是有效和高效利用大数据的关键