浅谈大数据对统计学的挑战和机遇

引言　　国际数据公司的相关研究指出，2011年全球数据生产量达1.8ZB，且全球信息总量每隔两年增长一倍[1]。在大数据时代下，对于统计学发展而言，挑战与机遇并存，挑战指的是现阶段传统统计学相关方法难以适用大数据，机遇指的是基于统计学，大数据展开数据处理、分析，促使大数据具备可视化特性。由此可见，研究大数据对统计学的挑战和机遇有着十分重要的现实意义。　　1.大数据及其目的　　现阶段，关于大数据仍旧没有一个十分明确的界定，大数据起初是源自于技术领域。在信息量不断扩大的情况下，使得常规电脑原有存储空间已不能对新处理数据进行承载，新兴数据处理技术得以产生，好比雅虎的Hadoop平台、谷歌的MapReduce等。此类技术能够对僵化层次结构、一致性予以消除，促进数据无需通过常规数据库表格进行排列，极大程度地提升了人们可处理的数据量[1]。　

　2.大数据与统计学的对比　　2.1样本统计与全样本统计的区别　　样本统计属于统计学不可或缺的依赖，样本指的是结合相应的概率自总体中随机筛选并视作总体代表的集合内容，值得一提的是随机抽样是需要成本的，包括社会关系、资金成本或者时间成本等。基于样本数量提升有限前提下，样本估计误差会随着总体数量增多而增大，这亦是样本统计无法避免的不足。大数据时代下，收集整理庞大的数据信息应运而生，数据信息发展表现出总体即是样本的态势，该属性很好的消除了样本统计这一不足。大数据时代下的全样本统计，通常情况下可对完全总体进行覆盖，然而受大部分数据属于半结构、半结构数据影响，使得概率论应用遭受一定的制约[2]。鉴于此，将全样本统计应用到统计学中，应当就总体数据展开相应的归纳、筛选，即好比在样本统计中展开数据预处理。　　2.2预测分析与非预测分析的区别　　统计学的创立，是为了对变量相互相关关系展开分析，因此获取数据是发生于变量确定之后的，数据分析价值是能够被预测的。相较于统计学的预测分析，庞大数据将互联网、传感器作为载体，存在于分析需求之前，因此构建于大数据上的分析多为非预测性分析。在统计学中，出现大数据无法有效应用局面，这是由于不具备非预测分析所需的庞大数据，庞大数据产生与数据中心、存储系统存在紧密的联系，并非短期产生。也就是说，统计学中大数据的应用发展，说明了非预测分析正逐步取代传统统计学预测分析，数据多次利用正逐步取代传统数据一次性利用的。　　3.大数据对统计学的挑战与机遇　　3.1数据生产、处理与应用的转变　

　相关统计部门经开展严格的统计设计工作，获得相关的统计数据，数据的预处理分别有数据清洗、非全面数据填补以及数据矫正等。大数据时代下的统计手段尚不十分明确，自大数据流环境而言，要不断探索新型抽样方法，并确保抽样方法的实时、连贯及可行性。除去传统的统计分析方法，还应当开发大数据动态分析、数据流算法等[3]。　　3.2大数据时代对市场营销的机遇　　3.2.1大数据营销的特点与价值　　大数据营销的特点：I.数据采集多平台化特点，即大数据时代下，大数据的数据大多来源于不同的领域、不同的渠道。II.时效性特点，随着信息技术的急速发展，互联网用户消费、购物行为方式往往会瞬间出现转变。国际先进大数据营销企业AdTime基于此大数据营销特点，采取了时间营销措施，即采取相应的技术方式全面获悉用户所需，于第一时间对用户当下的需求进行回应，以使用户在下决心购买的最佳时间及时看到对应的产品广告。III.个性化特点，在大数据时代下，广告商传统媒体导向的营销理念逐步由受众导向取代，现如今，广告商可应用大数据了解用户的地理方位，需求内容等信息，达到对用户个性化营销的目的。　　大数据营销的价值：I.升级营销与用户的匹配度，大数据营销不仅可提供给企业了解用户有效的途径，还能够与网络环境下，选取相关技术方法达到对用户精确定位的目的，从而开展好营销工作，升级营销与用户的匹配度。II.改善用户体验，大数据营销促使企业真正意义上认识到用户及其所使用企业产品情况，以给予用户最人性化的提醒。　　3.2.2大数据营销的应用　　（1）与消费者建立紧密关系　　现如今，我国一些企业营销行为仍旧处于个性化定位信息、创意设计阶段，而无法对不同消费者展开个性化的营销活动。大数据时代下，经采用相关数据分析技术方法，基于对消费群体喜好、传媒接触习惯等展开有效的分析，达到特定营销活动明确开展的目的，实现企业精心开展的营销活动精准的辐射至目标消费群体处，与消费者建立紧密关系，极大的改善营销效率、质量[4]。　　（2）掌握竞争对手数据　　企业通过对竞争对手数据的有效掌握，获悉竞争对手发展状况，基于此帮助企业制定科学合理的产品价格，提升企业产品市场竞争优势。与此同时，企业务必要全面实施以事实为前提的决策手段，广泛地应用数据分析方式对企业每一个发展运营步骤进行优化，经对企业一系列数据的充分优化、对接，促使业务环节中潜在的价值得以被有效挖掘，降低生产成本，知己知彼，促使企业在日趋白热化的市场竞争中占据有利位置。　　（3）挖掘企业内部数据　　“市场未动，数据先行”俨然转变为国际上企业有效运营发展的一致认识，为了提升企业管理效率，要求企业要充分挖掘企业内部数据，并展开有效的整合、分析，以为企业相关人员做决策提供有利的参考依据，提升决策准确性，促进企业可持续发展。

3.2.4 企业的应用案例——以亚马逊为例　　在应用大数据开展市场营销方面，美国亚马逊公司一直处于领先地位。亚马逊研发出“用户未下单，先发货”功能，即结合用户的购物需求数据信息，分析用户想要购买的产品，达到用户未下单，提前发货的目的。此外，亚马逊通过对用户检索信息的分析，评估流感的传播，但这仅仅为海量检索数据中的一项用途，相同的数据能够应用于预测大选结果、预测某类产品市场行情等等，极大地降低了统计成本[5]。　　3.3大数据时代对市场营销的挑战　　3.3.1信息收集　　大数据并非就是对数据信息展开盲目的收集，即便收集了再多的数据，倘若这些数据并非是市场营销所需要的，如此便会导致前期收集来的数据信息，变成一堆“数据垃圾”。鉴于此，为了避免这一情况发生，务必要充分分析业务需求，再对自身存在价值的数据展开收集、归纳，如此方可实现大数据的有效收集应用。　　3.3.2经验与数据　　数据采集完毕后，面对参差不齐的数据，还应当做好数据评估工作，评估对何种目标受众开展市场营销工作。鉴于此，要求采取科学合理的手段，将这些参差不齐的数据整合成可被市场营销实践应用的，经结合过去的经验，与采集数据进行有机融合，实现对目标受众的有效分析确定。　　3.3.3分析与优化　　数据分析，一方面是实现数据优化，一方面是进行决策层面上的调整、转变。此环节对于专业人才的需求提出了严苛的挑战。数据分析、数据优化对于专业人才的知识框架要求大不相同，这要求相关企业不仅要培养专业的数据分析人才，还要打造数据优化人才队伍。　

　3.4大数据营销的未来发展趋势　　信息技术不断发展，单一媒体导向的“消费者碎片化”俨然无法达到企业对于数据多样性的需求。大数据时代下，媒体的跨界融合实现对“碎片化”受众的充分聚合。在科学技术技术不断进步的背景下，跨媒介、跨平台、跨终端的多途径将不断被开拓，将使庞大的数据信息获取多维度的整合，并且在多样化网络环境下，消费者主观信息与客观数据有机融合，构筑全面用户数据库环节，将成为未来大数据营销发展的必然趋势[6]。　　4.结束语　　总而言之，大数据为传统统计学带来了严峻的考验，也为传统统计学有效发展创造了良好的契机。在大数据时代发展潮流中，我们应当充分的认识到大数据对于传统统计学而言，是补充而不是更替，构建于样本统计、预测分析内容上的传统统计学，仍旧于社会统计、经济分析中占据着主导位置。大数据时代下，为了实现企业市场营销的有效开展，相关人员务必要不断专研研究、总结经验，全面分析大数据与统计学的对比，充分认识大数据对统计学的挑战和机遇，“与消费者建立紧密关系”、“掌握竞争对手数据”、“挖掘企业内部数据”等，积极促进企业市场营销的科学合理化。

大数据是一个通用术语，用来指当前业务领域中存在的各种数据。从医疗机构的数字数据和记录到政府机构的大量文件，人们把这些文件存档供将来参考，技术为我们提供了一个面向服务的架构来分析这些信息。

大数据是永远不可能被归档到在个描述或定义下。关于信息技术的神器之处在于，它始终在不断发展，并且可供愿意接受信息技术的公司使用。另一方面，云计算的发展使得商业企业更容易获得可负担得起的软件包。云计算的使用大大降低了存储公司信息的成本，这也带来了小型企业可以利用的多个应用程序。自互联网诞生以来，随着云计算的不断发展，互联网上广泛的信息爆炸式增长。标准用户和数字营销人员现在可以每天使用社交媒体营销平台来生成大量关于消费者的信息。有时，对于机构和企业来说，管理每天生成和存储的数据量就是一项相当艰巨的任务。例如，每天创建2.5万亿字节的数据，这可能会给云计算带来存储和排序挑战。

这正是大数据用来管理海量数据如何通过云计算存储的地方。总而言之，这两种技术形式提供的解决方案既适应业务分析、也适用于大数据。在这篇文章中，将重点介绍如何使用大数据和云计算来管理政府机构和商业机构日常生成的大量数据。可购性对于那些预算计划比较紧张，但又需要更新技术的企业或机构来说，云技术可能是解决燃眉之需的一大利器。用于管理大数据的成本资源，即使是小公司，也在预算之内，而且在市场上也很容易找到合适的产品。在云计算出现之前，商业机构和政府机构花费大笔资金建立信息技术部门来管理数据，甚至花更多的时间来更新这些IT系统。今天，由于技术的进步，企业可以把他们的大数据托管在异地的服务器上，或者按需支付。敏捷性

替换高清大图

传统的数据存储和管理方法正变得越来越难以管理，因为数据存储和管理非常慢，需要公司花费大量时间从中检索信息。有时，安装和运行服务器可能需要几周甚至几个月的时间。云计算的出现有可能为企业或机构提供所需的全部存储需求。一个基于云计算的公司数据库可以在几分钟内完成安装，并将数据存储在数千个虚拟服务器中，在这些服务器中，只有一台计算机或移动设备和互联网连接的人可以很轻松访问它。

替换高清大图

数据处理海量数据的爆炸式增长带来了管理数据的挑战。例如，社交媒体会产生大量的数据，这对于在推文、帖子、博客或照片等类别中进行处理来说是具有挑战性的。对于大数据，有一些分析平台，比如Apache Hadoop，可以在将非结构化数据存储到云中之前处理这些数据。

什么是大数据

大数据是指无法在一定时间范围内用传统的计算机技术进行处理的海量数据集。

对于大数据的测试则需要不同的工具、技术、框架来进行处理。

大数据的体量大、多样化和高速处理所涉及的数据生成、存储、检索和分析使得大数据工程师需要掌握极其高的技术功底。

需要你学习掌握更多的大数据技术、Hadoop、Mapreduce等等技术。

大数据测试策略

大数据应用程序的测试更多的是去验证其数据处理而不是验证其单一的功能特色。

当然在大数据测试时，功能测试和性能测试是同样很关键的。

对于大数据测试工程师而言，如何高效正确的验证经过大数据工具/框架成功处理过的至少百万兆字节的数据将会是一个巨大的挑战。

因为大数据高效的处理测试速度，它要求测软件工程师具备高水平的测试技术才能应对大数据测试。

我们来看下大数据处理的三个特性：

大批量实时性可交互另外，数据质量也同样是大数据测试的一个重要维度。

因此在进行应用程序测试之前，必须确保数据质量，并且考虑把数据质量作为数据库测试的一部分。涉及数据的各种特性的检验，例如一致性、准确性、重复性、连贯性、有效性及完整性等等。

大数据应用测试步骤

下面我们一起看看大数据应用的测试过程是怎么样的。

整体而言，大数据测试大体可以分为三大步骤：

步骤一，数据预处理验证在进行大数据测试时，首先要预hadoop前验证数据的准确性等等。我们数据来源可能是关系数据库、日志系统、社交网络等等，所以我们应该确保数据能正确的加载到系统中我们要验证加载的数据和源数据是一致的我们要确保正确的提取和加载数据至hdfs中步骤二，Map Reduce验证 在进行大数据测试时，第二个关键步骤是“Map Reduce”验证。在本阶段，我们主要验证每一个处理节点的业务逻辑是否正确，并验证在多个运行后，确保：Map Reduce过程工作正常数据聚合、分离规则已经实现数据key-value关系已正确生成验证经过map reduce后数据的准确性等特性步骤三，结果验证 在本阶段主要验证在经过大数据工具/框架处理后，生成的最终数据的成果。主要验证：

验证数据转换规则是否正确应用验证数据的完整性和是否成功持久化到目标系统验证无数据损坏架构测试

Hadoop处理海量数据是非常的消耗资源的，良好的架构是确保大数据项目成功的基础。糟糕的涉及会导致性能急剧的下降，进而使得系统无法满足我们的需要，因此我们需要，或是说至少在Hadoop环境下进行性能测试、故障恢复测试，以应改进效率和应对可能的最糟糕的情况。

性能测试是一个复杂的工作，它贯穿整个测试周期，需要关注内存、CPU、网络等等指标。

故障恢复测试则是验证数据处理过程中可能出现的故障，为做好意外的恢复做好相应的应对措施。

性能测试

大数据性能测试主要包含以下几个部分：

数据提取、存储效率在本阶段，我们主要验证大数据应用从源数据中提取、加载数据的效率。

一是验证单位时间内数据的提取、加 载效率。

二是验证数据持久化至mongodb等库的效率等等

数据处理在本阶段，我们验证map reduce任务的执行效率，重点关注的是数据处理的效率。当然这个过程可能也会涉及到数据的持久化相关指标，例如存储至HDFS读写效率等等，同样也会涉及在内存中处理效率，即我们的处理算法效率等等

子组件性能大数据处理，一般都会需要综合利用各种组件来辅助处理，所以我们也是需要关注这些辅助组件的性能

性能测试策略

大数据应用性能测试涉及海量的结构化和非结构化的数据，与我们平时所面对的业务系统有所不同，所以我们需要针对大数据应用制定特定的测试策略，以应对海量的数据。

根据上图性能测试执行过程一般是这样的：

在性能测试前需要先初始化大数据集群环境梳理和设计大数据性能测试场景准备大数据性能测试脚本执行并分析测试结果（如果指标异常，则调优相应的组件并重新测试）优化配置性能测试基础准备

在大数据性能测试时，需要准备相关的基础工作，如下：

数据准备，我们需要在不同的节点准备什么量级数据？日志预估，在测试过程中，可能会生成多大的日志，日志的可能增量是什么样的？并发，在测试时，可能会有多少线程并发读和写？超时设置，应对设置怎样的连接超时？查询超时？写超时等等？JVM参数，如何设置最优的jvm参数，heap size、GC机制等等Map Reduce，我们应该选择什么样的sort、merge等算法？消息队列，消息队列长度会怎么样？等等必备的测试环境

大数据测试不同于常规的应用测试，你应该具备以下一些基础环境：

拥有足够的存储设备来存储和处理大数据拥有集群来做分布式节点和数据处理至少拥有足够的cpu、内存来确保有高性能的处理基础大数据测试的挑战

对于从事大数据测试的软件测试工程师而言，与传统的测试工作相对比，我们可能面临的以下几个可能的挑战：

自动化自动化测试是从事大数据测试必备的技术，但自动化测试工具可能并不具备处理测试过程所引发的异常的能力，意味着现有工具可能并不适用，编程能力将是更好的一种技能。虚拟化 当前业内大规模使用虚拟化技术，但虚拟机的延迟有可能造成大数据实时测试处理的异常。对大数据而言，管理影像信息也将是一个巨大的问题。

海量数据集需要验证的数据量巨大，而且需要更快的处理速度需要有效的自动化测试手段需要尽可能的跨平台大数据性能测试的挑战

对于从是大数据性能测试，与传统性能测试相比较，我们要面临是样的挑战呢，可能有以下几个方面：

技术的多样化，复杂化，面对不同的大数据解决方案，我们可能需要掌握不同的技术和定制不同的测试解决方案无通用的工具，目前业界暂无通用的标准的大数据性能测试工具，这意味着我们需要根据大数据应用解决方案技术，要自行开发或整合多种相关工具才可能解决问题测试环境复杂化，因为海量的数据，我们所需要测试环境亦会更加复杂，所消耗的基础成本会更高监控解决方案，目前有的监控解决方案有限，但通过整合不同的监控工具，大致可能拥有一套相对可行的监控解决方案诊断方案，由于大数据应用所涉及的技术、环境复杂性，对于问题的诊断调优，我们需要根据实际情况来进行开发定制从上面几个方面来看，从事大数据性能测试所要面临的问题是相对复杂的，尤其对当下国内的测试工程师而言，要走的路还很长，很艰难。

小结

随着大数据工程和数据分析逐步的进入新的阶段，大数据测试将成为必然，也必定成为未来的一个热门的职业方向大数据处理必须是批量的，实时的、可交互的大数据应用测试的三大阶段：数据验证Map Reduce 验证数据处理结果验证架构测试也是非常重要的一个测试类型，糟糕的架构可能直接导致您的大数据项目的失败性能测试三大节点：数据提取、存储效率数据处理效率子组件工作效率大数据测试不同于传统的测试，不仅仅是类型、策略的不同，工具等具体技术都会有区别大数据因其复杂性，其测试所面临的挑战也会不同于传统的测试大数据性能测试将会是软件测试工程师进一步艰难攻克的目标之一

注：本文参考的资料包括但不限于IBM、Microsoft、hadoop、spark、apache等等官方网站

大数据曾经成为过去几年中大局部行业的游戏规则，行业首领，学者和其他知名的利益相关者都同意这一点， 随着大数据继续浸透到我们的日常生活中，盘绕大数据的炒作正在转向实践运用中的真正价值。

固然理解大数据的价值依然是一个应战，但其他理论中的应战包括资金投入和投资报答率以及相关技艺依然是大数据行业排名前列。Gartner调查显现，75％以上的公司正在投资或方案在将来两年投资大数据。

普通来说，大多数公司都希望有几个大数据项目，公司的主要目的是加强客户体验，但其他目的包括降低本钱，更有针对性地停止营销，并使现有流程更有效率。 近来，数据泄露也使平安性成为大数据项目需求处理的重要问题。

但是，更重要的是，当触及到大数据时，你所在的位置是在哪里？ 你很可能会发现你处于以下几种状况之一：

想要弄分明大数据中能否存在真正的价值

评价市场时机的范围

开发运用大数据的新效劳和产品

曾经运用大数据处理计划重新定位现有的效劳和产品以应用大数据，或者

曾经运用大数据处理计划

思索到这一点，理解大数据的全景及其在不同行业的应用，将有助于更好地理解你的角色和将来不同行业的开展。

在本文中，我将剖析运用大数据的10个垂直行业，这些行业面临的行业应战以及大数据如何处理这些应战。 我还将提到一些大型数据提供商在特定行业提供处理计划的案例。

1、银行业与证券业

行业详细的大数据应战

一项研讨对10个顶级投资和批发业务银行的16个项目停止了调查，结果显现：行业的应战包括：证券狡诈预警，超高频金融数据剖析，信誉卡狡诈检测，审计跟踪归档，企业信誉风险报告，贸易可见度，客户数据转换， 买卖的社会剖析，IT运营剖析和IT战略合规性剖析等。

大数据在银行业和证券业的应用

证券买卖委员会（SEC）正在运用大数据来监控金融市场活动。 他们目前正在运用网络剖析和自然言语处置器来捕捉金融市场的非法买卖活动。

金融市场的批发商，大银行，对冲基金和其他所谓的“大男孩”运用大数据停止高频买卖，买卖前决策支持剖析，心情丈量，预测剖析等方面的买卖剖析。

该行业还严重依赖大数据停止风险剖析，包括反洗钱，企业风险管理，“理解你的客户”和减少狡诈。

该行业特定的大数据提供商包括：1010data，Panopticon软件，Streambase Systems，Nice Actimize和Quartet FS。

2、通讯，媒体和文娱

行业详细大数据应战

由于消费者希冀有不同格式和各种设备的多媒体需求，通讯，媒体和文娱行业的一些严重数据应战包括：

搜集，剖析和应用消费者洞察应用挪动和社交媒体内容理解实时，媒体内容运用状况

大数据在通讯，媒体和文娱行业的应用

该行业的企业同时剖析客户数据以及行为数据，以创立细致的客户材料，可用于：

为不同的目的受众创立内容依据需求引荐内容权衡内容效果

一个例子是温布尔登网球锦标赛，应用大数据实时对电视，挪动和网络用户观看网球竞赛的细致心情剖析。

Spotify是按需音乐效劳，运用Hadoop大数据剖析，从全球数百万用户搜集数据，然后运用剖析的数据向个人用户提供个性化的音乐引荐。

亚马逊Prime经过在一站式商店中提供，视频，音乐和Kindle书籍提供良好的客户体验，也大量应用大数据。

这个行业的大数据提供商包括：Infochimps，Splunk，Pervasive Software和Visible Measures。

3、医疗保健供给方

行业特有的大数据应战

医疗保健部门取得了大量的数据，但不断没能运用数据来遏制医疗保健本钱上升，进步医疗保健收益，进步系统效率。

这主要是由于电子数据缺乏或不可用。 另外，保管安康相关信息的医疗保健数据库很难与医疗范畴有用形式的数据链接起来。

其他与大数据相关的应战包括：将患者扫除在决策过程之外，以及运用来自不同渠道的容易取得的传感器的数据。

大数据在医疗行业的应用

以色列贝斯的一些医院正在运用数百万病人从手机应用搜集的数据，让医生能够运用循证医学，而不是像传统医院一样，对病人停止医疗/实验室检测。 有些测试是有效的，但大局部是昂贵的并且通常是低效的。

佛罗里达大学运用免费公共卫生数据和Google地图创立视觉数据，能够更快速地辨认和有效剖析医疗信息，用于跟踪慢性病的传播。

奥巴马医保计划也以多种方式应用了大量数据。

该行业的大数据提供商包括：Recombinant Data，Humedica，Explorys和Cerner

4、教育

行业详细的大数据应战

从技术角度来看，教育行业面临的一个严重应战是未来自不同来源和供给商的大数据整合其中，并将其用于一个数据的平台。

从理论的角度来看，教育从业者和机构必需学习新的数据管理和剖析工具。

在技术方面，整合来自不同来源的数据，不同平台和本来不互相协作的不同供给商都面临应战。

在政治上，与用于教育目的的大数据相关的隐私和个人数据维护问题是一个应战。

大数据在教育中的应用

大数据在高等教育中的应用相当显着。例如，塔斯马尼亚大学。一个具有26000多名学生的澳大利亚大学，部署了一个学习和管理系统，学生登录系统，系统追踪学生破费的时间以及学生的整体进度等。

在教育中运用大数据的不同用例中，它也用于权衡教员教学的有效性，以确保学生和教员的良好体验。教员的表现能够依据学生人数，学科人数，学生希冀，行为分类和其他几个变量停止微调和权衡。

在政府层面上，美国教育部的教育技术办公室正在运用大数据来开发剖析数据，以协助纠正选错在线课程的学生，点击形式也被用来检测学生学习时的无聊水平。

这个行业的大数据提供商包括：Knewton和Carnegie Learning和MyFit / Naviance。

5、制造业和自然资源开采业

行业详细应战

对石油，农产品，矿产，自然气，金属等自然资源的需求日益增加，招致数据量的增加，复杂性和进步速度是一个应战。

同样，来自制造业的大量数据尚未得到开发。 这种信息的应用缺乏障碍了产质量量进步，能源效率和牢靠性的提升，以及更好的利润率。

大数据在制造和自然资源开采业中的应用

在自然资源行业，经过大数据能够应用天文空间数据，图形数据，文本和时间数据中摄取和整合大量数据树立预测模型，协助做出决策，应用的范畴包括： 地震解释和油藏表征。

大数据也被用于处理当今制造业所面临的应战，懿取得竞争优势。

在下图中，德勤的一项研讨显现了目前运用的大数据的状况以及未来的预期的用于供给链功用的运用状况。

该行业的大数据提供商包括：CSC，Aspen Technology，Invensys和Pentaho。

6、政府

行业详细应战

在政府中，最大的应战是不同政府部门和隶属机构大数据的整合和互操作性。

大数据在政府中的应用

在公共效劳方面，大数据应用范围十分普遍，包括能源勘探，金融市场剖析，狡诈检测，安康相关研讨和环境维护。

一些更详细的例子如下：

大数据用于剖析社会保证局（SSA）提供的非构造化数据的大量社会残疾索赔。用于剖析快速有效地处置医疗信息，以加快决策速度，并检测可疑或狡诈性声明。

食品和药物管理局（FDA）正在运用大量数据来检测和研讨食物相关疾病和疾病的形式。从而做出更快的反响，提供更快的治疗，减少死亡。

疆土平安部运用大数据分为几种不同的用例。 大数据来自不同政府机构的剖析，以及用于维护国度平安的数据。

这个行业的大数据提供商包括：Digital Reasoning，Socrata和惠普。

7、保险业

行业详细应战

主要应战包括缺乏个性化效劳，缺乏个性化定价和缺乏针对新细分市场和特定细分市场的有针对性的效劳。

在由Marketforce停止的调查中，保险业专业人士肯定的应战包括数据缺乏带来的利润损失，以及盼望更好的洞察力。

大数据在保险行业的应用

业界曾经在运用大数据，经过从社交媒体，支持GPS的设备和监控录像中得到的数据剖析和预测客户行为，为透明和简单的产品提供客户洞察。 大数据还能够维护公司更好的进步客户留存。

在索赔管理方面，大数据的预测剖析已被用于提供更快的效劳，由于大量的数据能够在承保阶段停止特别剖析。 狡诈检测也得到了增强。

经过数字渠道和社交媒体的大量数据，索赔周期的索赔实时监控已被用于为保险公司提供见解。

该行业的大数据提供商包括：Sprint，高通，Octo Telematics，The Climate Corp。

8、批发和批发贸易

行业详细应战

从传统的实体批发商和批发商到如今的电子商务，行业曾经搜集了大量的数据。 来自客户会员卡，POS扫描仪，RFID等的这些数据并没有被用于整体上改善客户体验。一切改动和改良都相当迟缓。

大数据在批发和批发行业的应用

来自客户忠实度数据，POS，商店库存，本地人口统计数据的大数据将继续由批发和批发商店搜集。

在纽约大展批发贸易大会上，像微软，思科和IBM这样的公司表示，批发行业需求应用大数据停止剖析和其他用处，包括：

经过购物形式，本地活动等数据优化员工配置减少狡诈及时剖析库存

社交媒体的运用也具有很大的潜在用处，并且将以迟缓的速度地被实体店采用。社交媒体用于客户探究，客户保存，产品推行等。

这个行业的大数据提供商包括：First Retail，First Insight，Fujitsu，Infor，Epicor和Vistex。

9、交通

行业详细应战

近来，来自基于位置的社交网络的大量数据和来自电信的高速数据影响了旅游行为。 令人遗憾的是，理解旅游行为的研讨并没有如此疾速。

在大多数中央，交通运输需求形式依然对社交媒体构造的理解缺乏。

大数据在交通行业的应用

政府，私人机构和个人的一些大数据应用包括：

政府运用大数据：交通管制，道路规划，智能交通系统，拥堵管理（预测交通情况）私营部门在运输中运用大数据：收入管理，技术改良，物流和竞争优势（经过整合出货量和优化货运）个人运用大数据包括：道路规划俭省燃料和时间，旅游布置等。

该行业的大数据提供商包括：高通和Manhattan Associates。

10、能源和公用事业

电网资产的60％将在十年内需求改换全球风电装机容量同比增长12.4％智能电表成为主流，而消费者请求更多的控制和理解能源耗费。

大数据在能源和公用事业行业的应用

智能电表读取器允许简直每15分钟搜集数据，而不是每天用旧的读表器搜集数据。 这种细粒度数据被用于更好地剖析适用程序的耗费，这允许改良客户反应和更好地控制公用事业的运用。

在公用事业公司，运用大数据还能够提供更好的资产和人力资源管理，这关于辨认错误和在完成失败之前尽快停止纠正是有用的。

信息化，数字化，数据化带给企业的价值会有所不同，信息化代表决策起步，数字化代表计算机，而只有数据化才代表着信息价值可能最大化的利用。

从信息到数字，再到数据，每一次都是一个挑战，也是一个机遇。

对外部的数据收集以及智能反映，会让企业的系统及时的调整。从而达到无限化组织效果。这就是大数据的潜力。

数据挖掘的价值在于企业的战略和数据处理的思维。每次的验证与调整都是为了挑战数据的极限让数据更完美。

全球领先的数据质量解决方案供应商Syncsort日前宣布推出Trillium软件系统中文版，为中国企业提供便捷的本地化服务，帮助他们应对大数据时代下数据质量管理的挑战。Trillium软件系统是Syncsort的Trillium数据质量解决方案的重要模块。凭借这款产品，企业可以充分理解、评估数据质量、清洁和匹配数据，进而使得数据符合业务需求，有助于赢得市场先机。

Syncsort全球业务发展和亚太区运营高级副总裁Bryan Ashley表示：此次推出Trillium软件系统解决方案的中文版，不仅可以帮助中国客户更快响应市场需求，满足法律法规规定，对Syncsort本身来说也具有里程碑意义。”

华矩科技有成熟的数据质量管理技术和多年实践，了解中国客户的需求及数据质量问题的痛点。华矩科技是Syncsort在中国的重要合作伙伴，通过双方的深度合作，顺利完成Trillium软件系统的汉化工作并如期投产。

华矩科技的创始人兼首席执行官谭海华表示：Syncsort的Trillium软件系统中文版发布之后，我们还将计划对其它模块进行汉化，并将其集合到更多的应用系统，合力深耕中国市场。”

(责任编辑：罗伯特)

本文来自：腾股创投，原文来自Simplilearn，作者Maryanne Gaitho，由腾股创投整理编译。

大数据已经成为过去几年中大部分行业的游戏规则，行业领袖，学者和其他知名的利益相关者都同意这一点， 随着大数据继续渗透到我们的日常生活中，围绕大数据的炒作正在转向实际使用中的真正价值。

虽然了解大数据的价值仍然是一个挑战，但其他实践中的挑战包括资金投入和投资回报率以及相关技能仍然是大数据行业排名前列。Gartner调查显示，75％以上的公司正在投资或计划在未来两年投资大数据。

一般来说，大多数公司都希望有几个大数据项目，公司的主要目标是增强客户体验，但其他目标包括降低成本，更有针对性地进行营销，并使现有流程更有效率。 近来，数据泄露也使安全性成为大数据项目需要解决的重要问题。

然而，更重要的是，当涉及到大数据时，你所在的位置是在哪里？ 你很可能会发现你处于以下几种情况之一：

想要弄清楚大数据中是否存在真正的价值

评估市场机会的规模

开发使用大数据的新服务和产品

已经使用大数据解决方案重新定位现有的服务和产品以利用大数据，或者

已经使用大数据解决方案

考虑到这一点，了解大数据的全景及其在不同行业的应用，将有助于更好地了解你的角色和未来不同行业的发展。

在本文中，我将分析使用大数据的10个垂直行业，这些行业面临的行业挑战以及大数据如何解决这些挑战。 我还将提到一些大型数据提供商在特定行业提供解决方案的案例。

1、银行业与证券业

行业具体的大数据挑战

一项研究对10个顶级投资和零售业务银行的16个项目进行了调查，结果显示：行业的挑战包括：证券欺诈预警，超高频金融数据分析，信用卡欺诈检测，审计跟踪归档，企业信用风险报告，贸易可见度，客户数据转换， 交易的社会分析，IT运营分析和IT策略合规性分析等。

大数据在银行业和证券业的应用

证券交易委员会（SEC）正在使用大数据来监控金融市场活动。 他们目前正在使用网络分析和自然语言处理器来捕捉金融市场的非法交易活动。

金融市场的零售商，大银行，对冲基金和其他所谓的“大男孩”使用大数据进行高频交易，交易前决策支持分析，情绪测量，预测分析等方面的交易分析。

该行业还严重依赖大数据进行风险分析，包括反洗钱，企业风险管理，“了解你的客户”和减少欺诈。

该行业特定的大数据提供商包括：1010data，Panopticon软件，Streambase Systems，Nice Actimize和Quartet FS。

2、通讯，媒体和娱乐

行业具体大数据挑战

由于消费者期望有不同格式和各种设备的多媒体需求，通信，媒体和娱乐行业的一些重大数据挑战包括：

收集，分析和利用消费者洞察

利用移动和社交媒体内容

了解实时，媒体内容使用情况

大数据在通信，媒体和娱乐行业的应用

该行业的企业同时分析客户数据以及行为数据，以创建详细的客户资料，可用于：

为不同的目标受众创建内容

根据需要推荐内容

衡量内容效果

一个例子是温布尔登网球锦标赛，利用大数据实时对电视，移动和网络用户观看网球比赛的详细情绪分析。

Spotify是按需音乐服务，使用Hadoop大数据分析，从全球数百万用户收集数据，然后使用分析的数据向个人用户提供个性化的音乐推荐。

亚马逊Prime通过在一站式商店中提供，视频，音乐和Kindle书籍提供良好的客户体验，也大量利用大数据。

这个行业的大数据提供商包括：Infochimps，Splunk，Pervasive Software和Visible Measures。

3、医疗保健供应方

行业特有的大数据挑战

医疗保健部门获得了大量的数据，但一直没能使用数据来遏制医疗保健成本上升，提高医疗保健收益，提高系统效率。

这主要是因为电子数据不足或不可用。 另外，保存健康相关信息的医疗保健数据库很难与医疗领域有用模式的数据链接起来。

其他与大数据相关的挑战包括：将患者排除在决策过程之外，以及使用来自不同渠道的容易获得的传感器的数据。

大数据在医疗行业的应用

以色列贝斯的一些医院正在使用数百万病人从手机应用收集的数据，让医生可以使用循证医学，而不是像传统医院一样，对病人进行医疗/实验室检测。 有些测试是有效的，但大部分是昂贵的并且通常是低效的。

佛罗里达大学使用免费公共卫生数据和Google地图创建视觉数据，可以更快速地识别和有效分析医疗信息，用于跟踪慢性病的传播。

奥巴马医保方案也以多种方式利用了大量数据。

该行业的大数据提供商包括：Recombinant Data，Humedica，Explorys和Cerner

4、教育

从技术角度来看，教育行业面临的一个重大挑战是将来自不同来源和供应商的大数据整合其中，并将其用于一个数据的平台。

从实践的角度来看，教育从业者和机构必须学习新的数据管理和分析工具。

在技术方面，整合来自不同来源的数据，不同平台和原本不相互合作的不同供应商都面临挑战。

在政治上，与用于教育目的的大数据相关的隐私和个人数据保护问题是一个挑战。

大数据在教育中的应用

大数据在高等教育中的应用相当显着。例如，塔斯马尼亚大学。一个拥有26000多名学生的澳大利亚大学，部署了一个学习和管理系统，学生登录系统，系统追踪学生花费的时间以及学生的整体进度等。

在教育中使用大数据的不同用例中，它也用于衡量教师教学的有效性，以确保学生和教师的良好体验。教师的表现可以根据学生人数，学科人数，学生期望，行为分类和其他几个变量进行微调和衡量。

在政府层面上，美国教育部的教育技术办公室正在使用大数据来开发分析数据，以帮助纠正选错在线课程的学生，点击模式也被用来检测学生学习时的无聊程度。

这个行业的大数据提供商包括：Knewton和Carnegie Learning和MyFit / Naviance。

5、制造业和自然资源开采业

行业具体挑战

对石油，农产品，矿产，天然气，金属等自然资源的需求日益增加，导致数据量的增加，复杂性和提高速度是一个挑战。

同样，来自制造业的大量数据尚未得到开发。 这种信息的利用不足阻碍了产品质量提高，能源效率和可靠性的提升，以及更好的利润率。

大数据在制造和自然资源开采业中的应用

在自然资源行业，通过大数据可以利用地理空间数据，图形数据，文本和时间数据中摄取和整合大量数据建立预测模型，帮助做出决策，应用的领域包括： 地震解释和油藏表征。

大数据也被用于解决当今制造业所面临的挑战，懿获得竞争优势。

在下图中，德勤的一项研究显示了目前使用的大数据的情况以及将来的预期的用于供应链功能的使用情况。

该行业的大数据提供商包括：CSC，Aspen Technology，Invensys和Pentaho。

6、政府

在政府中，最大的挑战是不同政府部门和附属机构大数据的整合和互操作性。

大数据在政府中的应用

在公共服务方面，大数据应用范围非常广泛，包括能源勘探，金融市场分析，欺诈检测，健康相关研究和环境保护。

一些更具体的例子如下：

大数据用于分析社会保障局（SSA）提供的非结构化数据的大量社会残疾索赔。用于分析快速有效地处理医疗信息，以加快决策速度，并检测可疑或欺诈性声明。

食品和药物管理局（FDA）正在使用大量数据来检测和研究食物相关疾病和疾病的模式。从而做出更快的反应，提供更快的治疗，减少死亡。

国土安全部使用大数据分为几种不同的用例。 大数据来自不同政府机构的分析，以及用于保护国家安全的数据。

这个行业的大数据提供商包括：Digital Reasoning，Socrata和惠普。

7、保险业

主要挑战包括缺乏个性化服务，缺乏个性化定价和缺乏针对新细分市场和特定细分市场的有针对性的服务。

在由Marketforce进行的调查中，保险业专业人士确定的挑战包括数据不足带来的利润损失，以及渴望更好的洞察力。

大数据在保险行业的应用

业界已经在使用大数据，通过从社交媒体，支持GPS的设备和监控录像中得到的数据分析和预测客户行为，为透明和简单的产品提供客户洞察。 大数据还可以保护公司更好的提高客户留存。

在索赔管理方面，大数据的预测分析已被用于提供更快的服务，因为大量的数据可以在承保阶段进行特别分析。 欺诈检测也得到了加强。

通过数字渠道和社交媒体的大量数据，索赔周期的索赔实时监控已被用于为保险公司提供见解。

该行业的大数据提供商包括：Sprint，高通，Octo Telematics，The Climate Corp。

8、零售和批发贸易

从传统的实体零售商和批发商到现在的电子商务，行业已经收集了大量的数据。 来自客户会员卡，POS扫描仪，RFID等的这些数据并没有被用于整体上改善客户体验。所有改变和改进都相当缓慢。

大数据在零售和批发行业的应用

来自客户忠诚度数据，POS，商店库存，本地人口统计数据的大数据将继续由零售和批发商店收集。

在纽约大展零售贸易大会上，像微软，思科和IBM这样的公司表示，零售行业需要利用大数据进行分析和其他用途，包括：

通过购物模式，本地活动等数据优化员工配置

减少欺诈

及时分析库存

社交媒体的使用也具有很大的潜在用途，并且将以缓慢的速度地被实体店采用。社交媒体用于客户探索，客户保留，产品推广等。

这个行业的大数据提供商包括：First Retail，First Insight，Fujitsu，Infor，Epicor和Vistex。

9、交通

近来，来自基于位置的社交网络的大量数据和来自电信的高速数据影响了旅游行为。 令人遗憾的是，了解旅游行为的研究并没有如此迅速。

在大多数地方，交通运输需求模式仍然对社交媒体结构的了解不足。

大数据在交通行业的应用

政府，私人机构和个人的一些大数据应用包括：

政府使用大数据：交通管制，路线规划，智能交通系统，拥堵管理（预测交通状况）

私营部门在运输中使用大数据：收入管理，技术改进，物流和竞争优势（通过整合出货量和优化货运）

个人使用大数据包括：路线规划节省燃料和时间，旅游安排等。

该行业的大数据提供商包括：高通和Manhattan Associates。

10、能源和公用事业

电网资产的60％将在十年内需要更换

全球风电装机容量同比增长12.4％

智能电表成为主流，而消费者要求更多的控制和了解能源消耗。

大数据在能源和公用事业行业的应用

智能电表读取器允许几乎每15分钟收集数据，而不是每天用旧的读表器收集数据。 这种细粒度数据被用于更好地分析实用程序的消耗，这允许改进客户反馈和更好地控制公用事业的使用。

在公用事业公司，使用大数据还可以提供更好的资产和人力资源管理，这对于识别错误和在完成失败之前尽快进行纠正是有用的。

这个行业的大数据提供商包括：Alstom Siemens ABB和Cloudera。

总结

本文总共梳理了10个垂直行业中大数据的重要作用，以下是几个关键要点：

在大数据领域有大量支出

要利用大数据机会，你需要：

熟悉并了解行业特定的挑战

了解每个行业的数据特征

了解支出在哪里发生

通过自己的能力和解决方案来满足市场需求

垂直行业的专业知识是有效和高效地利用大数据的关键

腾股创投是一家由前华为资深人士成立的早期风险投资公司。投资方向包括5G、云计算、SaaS、大数据、物联网、人工智能、机器人。投资阶段天使、Pre-A、A。

伴随着AI人工智能的热度，大数据在经历了多年“蛰伏期”后，一举成名，备受各大互联网知名企业青睐，争相成立研究部门，招募相关人才！也有众多高校开设大数据相关专业，为社会培养储备人才。

“大数据”一词，对人们来说既熟悉又陌生，熟悉的是人人都知道大数据薪资福利高，而陌生的却是“大数据”真正含义。

今天就为大家科普大数据相关知识，也欢迎各位读者留言交流哦！

所谓大数据，就是指无法在一定时间范围内，使用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。简单来说，可以理解为一种信息化技术解决方案。

大数据的特征包括，容量（Volume）、种类（Variety）、速度（Velocity）、可变性（Variability）、真实性（Veracity）、复杂性（Complexity）、价值（value）这七个方面，合理运用大数据便能发掘出最大的数据价值，这就是大数据的魅力！

就大数据的趋势来说，包括以下七个方面：

1.数据的资源化（大数据成为企业和社会关注的重要战略资源，并已成为大家争相抢夺的新焦点）；2.与云计算的深度结合（大数据离不开云处理，云处理为大数据提供了弹性可拓展的基础设备，是产生大数据的平台之一）；3.科学理论的突破（随着大数据的快速发展，就像计算机和互联网一样，大数据很有可能是新一轮的技术革命）；4.数据科学和数据联盟的成立（未来，数据科学将成为一门专门的学科，被越来越多的人所认知）；5.数据泄露泛滥，（未来几年数据泄露事件的增长率也许会达到100%，除非数据在其源头就能够得到安全保障）；6.数据管理成为核心竞争力（数据管理成为核心竞争力，直接影响财务表现）7.数据生态系统复合化程度加强（大数据的世界不只是一个单一的、巨大的计算机网络，而是一个由大量活动构件与多元参与者元素所构成的生态系统）。

在这些趋势中，我们不难发现，大数据趋势有惠利的，也有非安全的层面，在惠利趋势下，企业必须要提前制定大数据营销战略计划，才能将数据利用最大化，抢占市场先机。与此同时，大数据技术在未来将与云计算技术紧密结合。而随之兴起的数据挖掘、机器学习和人工智能等相关技术，可能会改变数据世界里的很多算法和基础理论，实现科学技术上的突破。但是在非安全层面，大家担心的始终是数据安全性问题，近几年数据泄露事件频频发生，除非数据在其源头就能够得到安全保障。当今社会，没有谁能保证我们的信息没有被泄露，不然就不会有骚扰推广电话呢！

所以在享受大数据带来价值的同时，也应该做好相应的数据安全保障体系。

当然任何事情都有其两面性，大数据亦是如此！既有机遇，又有挑战。大数据所带来的机遇包括：大数据技术促进国家和社会发展；大数据蓝海成为企业竞争的新焦点；大数据时代呼唤创新型人才。而挑战的难度，则是大数据技术的运用仍有困难，主要表现在数据收集、数据存储、数据处理、结果可视化呈现；大数据给信息安全带来新挑战。但是随着技术研究的深入，这些问题势必会得到改善与解决，这是趋势的走向。

大数据作为互联网时代的职场新宠，自然会有很多人学习，比如应届毕业生，又比如转行人员等等。可是在诸多选项中，如何选到最值的体系化大数据课程呢？这种关键时刻，还是得看“百里半”！协同业内资深专家，自主研发书本与课程；以项目为导向，贯穿整个学习过程，企业真实案例，边学边实际操作！

对于大数据应用与就业而言，不仅应用范围广泛，连就业职位也可供选择，范围涵盖教育学、生物医学、金融学、公共事业等，而职位也是丰富多样，大数据分析师、数据可视化工程师、大数据系统研发工程师等。不仅如此，城市与社会的发展，急需要大批相关专业人才，进行项目的设计与研发，该行业的红利将会继续持续，也会吸引越来越多的人就业。在大批人才到达该领域，呈现人员饱和的状态时，抓住时机，提前成为行业顶尖人才！

不知道各位小伙伴，对于大数据还有什么疑问与想法呢？一起来讨论吧！

现代人生活中越来越离不开大数据，进入大数据时代，信息和数据已成为人类社会最重要的资源之一。无处不在的互联网信息，各种各样的软件数据，都影响着现代人的生活。各行各业也争相建立大数据库，使用大数据实现白便捷与收益。大数据，是当今时代的发展趋势，是一个极大的机遇，同样也面临着巨大的挑战。

文件是数据处理和运行的核心，大多数用户的文件都在第三方运行平台中进行处理和存储，且大部分文件保护机制要依赖于操作系统本身的安全性。而过于庞大和复杂的系统难免出现安全漏洞，会让恶意代码有可乘之机，不及时发现并修复，数据很有可能会被损坏、丢失或者恶意篡改，造成极大的损失。

如今数据量疯长，意味着高价值的数据也越来越多，数据，是有利可图的。有不少不法分子也蠢蠢欲动，通过一些不正当的手段来获取数据，达到自己的目的。不少黑客自然也不会放过这么一块“香饽饽”，只因获得数据成本低，收益高。

大数据时代下，数据信息可以说是泛滥的，大部分人对于信息安全的意识不够，对相关数据的使用不当，造成敏感、隐私数据的泄露，尤其是具有一定关联性的多组数据同时泄漏，引发的连锁反应会让问题加重。

大数据时代下信息安全面对极大的挑战，信息安全技术也面临很大的考验，互联网信息安全有着无限的发展趋势，将会是大数据时代下最值得关注的问题。在未来互联网行业里，信息安全技术将是重中之重。

广州市闰业职业培训学校，专业从事IT管理咨询和IT运维、信息安全技术服务和人才培训等专项业务。为成为IT管理咨询及技术服务领域的专业品牌方向而努力。闰业学院设有信息安全保障认证等课程，助你成为出色的互联网信息安全人才，在IT行业一展抱负。

数据驱动决策的承诺现在已得到广泛认可，并且有对“大数据”概念的热情越来越高。

大数据的异构性，规模，及时性，复杂性和隐私问题受到阻碍可以从数据创造价值的管道的所有阶段的进展。 问题立即开始在数据采集期间，当数据海啸要求我们做出决策时，目前处于临时状态方式，关于要保留什么数据和丢弃什么，以及如何存储我们可靠地保存的内容正确的元数据 今天的大量数据本身并不是结构化的格式; 例如，推文和博客都是结构较弱的文本，而图像和视频的结构用于存储和显示，但不是对于语义内容和搜索：将这些内容转换为结构化格式以供以后分析一个重大挑战。

当数据可以与其他数据（即数据）链接时，数据的价值就会爆炸整合是价值的主要创造者。 由于今天大多数数据都是以数字格式直接生成的，我们有机会和挑战影响创造，以促进后来的联系和自动链接以前创建的数据。 数据分析，组织，检索和建模是另一回事基础挑战。 由于缺乏数据分析，数据分析是许多应用中的明显瓶颈底层算法的可扩展性以及由于需要分析的数据的复杂性。最后，非技术领域专家对结果的介绍及其解释至关重要提取可操作的知识。

在过去的35年中，数据管理原则，如物理和逻辑独立性，在过去的35年中，声明性查询和基于成本的优化已经达到了数十亿美元产业。 更重要的是，这些技术进步使第一轮业务成为可能智能应用程序，为今天管理和分析大数据奠定了基础。 很多与大数据相关的新挑战和机遇需要重新思考许多方面这些数据管理平台，同时保留其他理想的方面。 我们相信适当的大数据投资将带来新的基础技术进步浪潮将体现在下一代大数据管理和分析平台，产品和系统。

小编认为这些研究问题不仅及时，而且具有潜力在未来几年内为美国经济创造巨大的经济价值。 但是，它们也很难，要求我们从根本上重新思考数据分析系统。 对大数据的重大投资，适当的指导，不仅可以导致重大的科学进步，而且还可以奠定基础科学，医学和商业的下一代进步。