大数据时代

不得不承认如今数据量的激增越来越明显，各种各样的数据铺天盖地的砸下来，企业选择相应工具来存储、分析与处理它们。大数据时代来了！

在新时代遇到老问题

一个产品的成功从来不是单方面的技术因素，而是包括产业上下游、市场营销乃至社会环境等各方面的共同作用。新兴技术往往会面临如何把成功的技术转化为成功的市场产品的问题。现在它又出现了，横在大数据进一步推广应用的路上。

大数据市场一直在快速发展，而这种发展很大程度上源自政府层面的鼓励，企业对自身未来发展，而非大数据目前能够带来的商业价值。这种快速发展本身存在很大隐患：大部分的大数据项目没有明确可以预先确定的投资回报。前期的大数据项目很多是企业在进行技术尝试，并没有明确的商业回报预期。当项目执行后，没有得到相应回报也没有发现其他明确机会点时，企业也就不再向大数据持续投入，而转为观望。

安全和隐私问题一直制约着大数据的发展。社会对于数据安全问题越来越关注，而数据资源保护的相关法律法规和保障信息安全开放的标准规范仍然缺乏。有需求有想法的企业和组织得不到需要的数据资源，无法开展大数据应用。

数据时代的巨大改变尚未出现。目前即使在大数据发展较好的互联网、电信企业中，大数据也主要用来支撑现行的组织架构、管理模式和制度，是企业IT系统的补充，人家预测的或者说期待的巨大改变还没有出现。简单的说，技术发展太快，社会没跟上，还要再走会。

尽管大数据发展遇到了问题，但毫无疑问大数据的前景仍然是光明的，这一点从资本市场对大数据行业持续攀升的投资热情就可以清楚的看到。

问题就是机遇

社会发展过程中总会出现各种各样的问题，而对于企业而言，这些问题就是机遇，解决这些问题就能够赢得一次发展甚至腾飞的机会。大数据市场同样如此，这些发展中的问题何尝不是对所有从业组织和个人的巨大机会：基于行业数据的分析挖掘。即熟悉行业又熟悉数据分析的人才匮乏，经营管理公司人不知道能从数据中得到什么，懂数据分析的人不知道怎么能用基础数据支撑到公司经营。缺少能够将两者结合到一起的人或者组织，这也是当前大数据应用少的重要原因。在这一点上，对行业的理解和研究比数据处理技术更为重要，也就是说大数据企业需要和行业内企业合作才能把握机遇。

“自助服务”工具。企业数据用户（往往是业务、产品、营销负责人等非大数据专业人士）在实际运用大数据的时候，更关注的是大数据的产品在哪些方面可以直接帮助改善自身业务，不需要关注大数据产品内部各个环节的技术细节。大数据在落地的过程中，需要解决大数据能力产品化的问题，帮助非专业人员使用，比如：自助服务的大数据分析工具、数据管理工具等。我们将看到更多企业意识到自助工具的重要性，以及对其迫切的需求。

社会公共服务领域。越来越多的人认为政府是推进大数据进一步发展的关键，不仅仅是政策、法规上的扶持和规范，也需要政府投入其中，坚定各行业持续投入大数据研究的决心。近两年，各国政府在公众服务领域做了很多大数据的尝试和探索，并取得很多成果和经验。随着应用的不断深入，公众服务领域可能是大数据突破现有障碍的开端。

展望2018年，大数据产业发展将迎来“黄金期”，产业集聚将进一步特色化发展，创新驱动仍将是产业发展主基调，大数据融合应用进程加速，为做大做强数字经济、带动传统产业转型升级提供新动力。

当今，大数据的到来，已经成为现实生活中无法逃避的挑战。每当我们要做出决策的时候，大数据就无处不在。大数据术语广泛地出现也使得人们渐渐明白了它的重要性。大数据渐渐向人们展现了它为学术、工业和政府带来的巨大机遇。与此同时，大数据也向参与的各方提出了巨大的挑战，首先是三个重要的技术问题：

一、如何利用信息技术等手段处理非结构化和半结构化数据大数据中，结构化数据只占15%左右，其余的85%都是非结构化的数据，它们大量存在于社交网络、互联网和电子商务等领域。另一方面，也许有90%的数据来自开源数据，其余的被存储在数据库中。大数据的不确定性表现在高维、多变和强随机性等方面。股票交易数据流是不确定性大数据的一个典型例子。大数据刺激了大量研究问题。非结构化和半结构化数据的个体表现、一般性特征和基本原理尚不清晰，这些都需要通过包括数学、经济学、社会学、计算机科学和管理科学在内的多学科交叉来研究和讨论。给定一种半结构化或非结构化数据，比如图像，如何把它转化成多维数据表、面向对象的数据模型或者直接基于图像的数据模型？值得注意的是，大数据每一种表示形式都仅呈现数据本身的侧面表现，并非全貌。如果把通过数据挖掘提取“粗糙知识”的过程称为“一次挖掘”过程，那么将粗糙知识与被量化后主观知识，包括具体的经验、常识、本能、情境知识和用户偏好，相结合而产生“智能知识”过程就叫做“二次挖掘”。从“一次挖掘”到“二次挖掘”类似事物“量”到“质”的飞跃。由于大数据所具有的半结构化和非结构化特点，基于大数据的数据挖掘所产生的结构化的“粗糙知识”（潜在模式）也伴有一些新的特征。这些结构化的粗糙知识可以被主观知识加工处理并转化，生成半结构化和非结构化的智能知识。寻求“智能知识”反映了大数据研究的核心价值。

二、如何探索大数据复杂性、不确定性特征描述的刻画方法及大数据的系统建模这一问题的突破是实现大数据知识发现的前提和关键。从长远角度来看，依照大数据的个体复杂性和随机性所带来的挑战将促使大数据数学结构的形成，从而导致大数据统一理论的完备。从短期而言，学术界鼓励发展一种一般性的结构化数据和半结构化、非结构化数据之间的转化原则，以支持大数据的交叉工业应用。管理科学，尤其是基于最优化的理论将在发展大数据知识发现的一般性方法和规律性中发挥重要的作用。大数据的复杂形式导致许多对“粗糙知识”的度量和评估相关的研究问题。已知的最优化、数据包络分析、期望理论、管理科学中的效用理论可以被应用到研究如何将主观知识融合到数据挖掘产生的粗糙知识的“二次挖掘”过程中。这里人机交互将起到至关重要的作用。

三、数据异构性与决策异构性的关系对大数据知识发现与管理决策的影响由于大数据本身的复杂性，这一问题无疑是一个重要的科研课题，对传统的数据挖掘理论和技术提出了新的挑战。在大数据环境下，管理决策面临着两个“异构性”问题：“数据异构性”和“决策异构性”。传统的管理决定模式取决于对业务知识的学习和日益积累的实践经验，而管理决策又是以数据分析为基础的。大数据已经改变了传统的管理决策结构的模式。研究大数据对管理决策结构的影响会成为一个公开的科研问题。除此之外，决策结构的变化要求人们去探讨如何为支持更高层次的决策而去做“二次挖掘”。无论大数据带来了哪种数据异构性，大数据中的“粗糙知识”仍可被看作“一次挖掘”的范畴。通过寻找“二次挖掘”产生的“智能知识”来作为数据异构性和决策异构性之间的桥梁是十分必要的。探索大数据环境下决策结构是如何被改变的，相当于研究如何将决策者的主观知识参与到决策的过程中。大数据是一种具有隐藏法则的人造自然，寻找大数据的科学模式将带来对研究大数据之美的一般性方法的探究，尽管这样的探索十分困难，但是如果我们找到了将非结构化、半结构化数据转化成结构化数据的方法，已知的数据挖掘方法将成为大数据挖掘的工具。以上是我对大数据的三个重要技术问题进行研究的一些心得，也仅仅是一个研究大数据挑战的起点。除此之外，还有一些数据科学的问题，包括在获得数据和从数据中产生规则方面可能存在的公理体系，基于数据库的知识发现规则与基于开放数据源的知识发现规则以及大数据挖掘的整体和（或）局部解的存在性问题等等。在不久的将来，我相信这些问题都需要去仔细研究，以获得突破性科研与应用成果。

浅谈大数据对统计学的挑战和机遇

引言　　国际数据公司的相关研究指出，2011年全球数据生产量达1.8ZB，且全球信息总量每隔两年增长一倍[1]。在大数据时代下，对于统计学发展而言，挑战与机遇并存，挑战指的是现阶段传统统计学相关方法难以适用大数据，机遇指的是基于统计学，大数据展开数据处理、分析，促使大数据具备可视化特性。由此可见，研究大数据对统计学的挑战和机遇有着十分重要的现实意义。　　1.大数据及其目的　　现阶段，关于大数据仍旧没有一个十分明确的界定，大数据起初是源自于技术领域。在信息量不断扩大的情况下，使得常规电脑原有存储空间已不能对新处理数据进行承载，新兴数据处理技术得以产生，好比雅虎的Hadoop平台、谷歌的MapReduce等。此类技术能够对僵化层次结构、一致性予以消除，促进数据无需通过常规数据库表格进行排列，极大程度地提升了人们可处理的数据量[1]。　

　2.大数据与统计学的对比　　2.1样本统计与全样本统计的区别　　样本统计属于统计学不可或缺的依赖，样本指的是结合相应的概率自总体中随机筛选并视作总体代表的集合内容，值得一提的是随机抽样是需要成本的，包括社会关系、资金成本或者时间成本等。基于样本数量提升有限前提下，样本估计误差会随着总体数量增多而增大，这亦是样本统计无法避免的不足。大数据时代下，收集整理庞大的数据信息应运而生，数据信息发展表现出总体即是样本的态势，该属性很好的消除了样本统计这一不足。大数据时代下的全样本统计，通常情况下可对完全总体进行覆盖，然而受大部分数据属于半结构、半结构数据影响，使得概率论应用遭受一定的制约[2]。鉴于此，将全样本统计应用到统计学中，应当就总体数据展开相应的归纳、筛选，即好比在样本统计中展开数据预处理。　　2.2预测分析与非预测分析的区别　　统计学的创立，是为了对变量相互相关关系展开分析，因此获取数据是发生于变量确定之后的，数据分析价值是能够被预测的。相较于统计学的预测分析，庞大数据将互联网、传感器作为载体，存在于分析需求之前，因此构建于大数据上的分析多为非预测性分析。在统计学中，出现大数据无法有效应用局面，这是由于不具备非预测分析所需的庞大数据，庞大数据产生与数据中心、存储系统存在紧密的联系，并非短期产生。也就是说，统计学中大数据的应用发展，说明了非预测分析正逐步取代传统统计学预测分析，数据多次利用正逐步取代传统数据一次性利用的。　　3.大数据对统计学的挑战与机遇　　3.1数据生产、处理与应用的转变　

　相关统计部门经开展严格的统计设计工作，获得相关的统计数据，数据的预处理分别有数据清洗、非全面数据填补以及数据矫正等。大数据时代下的统计手段尚不十分明确，自大数据流环境而言，要不断探索新型抽样方法，并确保抽样方法的实时、连贯及可行性。除去传统的统计分析方法，还应当开发大数据动态分析、数据流算法等[3]。　　3.2大数据时代对市场营销的机遇　　3.2.1大数据营销的特点与价值　　大数据营销的特点：I.数据采集多平台化特点，即大数据时代下，大数据的数据大多来源于不同的领域、不同的渠道。II.时效性特点，随着信息技术的急速发展，互联网用户消费、购物行为方式往往会瞬间出现转变。国际先进大数据营销企业AdTime基于此大数据营销特点，采取了时间营销措施，即采取相应的技术方式全面获悉用户所需，于第一时间对用户当下的需求进行回应，以使用户在下决心购买的最佳时间及时看到对应的产品广告。III.个性化特点，在大数据时代下，广告商传统媒体导向的营销理念逐步由受众导向取代，现如今，广告商可应用大数据了解用户的地理方位，需求内容等信息，达到对用户个性化营销的目的。　　大数据营销的价值：I.升级营销与用户的匹配度，大数据营销不仅可提供给企业了解用户有效的途径，还能够与网络环境下，选取相关技术方法达到对用户精确定位的目的，从而开展好营销工作，升级营销与用户的匹配度。II.改善用户体验，大数据营销促使企业真正意义上认识到用户及其所使用企业产品情况，以给予用户最人性化的提醒。　　3.2.2大数据营销的应用　　（1）与消费者建立紧密关系　　现如今，我国一些企业营销行为仍旧处于个性化定位信息、创意设计阶段，而无法对不同消费者展开个性化的营销活动。大数据时代下，经采用相关数据分析技术方法，基于对消费群体喜好、传媒接触习惯等展开有效的分析，达到特定营销活动明确开展的目的，实现企业精心开展的营销活动精准的辐射至目标消费群体处，与消费者建立紧密关系，极大的改善营销效率、质量[4]。　　（2）掌握竞争对手数据　　企业通过对竞争对手数据的有效掌握，获悉竞争对手发展状况，基于此帮助企业制定科学合理的产品价格，提升企业产品市场竞争优势。与此同时，企业务必要全面实施以事实为前提的决策手段，广泛地应用数据分析方式对企业每一个发展运营步骤进行优化，经对企业一系列数据的充分优化、对接，促使业务环节中潜在的价值得以被有效挖掘，降低生产成本，知己知彼，促使企业在日趋白热化的市场竞争中占据有利位置。　　（3）挖掘企业内部数据　　“市场未动，数据先行”俨然转变为国际上企业有效运营发展的一致认识，为了提升企业管理效率，要求企业要充分挖掘企业内部数据，并展开有效的整合、分析，以为企业相关人员做决策提供有利的参考依据，提升决策准确性，促进企业可持续发展。

3.2.4 企业的应用案例——以亚马逊为例　　在应用大数据开展市场营销方面，美国亚马逊公司一直处于领先地位。亚马逊研发出“用户未下单，先发货”功能，即结合用户的购物需求数据信息，分析用户想要购买的产品，达到用户未下单，提前发货的目的。此外，亚马逊通过对用户检索信息的分析，评估流感的传播，但这仅仅为海量检索数据中的一项用途，相同的数据能够应用于预测大选结果、预测某类产品市场行情等等，极大地降低了统计成本[5]。　　3.3大数据时代对市场营销的挑战　　3.3.1信息收集　　大数据并非就是对数据信息展开盲目的收集，即便收集了再多的数据，倘若这些数据并非是市场营销所需要的，如此便会导致前期收集来的数据信息，变成一堆“数据垃圾”。鉴于此，为了避免这一情况发生，务必要充分分析业务需求，再对自身存在价值的数据展开收集、归纳，如此方可实现大数据的有效收集应用。　　3.3.2经验与数据　　数据采集完毕后，面对参差不齐的数据，还应当做好数据评估工作，评估对何种目标受众开展市场营销工作。鉴于此，要求采取科学合理的手段，将这些参差不齐的数据整合成可被市场营销实践应用的，经结合过去的经验，与采集数据进行有机融合，实现对目标受众的有效分析确定。　　3.3.3分析与优化　　数据分析，一方面是实现数据优化，一方面是进行决策层面上的调整、转变。此环节对于专业人才的需求提出了严苛的挑战。数据分析、数据优化对于专业人才的知识框架要求大不相同，这要求相关企业不仅要培养专业的数据分析人才，还要打造数据优化人才队伍。　

　3.4大数据营销的未来发展趋势　　信息技术不断发展，单一媒体导向的“消费者碎片化”俨然无法达到企业对于数据多样性的需求。大数据时代下，媒体的跨界融合实现对“碎片化”受众的充分聚合。在科学技术技术不断进步的背景下，跨媒介、跨平台、跨终端的多途径将不断被开拓，将使庞大的数据信息获取多维度的整合，并且在多样化网络环境下，消费者主观信息与客观数据有机融合，构筑全面用户数据库环节，将成为未来大数据营销发展的必然趋势[6]。　　4.结束语　　总而言之，大数据为传统统计学带来了严峻的考验，也为传统统计学有效发展创造了良好的契机。在大数据时代发展潮流中，我们应当充分的认识到大数据对于传统统计学而言，是补充而不是更替，构建于样本统计、预测分析内容上的传统统计学，仍旧于社会统计、经济分析中占据着主导位置。大数据时代下，为了实现企业市场营销的有效开展，相关人员务必要不断专研研究、总结经验，全面分析大数据与统计学的对比，充分认识大数据对统计学的挑战和机遇，“与消费者建立紧密关系”、“掌握竞争对手数据”、“挖掘企业内部数据”等，积极促进企业市场营销的科学合理化。

纵观当下的科技领域，用风起云涌、如火如荼不足为过。新技术的日益出现和普及，使得我们的工作、生活有了翻天覆地的变化。在过去几年中，大数据是谈及最多的话题，而如今，人工智能、物联网、机器学习等热门技术逐渐充斥各种大中小型活动中，产生的数据更是呈现出暴增趋势。

无可否认，新技术与云计算的融合将以人们无法想象的方式影响着商业和工业运营。但有一件事是显而易见的，就是会有更多的数据产生，尤其是非结构化数据。根据IDC研究显示，非结构化数据（29.8％）的增长速度超过了结构化数据（19.6％）。因此，企业需要高性能的存储解决方案来应对强劲的存储需求。

强劲的市场需求也催生了存储供应商的转变。细数近两年的市场，非结构化数据持续增长，有关存储技术最新进展的报道一直甚嚣尘上，其中包括非易失性存储器。随着新型接口和更现代化软件的不断普及，各大供应商也在积极创新，力图减少因过去20年内CPU发展所导致的数据中心IT基础架构不平衡。

据悉，这些全新的接口可以实现应用程度的低延迟和高性能数据存取，尤其是对于SQL/NoSQL数据、高性能计算工作负载和大数据应用。而对于大型的非结构化数据使用闪存技术意味着需要更高的性能。而不会出现横向扩展解决方案带来的延迟。另外，闪存的密集存储意味着比磁盘或磁带小得多的空间，这反过来又转化为电力、机架和冷却方面的节省。虽然闪存的成本仍然高于磁盘，但各个供应商们也在努力将价格变得更低。

不过，将非易性存储器用于非结构化文件数据目前仍然存在重大挑战，因此，需要一种能力与高性能闪存存储配合使用的现代二级存储解决方案。

挑战一：文件服务和数据管理

闪存供应商还没有建立企业需要管理其数据的文件服务。包括数据管理服务，如数据保护和备份，数据移动及数据检索等。

这意味着高性能闪存存储需要一个互补的辅助存储解决方案，企业需要管理大量数据的文件服务，可以让企业能够轻松地保护和备份数PB的数据，并且将数据从其所在的位置移动到所需位置，快速搜索并加以利用。

挑战二：传统解决方案无法跟上闪存

使用闪存进行非结构化文件数据存储需要兼容的辅助存储解决方案，但遗憾的是，传统备份和归档解决方案无法跟上闪存存储的速度。

一个补充高性能存储的现代存储解决方案需要能够处理并行数据流以尽可能快地读取数据。

挑战三：更高的价格点

尽管目前供应商们正在努力将闪存价格变得更便宜，但高性能的价格却在陡增。有了大量的数据，很难证明高性能闪存的成本。

但企业通常只需要将其数据的一部分存储在高性能主存储器中。从经济上来讲，对于经常访问的数据进行分层是非常便捷的，而针对长期保留的数据容量则是以低成本层次进行优化的，而不是为高性能而优化。

当将闪存的性能优势纳入更大策略的优化环境中时，高性能加上巨大的容量在整个数据管理系统中既经济可行又有价值。

小结

在非结构化数据爆炸的时代，高性能和大容量是目前所需的两个元素。随着各大供应商在存储方案上的不断推进，市场也逐渐出现使用现代化容量来补充高性能闪存，使企业能够在在真正需要的地方利用高性能存储能力，同时为其提供必要的文件服务，以更有效的管理所有数据。

目前，大数据已经上升为国家战略。2016“十三五”规划纲要中明确指出，要实施国家大数据战略。而在今年3月5日召开的十二届全国人大五次会议上，国务院总理李克强在作政府工作报告中强调，要加快大数据、云计算、物联网应用——这是大数据自2014年成为国家战略以来连续第四年被写入政府工作报告。

在此背景下，新一轮的数据中心建设热潮正在掀起。数据中心行业正站在大数据的风口上，而作为数据中心基础建设的重要组成部分，综合布线也面临着新的机遇和挑战。

尽管在不同区域、不同业务领域中，数据中心的发展会有所差异，但在大数据时代下，数据中心的需求也呈现出许多共性：企业自建数据中心的增长速度放缓，而提供云服务的第三方大型甚至超大型数据中心的数量持续增加，托管型数据中心的需求量非常大;数据中心内部东西向传输能力增加，传统的三层网络架构变成两层的主干和分支型结构，这对数据中心的布线效率、布线密度提出更高的要求。

面对这些新需求，布线系统需要实现更易的管理、升级，并且要长期可靠;随着数据中心的规模越来越大，人工管理捉襟见肘，自动化管理是必然趋势，特别是及时发现每一个点位的问题避免宕机，对于布线系统来说是一项严峻的挑战。

在实际应用中，用户对数据中心的需求各不相同：数据中心规模、数据传输链路长短、传输速率等的不同，这些差异化的需求使得数据中心难以有统一的解决方案，这就要求布线厂商能够根据用户的不同需求提供一套适合、高效、安全的布线架构，实现功能的差异化。

事实上，除了数据中心综合布线外，智能建筑的各个子系统，包括反馈系统、显示系统、测量系统、安保系统等，随着智能化、数字化、网络化的趋势加剧，也要依靠布线系统来实现高效连接。而随着工业4.0、中国制造2025等战略的提出，综合布线系统的应用领域正不断拓宽，需求变得更加旺盛。

总的来说，大数据的发展催生了很多的商业机会，从数据中心布线到智能楼宇布线，甚至物联网都有更大潜力值得深入挖掘。

来源：数据猿 作者：张俊潇

导语：6月29日，由数据猿主办的金融大数据峰会在上海盛大召开，现场汇集了众多来自大数据领域内执牛耳的重量级嘉宾。大数据被誉为第四次工业革命的能源，整个产业正处于高速起飞的阶段，机会和挑战总是结伴而行。大数据也是一座待挖掘的金矿，给人们带来无限美好遐想的同时，一些潜在的挑战也在渐渐浮出水面。

这个趋势在金融大数据领域尤为明显。

垄断壁垒渐强，数据共享已成空话？

得益于金融行业较为完整的数据积累与人才储备，大数据在金融领域的应用可以说是最早开花结果，包括精准营销、客户全周期管理、战略决策、风险控制等环节均能看到大数据的落地身影。

但就像引言所说，很多挑战也在不断滋生，这些挑战至少来自三个维度。

首先是认知层面。大数据对金融行业来说意味着什么？仅仅是一个优化工具还是对金融体系的一次基因改造，或者还是代替银行一些职能成为独立的产品？答案众说纷纭，始终没有得到统一。

其次是数据获取带来的挑战。

目前企业面临一个普遍的困境就是挖掘与收集数据的能力有限，需要满世界找数据。

不解决这个问题就会直接导致底层数据的流通不畅，底层数据从大的方面来说由内部和外部两个方面组成。内部是指总行跟各分行之间，甚至是各银行之间数据的共享；外部是指金融业和行业外部数据的打通，比如说电商平台、医保和社保等交易场景下用户产生的数据。

但是这些数据本身都被高度垄断，并且一些还涉及到用户隐私问题，甚至一些企业一旦将自己的数据开放将会遭受难以估量的巨大损失。

举个极端例子， 假如阿里的数据向京东开放会发生什么？我想第一时间京东会去获取阿里中大量女性用户的数据，一举填平服装和美妆产业在两者之间的鸿沟。

即使情况没有这么极端，阿里仅仅开放了一些简单的数据，也会给京东很多发挥的空间。比如说用户在阿里买了一件商品，这个数据被京东获知，京东就可以马上上架或者是推荐相关联的产品，用户买了一个笔记本可能还需要一个鼠标，就因为数据的开放，很大概率京东就抢走了本属于阿里的订单。

所以说数据作为企业的核心资产是绝对不会轻易开放的。

如何有效打通数据间的壁垒，是从业人员必须要跨过的一道门槛。

大数据带来的“人机矛盾”开始隐现

第三个挑战来自应用层面。应用层面的挑战更具复杂多样性，有一个矛盾越来越突出，可以预见的未来将会是困扰行业的主要焦点所在。

我称之为“人机矛盾”。

“人机矛盾”在电影里经常被演绎。机器人突然有了意识，便大肆屠杀人类，大数据概念下的“人机矛盾”没有这么暴力血腥，但也足够折磨人了。

具体体现在哪里呢？我们知道，基于大数据的缜密算法构建、机器学习和关联性预算等手段，可以直接显示最后的分析结论，而没必要具体展现其中的过程。也就是说，通常大数据的分析结果只负责告诉人们“what”，而不负责解释“why”。

但是当人们利用大数据的结论时就很容易陷入纠结，比如在商业银行做一个客户流失的风险预测，通过大数据发现这名客户未来有可能产生违约行为，因此建议不要放这笔贷款。

但这样业务人员会疯的，凭什么拿一份机器得出的结论好端端地去打搅客户。平白无故地对客户说：你好，我们预测你要流失，所以我要给你提供一些其他的服务来挽回。先不说提供的其他服务所产生的成本，单说这一行为会不会引起客户的反感，反而起到反作用也不是没有可能。业务人员要如何取舍？非常难办。

光是这个矛盾就够了吗？远远不止，假如面对的是银行个人用户业务，面对的可就是数以千万计的客户。通过大数据预测，假如预计5%的人会流失，这是非常庞大的一个数字。前端服务或销售人员或许一下就迷茫了，这么多人从哪里做起呢？投入有限的资源去做真的会挽回用户吗？

业务人员一定会问很多个为什么，一直问到机器是如何得出这个分析结论的。就如同AlphaGo大战柯杰，柯杰作为人类棋手翘楚，每秒可以搜索10个走子可能。但AlphaGo每秒却可以搜索10万个走子可能，你问AlphaGo为什么这步棋做出这样的选择，是因为它已经做了10万次的运算。

如果机器一步步将运算过程中的因果关系向人讲清楚，可能要用上100年的时间。

但即使业务员对数据无条件相信，也还是不够。因为他面对的客户是真实的人，人不是数据组成的，他如何做决定，要受到很多因素影响，甚至有时候会有不理性地选择。所以人与机器如何相处，未来还需要更多的时间和智慧来思考。

以上所列举的一些挑战主要还是集中在场景应用层面，通过技术的改进和认识的进步，一些问题都会在时间推进过程中得到化解。但真正的挑战其实来自大数据对产业革命的影响，如果没有前瞻的认知很可能会让企业失去下一个世代。

大数据时代呼唤大数据思维，未来马太效应可能超乎人们想象

大数据时代正在呼唤崭新的思维，也就是大数据思维。那么要怎么理解大数据思维呢？要想得到完善的理论体系，很可能还需要行业进一步的发展，但目前我们可以简单提炼一些关键词。

第一个：“不控制”的艺术

人类历史从奴隶社会进入农耕社会再进入到工业社会，最显著的一个变化就是出现了公司这一全新的组织形态。

在工业化到信息化进化的各个阶段中，又依次诞生了类似福特、波音、谷歌、阿里等巨头，它们将公司的力量和形态发挥到了极致。这个极致的典型特征就是公司本身不仅将自己的主业推向了几乎不可逆转的垄断地位，而且进一步做到了跨地域的分工、同行业上下游的整合和跨行业的整合。

很多整合都是通过产业并购和控股实现的，导致企业规模越来越臃肿。到了大数据时代这种玩法可能就不适用了，因为按照原来的模式，股权的转移一定是通过控制和被控制的状态来实现的。大数据时代数据越来越成为核心资产，可以不通过收购企业，就跨界掌握一家公司，就像滴滴不需要购买任何一辆汽车就可以掌控庞大的专车队伍。

第二个关键词：万物皆有灵魂。

之所以可以把大数据上升到一个时代的高度，是因为它第一次颠覆了人们认识事物的第一路径。以往人是绝对的主宰，我读书就是我读书，我购物就是我购物，我看病就是我看病。

而大数据时代，当然是设想的后大数据时代。你读书（电子书）的同时，书也在读你。因为你读书时候，在第几页停留久了，哪几页很快就翻过去了，书都会有准确的数据搜集，这些数据就会反馈给出版社或者作者手中，判断你的喜好和口味，以便下次准确推送合适的书给你。

当然，这样的事不仅仅局限图书，就像题目所说，万物都会有“灵魂”，物品创造出来不仅仅是满足人的需求，更重要的使命是读懂人的内心，这是一个很伟大的进步。

第三个关键词：生态运营。

我们看看巨头们现在都在忙些什么？不管是苹果、阿里还是小米，甚至连传统制造业例如海尔、丰田等，都在向另一个形态进化，就是EOP--生态运营。

这个形态的主要特征是什么呢？简而言之，就是利用一个超大核心企业牵头把初始流量导入进来，用多种联营的方式一块运作这个平台。这个平台就像森林一样，各种生物均在里面自由生长，形成稳定的生态圈。这个平台已经不是控制和被控制的关系，而是共生共荣。

实现这个功能的工具就是大数据，利用大数据作为底层生产资料将大家串联起来。我们知道互联网时代也有生态圈的概念，大数据时代的生态圈有什么不同呢？

大数据可以彻底解决共享和透明的问题。阿里是典型的互联网生态圈，在订单时代（未来可能会步入大数据时代）他没有解决信息不透明的问题，不管是上游的制造者还是下游的消费者，阿里仅能凭借数字做概率性的推演和预判。

而大数据时代，阿里处理的不仅仅是订单，而是要挖掘静态和动态的数据，而后分析供需两端的详情，最终做到精准营销、精准生产、精准物流和精准消费。

这个完美状态也就是马云所说的“计划经济”。

假如这个预测成为现实，那么未来大数据生态圈，要同时满足三个条件：生产端、流通端和交易端。阿里和京东，他们仅做到了流通端，就做到了如此大的规模，大数据时代也许这个边界将会扩大，那将是个万亿级的规模。

当然，这样的结果也会导致严重的“马太效应”。这也是我最后要提的，大数据未来和人工智能的结合，给社会带来的挑战也许要更严峻。比如会带来巨大的贫富分化，包括以后我还会专门来讲一个话题—无用阶级。当我们为新技术进步兴奋的同时，还是要认真思考背后的阴影，因为大数据带来的这次工业革命可能跟之前不太一样。（张俊潇）

一、大数据对管理学人性假设的挑战

管理学诞生以来，就以人为对象，以人性假设为前提，不断演化出各种各样的理论。大数据让管理科学真正进入到了可量化的科学发展阶段。我们过去经常讲，自然科学在牛顿之后发生的最重要的变化，就是它可以用数学公式来描述一个复杂的物理或自然现象，这意味着我们真正进入了可计算的现代社会。

通常，我们认为社会科学在某种意义上有很大的艺术成分，就是因为它可被精确计算的程度不够高。今天，通过大数据的方式对人进行定量化描述，这必然会引发管理科学的飞跃。

二、来自数字化虚拟世界的管理

由于量子力学的研究，让人类进入了电子时代；计算机的发明，让人类又进入了数据时代。电子时代，我们进行了模拟信号的处理，把声音和图像用电子的方式记录下来。计算机的发明，需要把模拟信号转化成数字信号，虚拟世界就变成了数字化虚拟世界。这是非常有意义的变化，因为数字化虚拟世界更便于计算。

大数据时代要求计算能力越来越快，存储能力越来越强。今天任何一部智能手机都比当年的奔腾电脑速度快上千倍。我们现在使用的神经网络计算方式，也更具有自学习的能力。

在这样一个自学习、数字化虚拟世界里，传统管理理论被画上问号，管理实践者该如何去做管理？

三、大数据对营销学的挑战

营销学是管理学的一个重要分支，它涉及社会心理学、预测学、广告学，经典营销学包括四个基本策略的组合，即产品、价格、渠道、促销的“4P理论”，这是管理学的一个很大成就。

例如小米手机，它通过互联网征求客户意见——从外观、性能到价格等方面，客户需要什么样的手机?希望用什么样渠道将手机传递给他？在这样的环境下，4P理论是否需要进行修正？

再举一个例子，医药领域现在有精准医疗、靶向治疗。每个人感冒的时候，感染的细菌或病毒都不完全一样。过去使用广谱抗生素，抗菌谱比较宽。现在出现的靶向药，通过培养患者感染的细菌或病毒，反向制造出一种新的抗生素，非常精准地进行针对性的治疗。

四、工业对企业管理模式的挑战

生产设备的智能化、车间的自动化、企业管理的网络化、生产要素的社会化、生产要素的社会化被统称为工业4.0，工业4.0的出现，是信息技术发展造成的？工业4.0的出现，是信息技术发展造成的？其实不是，这是工业在自身发展中探寻的出路。目前，全球大飞机基本上都在用罗罗（英国著名的航空发动机公司罗尔斯·罗伊斯）的发动机。飞机发动机是一个高科技技术，要有好的安全性，省油，长时间运行不用大修，这样大家用起来才放心

生产要素社会化之后，生产的组织与管理必然是网络化的方式，一定要通过计算机，互联网的方式来进行传输。加工设备高度智能化，这是未来制造业的发展方向，我们的管理模式该如何随之变化？

五、大数据时代要树立心的安全观

在安全领域里，视频监控产业发展得非常快，市值已经超过2000亿元，未来还有发展空间。过去有谁能想到，北大现在满院都是摄像头呢。

质量也是一种安全的保障：比如蔬菜里有多少农药化肥，空气中的雾霾怎样解决？健康，也可以看作是人的质量问题。整个社会管理将会进入一个新的课题，这些都是大数据时代所带来的变化。

在互联网时代，创新使得财富积累的速度前所未有的快速，贫富也会前所未有地加大分化。这个时代，越聪明越容易成功。世界的竞争变成人与人的竞争，人与人的竞争就是智慧的竞争，就是人的创新能力的竞争。如何提高人的竞争力，是管理科学面临的新课题。

信息化，数字化，数据化带给企业的价值会有所不同，信息化代表决策起步，数字化代表计算机，而只有数据化才代表着信息价值可能最大化的利用。

从信息到数字，再到数据，每一次都是一个挑战，也是一个机遇。

对外部的数据收集以及智能反映，会让企业的系统及时的调整。从而达到无限化组织效果。这就是大数据的潜力。

数据挖掘的价值在于企业的战略和数据处理的思维。每次的验证与调整都是为了挑战数据的极限让数据更完美。

现代人生活中越来越离不开大数据，进入大数据时代，信息和数据已成为人类社会最重要的资源之一。互联网信息和各种各样的软件信息影响着人们的生活。各行各业也争相建立大数据库，使用大数据实现白便捷与收益。大数据，是当今时代的发展趋势，是一个极大的机遇，同样也面临着巨大的挑战。

文件是数据处理和运行的核心，大多数用户的文件都在第三方运行平台中进行处理和存储，且大部分文件保护机制要依赖于操作系统本身的安全性。而过于庞大和复杂的系统难免出现安全漏洞，会让恶意代码有可乘之机，不及时发现并修复，数据很有可能会被损坏、丢失或者恶意篡改，造成极大的损失。

现在疯狂增长的数据量，里面有价值的信息是可观的，也是可以变现的。很多犯罪分子盯着这个机会，通过一些不法手段来获得一些数据库里面的数据，通过贩卖数据或者别的途径来获得利益。一些黑客也会因为种种原因而攻击数据库，只因取得数据的成本太低。

大数据时代来临，但是大部分人对于信息安全的意识不够，对相关数据的使用不当，造成敏感、隐私数据的泄露，尤其是具有一定关联性的多组数据同时泄漏，引发的连锁反应会让问题加重。

大数据时代时代下最大的考验是信息安全，信息安全技术也随之面临很大的考验，互联网信息安全的发展趋势非常可观，这将是大户居时代中最值得关注的问题，在未来的IT行业里，信息安全技术将会有着无可限量的发展前景。

闰业学院，专业从事IT管理咨询和IT运维、信息安全技术服务和人才培训等专项业务。为成为IT管理咨询及技术服务领域的专业品牌方向而努力。闰业学院设有信息安全保障认证等课程，助你成为出色的互联网信息安全人才，在IT行业一展抱负。

现代人生活中越来越离不开大数据，进入大数据时代，信息和数据已成为人类社会最重要的资源之一。无处不在的互联网信息，各种各样的软件数据，都影响着现代人的生活。各行各业也争相建立大数据库，使用大数据实现白便捷与收益。大数据，是当今时代的发展趋势，是一个极大的机遇，同样也面临着巨大的挑战。

文件是数据处理和运行的核心，大多数用户的文件都在第三方运行平台中进行处理和存储，且大部分文件保护机制要依赖于操作系统本身的安全性。而过于庞大和复杂的系统难免出现安全漏洞，会让恶意代码有可乘之机，不及时发现并修复，数据很有可能会被损坏、丢失或者恶意篡改，造成极大的损失。

如今数据量疯长，意味着高价值的数据也越来越多，数据，是有利可图的。有不少不法分子也蠢蠢欲动，通过一些不正当的手段来获取数据，达到自己的目的。不少黑客自然也不会放过这么一块“香饽饽”，只因获得数据成本低，收益高。

大数据时代下，数据信息可以说是泛滥的，大部分人对于信息安全的意识不够，对相关数据的使用不当，造成敏感、隐私数据的泄露，尤其是具有一定关联性的多组数据同时泄漏，引发的连锁反应会让问题加重。

大数据时代下信息安全面对极大的挑战，信息安全技术也面临很大的考验，互联网信息安全有着无限的发展趋势，将会是大数据时代下最值得关注的问题。在未来互联网行业里，信息安全技术将是重中之重。

广州市闰业职业培训学校，专业从事IT管理咨询和IT运维、信息安全技术服务和人才培训等专项业务。为成为IT管理咨询及技术服务领域的专业品牌方向而努力。闰业学院设有信息安全保障认证等课程，助你成为出色的互联网信息安全人才，在IT行业一展抱负。