国际数据公司定义了大数据的四大特征：海量的数据规模（vast）、快速的数据流转和动态的数据体系（velocity）、多样的数据类型（variety）和巨大的数据价值（value）。仅从海量的数据规模来看，全球IP流量达到1EB所需的时间，在2001年需要1年，在2013年仅需1天，到2016年则仅需半天。全球新产生的数据年增40%，全球信息总量每两年就可翻番。

而根据2012年互联网络数据中心发布的《数字宇宙2020》报告，2011年全球数据总量已达到1.87ZB（1ZB=10万亿亿字节），如果把这些数据刻成DVD，排起来的长度相当于从地球到月亮之间一个来回的距离，并且数据以每两年翻一番的速度飞快增长。预计到2020年，全球数据总量将达到35～40ZB，10年间将增长20倍以上。

需要强调的是：所谓大数据并不仅仅是指海量数据，而更多的是指这些数据都是非结构化的、残缺的、无法用传统的方法进行处理的数据。也正是因为应用了大数据技术，美国谷歌公司才能比政府的公共卫生部门早两周时间预告2009年甲型H1N1流感的暴发。

简而言之，“大数据”并不能生产出新的物质产品，也不能创造出新的市场需求，但能够让生产力大幅提升。正如，《大数据时代：生活、工作与思维的大变革》作者肯尼思·库克耶和维克托·迈尔-舍恩伯格指出：数据的方式出现了3个变化：第一，人们处理的数据从样本数据变成全部数据；第二，由于是全样本数据，人们不得不接受数据的混杂性，而放弃对精确性的追求；第三，人类通过对大数据的处理，放弃对因果关系的渴求，转而关注相互联系。这一切代表着人类告别总是试图了解世界运转方式背后深层原因的态度，而走向仅仅需要弄清现象之间的联系以及利用这些信息来解决问题。

影响

大数据

现在的社会是一个高速发展的社会，科技发达，信息流通，人们之间的交流越来越密切，生活也越来越方便，大数据就是这个高科技时代的产物。

随着云时代的来临，大数据（Big data）也吸引了越来越多的关注。大数据（Big data）通常用来形容一个公司创造的大量非结构化和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。

在现今的社会，大数据的应用越来越彰显他的优势，它占领的领域也越来越大，电子商务、O2O、物流配送等，各种利用大数据进行发展的领域正在协助企业不断地发展新业务，创新运营模式。有了大数据这个概念，对于消费者行为的判断，产品销售量的预测，精确的营销范围以及存货的补给已经得到全面的改善与优化。

“大数据”在互联网行业指的是这样一种现象：互联网公司在日常运营中生成、累积的用户网络行为数据。这些数据的规模是如此庞大，以至于不能用G或T来衡量。

大数据到底有多大？一组名为“互联网上一天”的数据告诉我们，一天之中，互联网产生的全部内容可以刻满1.68亿张DVD；发出的邮件有2940亿封之多（相当于美国两年的纸质信件数量）；发出的社区帖子达200万个（相当于《时代》杂志770年的文字量）；卖出的手机为37.8万台，高于全球每天出生的婴儿数量37.1万……

截止到2012年，数据量已经从TB（1024GB=1TB）级别跃升到PB（1024TB=1PB）、EB（1024PB=1EB）乃至ZB(1024EB=1ZB)级别。国际数据公司（IDC）的研究结果表明，2008年全球产生的数据量为0.49ZB，2009年的数据量为0.8ZB，2010年增长为1.2ZB，2011年的数量更是高达1.82ZB，相当于全球每人产生200GB以上的数据。而到2012年为止，人类生产的所有印刷材料的数据量是200PB，全人类历史上说过的所有话的数据量大约是5EB。IBM的研究称，整个人类文明所获得的全部数据中，有90%是过去两年内产生的。而到了2020年，全世界所产生的数据规模将达到今天的44倍。每一天，全世界会上传超过5亿张图片，每分钟就有20小时时长的视频被分享。然而，即使是人们每天创造的全部信息——包括语音通话、电子邮件和信息在内的各种通信，以及上传的全部图片、视频与音乐，其信息量也无法匹及每一天所创造出的关于人们自身的数字信息量。

大数据的精髓

大数据带给我们的三个颠覆性观念转变：是全部数据，而不是随机采样；是大体方向，而不是精确制导；是相关关系，而不是因果关系。[6]

A.不是随机样本，而是全体数据：在大数据时代，我们可以分析更多的数据，有时候甚至可以处理和某个特别现象相关的所有数据，而不再依赖于随机采样(随机采样，以前我们通常把这看成是理所应当的限制，但高性能的数字技术让我们意识到，这其实是一种人为限制);

B.不是精确性，而是混杂性：研究数据如此之多，以至于我们不再热衷于追求精确度;之前需要分析的数据很少，所以我们必须尽可能精确地量化我们的记录，随着规模的扩大，对精确度的痴迷将减弱;拥有了大数据，我们不再需要对一个现象刨根问底，只要掌握了大体的发展方向即可，适当忽略微观层面上的精确度，会让我们在宏观层面拥有更好的洞察力;

C.不是因果关系，而是相关关系：我们不再热衷于找因果关系，寻找因果关系是人类长久以来的习惯，在大数据时代，我们无须再紧盯事物之间的因果关系，而应该寻找事物之间的相关关系;相关关系也许不能准确地告诉我们某件事情为何会发生，但是它会提醒我们这件事情正在发生。

特征

数据量大（Volume）

第一个特征是数据量大。大数据的起始计量单位至少是P（1000个T）、E（100万个T）或Z（10亿个T）。

类型繁多（Variety）

第二个特征是数据类型繁多。包括网络日志、音频、视频、图片、地理位置信息等等，多类型的数据对数据的处理能力提出了更高的要求。

价值密度低（Value）

第三个特征是数据价值密度相对较低。如随着物联网的广泛应用，信息感知无处不在，信息海量，但价值密度较低，如何通过强大的机器算法更迅速地完成数据的价值“提纯”，是大数据时代亟待解决的难题。

速度快、时效高（Velocity）

第四个特征是处理速度快，时效性要求高。这是大数据区分于传统数据挖掘最显著的特征。

既有的技术架构和路线，已经无法高效处理如此海量的数据，而对于相关组织来说，如果投入巨大采集的信息无法通过及时处理反馈有效信息，那将是得不偿失的。可以说，大数据时代对人类的数据驾驭能力提出了新的挑战，也为人们获得更为深刻、全面的洞察能力提供了前所未有的空间与潜力。

产业崛起

越来越多的政府、企业等机构开始意识到数据正在成为组织最重要的资产，数据分析能力正在成为组织的核心竞争力。具体有以下三大案例：

1、2012年3月22日，奥巴马政府宣布投资2亿美元拉动大数据相关产业发展，将“大数据战略”上升为国家意志。奥巴马政府将数据定义为“未来的新石油”，并表示一个国家拥有数据的规模、活性及解释运用的能力将成为综合国力的重要组成部分，未来，对数据的占有和控制甚至将成为陆权、海权、空权之外的另一种国家核心资产。

2、联合国也在2012年发布了大数据政务白皮书，指出大数据对于联合国和各国政府来说是一个历史性的机遇，人们如今可以使用极为丰富的数据资源，来对社会经济进行前所未有的实时分析，帮助政府更好地响应社会和经济运行。

3、而最为积极的还是众多的IT企业。麦肯锡在一份名为《大数据，是下一轮创新、竞争和生产力的前沿》的专题研究报告中提出，“对于企业来说，海量数据的运用将成为未来竞争和增长的基础”，该报告在业界引起广泛反响。

IBM则提出，上一个十年，他们抛弃了PC，成功转向了软件和服务，而这次将远离服务与咨询，更多地专注于因大数据分析软件而带来的全新业务增长点。IBM执行总裁罗睿兰认为，“数据将成为一切行业当中决定胜负的根本因素，最终数据将成为人类至关重要的自然资源。”

在国内，百度已经致力于开发自己的大数据处理和存储系统；腾讯也提出2013年已经到了数据化运营的黄金时期，如何整合这些数据成为未来的关键任务。

事实上，自2009年以来，有关“大数据” 主题的并购案层出不穷，且并购数量和规模呈逐步上升的态势。其中，Oracle对Sun、惠普对Autonomy两大并购案总金额高达176亿美元，大数据的产业价值由此可见一斑。

提供依据

大数据是信息通信技术发展积累至今，按照自身技术发展逻辑，从提高生产效率向更高级智能阶段的自然生长。无处不在的信息感知和采集终端为我们采集了海量的数据，而以云计算为代表的计算技术的不断进步，为我们提供了强大的计算能力，这就围绕个人以及组织的行为构建起了一个与物质世界相平行的数字世界。

大数据虽然孕育于信息通信技术的日渐普遍和成熟，但它对社会经济生活产生的影响绝不限于技术层面，更本质上，它是为我们看待世界提供了一种全新的方法，即决策行为将日益基于数据分析做出，而不是像过去更多凭借经验和直觉做出。

事实上，大数据的影响并不仅仅限于信息通信产业，而是正在“吞噬”和重构很多传统行业，广泛运用数据分析手段管理和优化运营的公司其实质都是一个数据公司。麦当劳、肯德基以及苹果公司等旗舰专卖店的位置都是建立在数据分析基础之上的精准选址。而在零售业中，数据分析的技术与手段更是得到广泛的应用，传统企业如沃尔玛通过数据挖掘重塑并优化供应链，新崛起的电商如卓越亚马逊、淘宝等则通过对海量数据的掌握和分析，为用户提供更加专业化和个性化的服务。

最让人吃惊的例子是，社交媒体监测平台DataSift监测了Facebook（脸谱） IPO当天Twitter上的情感倾向与Facebook股价波动的关联。在Facebook开盘前Twitter上的情感逐渐转向负面，25分钟之后Facebook的股价便开始下跌。而当Twitter上的情感转向正面时，Facebook股价在8分钟之后也开始了回弹。最终当股市接近收盘、Twitter上的情感转向负面时，10分钟后Facebook的股价又开始下跌。最终的结论是：Twitter上每一次情感倾向的转向都会影响Facebook股价的波动。

这仅仅只是基于社交网络产生的大数据“预见未来”的众多案例之一，此外还有谷歌通过网民搜索行为预测流感爆发等例子。不仅在商业方面，大数据在社会建设方面的作为同样令人惊叹，智能电网、智慧交通、智慧医疗、智慧环保、智慧城市等的蓬勃兴起，都与大数据技术与应用的发展息息相关。

“大数据”可能带来的巨大价值正渐渐被人们认可，它通过技术的创新与发展，以及数据的全面感知、收集、分析、共享，为人们提供了一种全新的看待世界的方法。更多地基于事实与数据做出决策，这样的思维方式，可以预见，将推动一些习惯于靠“差不多”运行的社会发生巨大变革。

如何应对大数据带来的挑战

第一，大数据将成为各类机构和组织，乃至国家层面重要的战略资源。

在未来一段时间内，大数据将成为提升机构和公司竞争力的有力武器。从某一层面来讲，企业与企业的竞争已经演变为数据的竞争，工业时代引以自豪的厂房与流水线，变成信息时代的服务器。阿里巴巴集团的服务器多达上万台，而谷歌的服务器超过了50万台。重视数据资源的搜集、挖掘、分享与利用，成为当务之急。

第二，大数据的公开与分享成为大势所趋，政府部门必须身先士卒。

2013年6月在英国北爱尔兰召开G8会议，签署了《开放数据宪章》，要求各国政府对数据分类，并且公开14类核心数据，包括：公司、犯罪与司法、地球观测、教育、能源与环境、财政与合同、地理空间、全球发展、治理问责与民主、保健、科学与研究、统计、社会流动性与福利和交通运输与基础设施。同年7月，我国国务院就要求推进9个重点领域信息公开工作。正如李克强总理所强调的，社会信用体系建设包括政务诚信、商务诚信、社会诚信的建设，而政务诚信是“三大诚信”体系建设的核心，政府言而有信，才能为企业经营作出良好示范。作为市场监督和管理者，政府应首当其冲推进政务公开，建设诚信政府。为此，国务院通过《社会信用体系建设规划纲要（2014～2020年）》，要求依法公开在行政管理中掌握的信用信息，提高决策透明度，以政务诚信示范引领全社会诚信建设。

第三，机构组织的变革与全球治理成为必然的选择。

在工业时代，以高度的专业分工形成的韦伯式官僚制组织形态，确实具有较高的效率。然而，这种专业化分工一旦走向极致，就容易出现分工过细、庞大臃肿、条块分割等弊端，无法有效应对新的挑战。大数据技术提供了一种解困之道：在管理的流程中，管理对象和事务产生的数据流只遵循数据本身性质和管理的要求，而不考虑专业分工上的区隔，顺应了全球治理的需要。

1990年，时任国际发展委员会主席勃兰特，首次提出“全球治理”的概念。所谓全球治理，指的是通过具有约束力的国际规制（regimes）和有效的国际合作，解决全球性的政治�...

浅谈大数据对统计学的挑战和机遇

引言　　国际数据公司的相关研究指出，2011年全球数据生产量达1.8ZB，且全球信息总量每隔两年增长一倍[1]。在大数据时代下，对于统计学发展而言，挑战与机遇并存，挑战指的是现阶段传统统计学相关方法难以适用大数据，机遇指的是基于统计学，大数据展开数据处理、分析，促使大数据具备可视化特性。由此可见，研究大数据对统计学的挑战和机遇有着十分重要的现实意义。　　1.大数据及其目的　　现阶段，关于大数据仍旧没有一个十分明确的界定，大数据起初是源自于技术领域。在信息量不断扩大的情况下，使得常规电脑原有存储空间已不能对新处理数据进行承载，新兴数据处理技术得以产生，好比雅虎的Hadoop平台、谷歌的MapReduce等。此类技术能够对僵化层次结构、一致性予以消除，促进数据无需通过常规数据库表格进行排列，极大程度地提升了人们可处理的数据量[1]。　

　2.大数据与统计学的对比　　2.1样本统计与全样本统计的区别　　样本统计属于统计学不可或缺的依赖，样本指的是结合相应的概率自总体中随机筛选并视作总体代表的集合内容，值得一提的是随机抽样是需要成本的，包括社会关系、资金成本或者时间成本等。基于样本数量提升有限前提下，样本估计误差会随着总体数量增多而增大，这亦是样本统计无法避免的不足。大数据时代下，收集整理庞大的数据信息应运而生，数据信息发展表现出总体即是样本的态势，该属性很好的消除了样本统计这一不足。大数据时代下的全样本统计，通常情况下可对完全总体进行覆盖，然而受大部分数据属于半结构、半结构数据影响，使得概率论应用遭受一定的制约[2]。鉴于此，将全样本统计应用到统计学中，应当就总体数据展开相应的归纳、筛选，即好比在样本统计中展开数据预处理。　　2.2预测分析与非预测分析的区别　　统计学的创立，是为了对变量相互相关关系展开分析，因此获取数据是发生于变量确定之后的，数据分析价值是能够被预测的。相较于统计学的预测分析，庞大数据将互联网、传感器作为载体，存在于分析需求之前，因此构建于大数据上的分析多为非预测性分析。在统计学中，出现大数据无法有效应用局面，这是由于不具备非预测分析所需的庞大数据，庞大数据产生与数据中心、存储系统存在紧密的联系，并非短期产生。也就是说，统计学中大数据的应用发展，说明了非预测分析正逐步取代传统统计学预测分析，数据多次利用正逐步取代传统数据一次性利用的。　　3.大数据对统计学的挑战与机遇　　3.1数据生产、处理与应用的转变　

　相关统计部门经开展严格的统计设计工作，获得相关的统计数据，数据的预处理分别有数据清洗、非全面数据填补以及数据矫正等。大数据时代下的统计手段尚不十分明确，自大数据流环境而言，要不断探索新型抽样方法，并确保抽样方法的实时、连贯及可行性。除去传统的统计分析方法，还应当开发大数据动态分析、数据流算法等[3]。　　3.2大数据时代对市场营销的机遇　　3.2.1大数据营销的特点与价值　　大数据营销的特点：I.数据采集多平台化特点，即大数据时代下，大数据的数据大多来源于不同的领域、不同的渠道。II.时效性特点，随着信息技术的急速发展，互联网用户消费、购物行为方式往往会瞬间出现转变。国际先进大数据营销企业AdTime基于此大数据营销特点，采取了时间营销措施，即采取相应的技术方式全面获悉用户所需，于第一时间对用户当下的需求进行回应，以使用户在下决心购买的最佳时间及时看到对应的产品广告。III.个性化特点，在大数据时代下，广告商传统媒体导向的营销理念逐步由受众导向取代，现如今，广告商可应用大数据了解用户的地理方位，需求内容等信息，达到对用户个性化营销的目的。　　大数据营销的价值：I.升级营销与用户的匹配度，大数据营销不仅可提供给企业了解用户有效的途径，还能够与网络环境下，选取相关技术方法达到对用户精确定位的目的，从而开展好营销工作，升级营销与用户的匹配度。II.改善用户体验，大数据营销促使企业真正意义上认识到用户及其所使用企业产品情况，以给予用户最人性化的提醒。　　3.2.2大数据营销的应用　　（1）与消费者建立紧密关系　　现如今，我国一些企业营销行为仍旧处于个性化定位信息、创意设计阶段，而无法对不同消费者展开个性化的营销活动。大数据时代下，经采用相关数据分析技术方法，基于对消费群体喜好、传媒接触习惯等展开有效的分析，达到特定营销活动明确开展的目的，实现企业精心开展的营销活动精准的辐射至目标消费群体处，与消费者建立紧密关系，极大的改善营销效率、质量[4]。　　（2）掌握竞争对手数据　　企业通过对竞争对手数据的有效掌握，获悉竞争对手发展状况，基于此帮助企业制定科学合理的产品价格，提升企业产品市场竞争优势。与此同时，企业务必要全面实施以事实为前提的决策手段，广泛地应用数据分析方式对企业每一个发展运营步骤进行优化，经对企业一系列数据的充分优化、对接，促使业务环节中潜在的价值得以被有效挖掘，降低生产成本，知己知彼，促使企业在日趋白热化的市场竞争中占据有利位置。　　（3）挖掘企业内部数据　　“市场未动，数据先行”俨然转变为国际上企业有效运营发展的一致认识，为了提升企业管理效率，要求企业要充分挖掘企业内部数据，并展开有效的整合、分析，以为企业相关人员做决策提供有利的参考依据，提升决策准确性，促进企业可持续发展。

3.2.4 企业的应用案例——以亚马逊为例　　在应用大数据开展市场营销方面，美国亚马逊公司一直处于领先地位。亚马逊研发出“用户未下单，先发货”功能，即结合用户的购物需求数据信息，分析用户想要购买的产品，达到用户未下单，提前发货的目的。此外，亚马逊通过对用户检索信息的分析，评估流感的传播，但这仅仅为海量检索数据中的一项用途，相同的数据能够应用于预测大选结果、预测某类产品市场行情等等，极大地降低了统计成本[5]。　　3.3大数据时代对市场营销的挑战　　3.3.1信息收集　　大数据并非就是对数据信息展开盲目的收集，即便收集了再多的数据，倘若这些数据并非是市场营销所需要的，如此便会导致前期收集来的数据信息，变成一堆“数据垃圾”。鉴于此，为了避免这一情况发生，务必要充分分析业务需求，再对自身存在价值的数据展开收集、归纳，如此方可实现大数据的有效收集应用。　　3.3.2经验与数据　　数据采集完毕后，面对参差不齐的数据，还应当做好数据评估工作，评估对何种目标受众开展市场营销工作。鉴于此，要求采取科学合理的手段，将这些参差不齐的数据整合成可被市场营销实践应用的，经结合过去的经验，与采集数据进行有机融合，实现对目标受众的有效分析确定。　　3.3.3分析与优化　　数据分析，一方面是实现数据优化，一方面是进行决策层面上的调整、转变。此环节对于专业人才的需求提出了严苛的挑战。数据分析、数据优化对于专业人才的知识框架要求大不相同，这要求相关企业不仅要培养专业的数据分析人才，还要打造数据优化人才队伍。　

　3.4大数据营销的未来发展趋势　　信息技术不断发展，单一媒体导向的“消费者碎片化”俨然无法达到企业对于数据多样性的需求。大数据时代下，媒体的跨界融合实现对“碎片化”受众的充分聚合。在科学技术技术不断进步的背景下，跨媒介、跨平台、跨终端的多途径将不断被开拓，将使庞大的数据信息获取多维度的整合，并且在多样化网络环境下，消费者主观信息与客观数据有机融合，构筑全面用户数据库环节，将成为未来大数据营销发展的必然趋势[6]。　　4.结束语　　总而言之，大数据为传统统计学带来了严峻的考验，也为传统统计学有效发展创造了良好的契机。在大数据时代发展潮流中，我们应当充分的认识到大数据对于传统统计学而言，是补充而不是更替，构建于样本统计、预测分析内容上的传统统计学，仍旧于社会统计、经济分析中占据着主导位置。大数据时代下，为了实现企业市场营销的有效开展，相关人员务必要不断专研研究、总结经验，全面分析大数据与统计学的对比，充分认识大数据对统计学的挑战和机遇，“与消费者建立紧密关系”、“掌握竞争对手数据”、“挖掘企业内部数据”等，积极促进企业市场营销的科学合理化。

纵观当下的科技领域，用风起云涌、如火如荼不足为过。新技术的日益出现和普及，使得我们的工作、生活有了翻天覆地的变化。在过去几年中，大数据是谈及最多的话题，而如今，人工智能、物联网、机器学习等热门技术逐渐充斥各种大中小型活动中，产生的数据更是呈现出暴增趋势。

无可否认，新技术与云计算的融合将以人们无法想象的方式影响着商业和工业运营。但有一件事是显而易见的，就是会有更多的数据产生，尤其是非结构化数据。根据IDC研究显示，非结构化数据（29.8％）的增长速度超过了结构化数据（19.6％）。因此，企业需要高性能的存储解决方案来应对强劲的存储需求。

强劲的市场需求也催生了存储供应商的转变。细数近两年的市场，非结构化数据持续增长，有关存储技术最新进展的报道一直甚嚣尘上，其中包括非易失性存储器。随着新型接口和更现代化软件的不断普及，各大供应商也在积极创新，力图减少因过去20年内CPU发展所导致的数据中心IT基础架构不平衡。

据悉，这些全新的接口可以实现应用程度的低延迟和高性能数据存取，尤其是对于SQL/NoSQL数据、高性能计算工作负载和大数据应用。而对于大型的非结构化数据使用闪存技术意味着需要更高的性能。而不会出现横向扩展解决方案带来的延迟。另外，闪存的密集存储意味着比磁盘或磁带小得多的空间，这反过来又转化为电力、机架和冷却方面的节省。虽然闪存的成本仍然高于磁盘，但各个供应商们也在努力将价格变得更低。

不过，将非易性存储器用于非结构化文件数据目前仍然存在重大挑战，因此，需要一种能力与高性能闪存存储配合使用的现代二级存储解决方案。

挑战一：文件服务和数据管理

闪存供应商还没有建立企业需要管理其数据的文件服务。包括数据管理服务，如数据保护和备份，数据移动及数据检索等。

这意味着高性能闪存存储需要一个互补的辅助存储解决方案，企业需要管理大量数据的文件服务，可以让企业能够轻松地保护和备份数PB的数据，并且将数据从其所在的位置移动到所需位置，快速搜索并加以利用。

挑战二：传统解决方案无法跟上闪存

使用闪存进行非结构化文件数据存储需要兼容的辅助存储解决方案，但遗憾的是，传统备份和归档解决方案无法跟上闪存存储的速度。

一个补充高性能存储的现代存储解决方案需要能够处理并行数据流以尽可能快地读取数据。

挑战三：更高的价格点

尽管目前供应商们正在努力将闪存价格变得更便宜，但高性能的价格却在陡增。有了大量的数据，很难证明高性能闪存的成本。

但企业通常只需要将其数据的一部分存储在高性能主存储器中。从经济上来讲，对于经常访问的数据进行分层是非常便捷的，而针对长期保留的数据容量则是以低成本层次进行优化的，而不是为高性能而优化。

当将闪存的性能优势纳入更大策略的优化环境中时，高性能加上巨大的容量在整个数据管理系统中既经济可行又有价值。

小结

在非结构化数据爆炸的时代，高性能和大容量是目前所需的两个元素。随着各大供应商在存储方案上的不断推进，市场也逐渐出现使用现代化容量来补充高性能闪存，使企业能够在在真正需要的地方利用高性能存储能力，同时为其提供必要的文件服务，以更有效的管理所有数据。

　事实上，在切入一个社会问题时，你可能会犹豫上不上数字，但这些数字往往不是结构化的，很难被调用。结构化的大数据相对缺乏有四个主要的原因：数据淹没在行政系统、数据管理标准缺乏、数据往往不可靠以及数据可能导致意想不到的后果。

　　比如说，全球每年被贩卖的人口估计高达3000万人次，这是个约320亿美元的“产业”。要打击人口贩子，大数据当然可以帮忙。但问题是人口贩子用的手机、社交媒体、在线广告和其他网络平台产生的数据，并没有被系统地收集，更遑论共享给相关的组织。当然原始数据本身的收集就很难，并且各个组织之间的数据共享做得也不到位。

更糟的是，打击人口贩卖的各家机构经常互相争夺的稀缺资源：无论资金、捐赠还是来自媒体和社会的认同。因为这种竞争，各机构之间的数据共享几乎不可能。例2007年，美国卫生和公众服务部选定Polaris作为全国首个国家贩卖人口资源热线。多年来，Polaris记录了7.5万多个呼叫；然而，获得这些数据受到限制，其可靠性和来源鲜为人知。

来源：数据猿 作者：张俊潇

导语：6月29日，由数据猿主办的金融大数据峰会在上海盛大召开，现场汇集了众多来自大数据领域内执牛耳的重量级嘉宾。大数据被誉为第四次工业革命的能源，整个产业正处于高速起飞的阶段，机会和挑战总是结伴而行。大数据也是一座待挖掘的金矿，给人们带来无限美好遐想的同时，一些潜在的挑战也在渐渐浮出水面。

这个趋势在金融大数据领域尤为明显。

垄断壁垒渐强，数据共享已成空话？

得益于金融行业较为完整的数据积累与人才储备，大数据在金融领域的应用可以说是最早开花结果，包括精准营销、客户全周期管理、战略决策、风险控制等环节均能看到大数据的落地身影。

但就像引言所说，很多挑战也在不断滋生，这些挑战至少来自三个维度。

首先是认知层面。大数据对金融行业来说意味着什么？仅仅是一个优化工具还是对金融体系的一次基因改造，或者还是代替银行一些职能成为独立的产品？答案众说纷纭，始终没有得到统一。

其次是数据获取带来的挑战。

目前企业面临一个普遍的困境就是挖掘与收集数据的能力有限，需要满世界找数据。

不解决这个问题就会直接导致底层数据的流通不畅，底层数据从大的方面来说由内部和外部两个方面组成。内部是指总行跟各分行之间，甚至是各银行之间数据的共享；外部是指金融业和行业外部数据的打通，比如说电商平台、医保和社保等交易场景下用户产生的数据。

但是这些数据本身都被高度垄断，并且一些还涉及到用户隐私问题，甚至一些企业一旦将自己的数据开放将会遭受难以估量的巨大损失。

举个极端例子， 假如阿里的数据向京东开放会发生什么？我想第一时间京东会去获取阿里中大量女性用户的数据，一举填平服装和美妆产业在两者之间的鸿沟。

即使情况没有这么极端，阿里仅仅开放了一些简单的数据，也会给京东很多发挥的空间。比如说用户在阿里买了一件商品，这个数据被京东获知，京东就可以马上上架或者是推荐相关联的产品，用户买了一个笔记本可能还需要一个鼠标，就因为数据的开放，很大概率京东就抢走了本属于阿里的订单。

所以说数据作为企业的核心资产是绝对不会轻易开放的。

如何有效打通数据间的壁垒，是从业人员必须要跨过的一道门槛。

大数据带来的“人机矛盾”开始隐现

第三个挑战来自应用层面。应用层面的挑战更具复杂多样性，有一个矛盾越来越突出，可以预见的未来将会是困扰行业的主要焦点所在。

我称之为“人机矛盾”。

“人机矛盾”在电影里经常被演绎。机器人突然有了意识，便大肆屠杀人类，大数据概念下的“人机矛盾”没有这么暴力血腥，但也足够折磨人了。

具体体现在哪里呢？我们知道，基于大数据的缜密算法构建、机器学习和关联性预算等手段，可以直接显示最后的分析结论，而没必要具体展现其中的过程。也就是说，通常大数据的分析结果只负责告诉人们“what”，而不负责解释“why”。

但是当人们利用大数据的结论时就很容易陷入纠结，比如在商业银行做一个客户流失的风险预测，通过大数据发现这名客户未来有可能产生违约行为，因此建议不要放这笔贷款。

但这样业务人员会疯的，凭什么拿一份机器得出的结论好端端地去打搅客户。平白无故地对客户说：你好，我们预测你要流失，所以我要给你提供一些其他的服务来挽回。先不说提供的其他服务所产生的成本，单说这一行为会不会引起客户的反感，反而起到反作用也不是没有可能。业务人员要如何取舍？非常难办。

光是这个矛盾就够了吗？远远不止，假如面对的是银行个人用户业务，面对的可就是数以千万计的客户。通过大数据预测，假如预计5%的人会流失，这是非常庞大的一个数字。前端服务或销售人员或许一下就迷茫了，这么多人从哪里做起呢？投入有限的资源去做真的会挽回用户吗？

业务人员一定会问很多个为什么，一直问到机器是如何得出这个分析结论的。就如同AlphaGo大战柯杰，柯杰作为人类棋手翘楚，每秒可以搜索10个走子可能。但AlphaGo每秒却可以搜索10万个走子可能，你问AlphaGo为什么这步棋做出这样的选择，是因为它已经做了10万次的运算。

如果机器一步步将运算过程中的因果关系向人讲清楚，可能要用上100年的时间。

但即使业务员对数据无条件相信，也还是不够。因为他面对的客户是真实的人，人不是数据组成的，他如何做决定，要受到很多因素影响，甚至有时候会有不理性地选择。所以人与机器如何相处，未来还需要更多的时间和智慧来思考。

以上所列举的一些挑战主要还是集中在场景应用层面，通过技术的改进和认识的进步，一些问题都会在时间推进过程中得到化解。但真正的挑战其实来自大数据对产业革命的影响，如果没有前瞻的认知很可能会让企业失去下一个世代。

大数据时代呼唤大数据思维，未来马太效应可能超乎人们想象

大数据时代正在呼唤崭新的思维，也就是大数据思维。那么要怎么理解大数据思维呢？要想得到完善的理论体系，很可能还需要行业进一步的发展，但目前我们可以简单提炼一些关键词。

第一个：“不控制”的艺术

人类历史从奴隶社会进入农耕社会再进入到工业社会，最显著的一个变化就是出现了公司这一全新的组织形态。

在工业化到信息化进化的各个阶段中，又依次诞生了类似福特、波音、谷歌、阿里等巨头，它们将公司的力量和形态发挥到了极致。这个极致的典型特征就是公司本身不仅将自己的主业推向了几乎不可逆转的垄断地位，而且进一步做到了跨地域的分工、同行业上下游的整合和跨行业的整合。

很多整合都是通过产业并购和控股实现的，导致企业规模越来越臃肿。到了大数据时代这种玩法可能就不适用了，因为按照原来的模式，股权的转移一定是通过控制和被控制的状态来实现的。大数据时代数据越来越成为核心资产，可以不通过收购企业，就跨界掌握一家公司，就像滴滴不需要购买任何一辆汽车就可以掌控庞大的专车队伍。

第二个关键词：万物皆有灵魂。

之所以可以把大数据上升到一个时代的高度，是因为它第一次颠覆了人们认识事物的第一路径。以往人是绝对的主宰，我读书就是我读书，我购物就是我购物，我看病就是我看病。

而大数据时代，当然是设想的后大数据时代。你读书（电子书）的同时，书也在读你。因为你读书时候，在第几页停留久了，哪几页很快就翻过去了，书都会有准确的数据搜集，这些数据就会反馈给出版社或者作者手中，判断你的喜好和口味，以便下次准确推送合适的书给你。

当然，这样的事不仅仅局限图书，就像题目所说，万物都会有“灵魂”，物品创造出来不仅仅是满足人的需求，更重要的使命是读懂人的内心，这是一个很伟大的进步。

第三个关键词：生态运营。

我们看看巨头们现在都在忙些什么？不管是苹果、阿里还是小米，甚至连传统制造业例如海尔、丰田等，都在向另一个形态进化，就是EOP--生态运营。

这个形态的主要特征是什么呢？简而言之，就是利用一个超大核心企业牵头把初始流量导入进来，用多种联营的方式一块运作这个平台。这个平台就像森林一样，各种生物均在里面自由生长，形成稳定的生态圈。这个平台已经不是控制和被控制的关系，而是共生共荣。

实现这个功能的工具就是大数据，利用大数据作为底层生产资料将大家串联起来。我们知道互联网时代也有生态圈的概念，大数据时代的生态圈有什么不同呢？

大数据可以彻底解决共享和透明的问题。阿里是典型的互联网生态圈，在订单时代（未来可能会步入大数据时代）他没有解决信息不透明的问题，不管是上游的制造者还是下游的消费者，阿里仅能凭借数字做概率性的推演和预判。

而大数据时代，阿里处理的不仅仅是订单，而是要挖掘静态和动态的数据，而后分析供需两端的详情，最终做到精准营销、精准生产、精准物流和精准消费。

这个完美状态也就是马云所说的“计划经济”。

假如这个预测成为现实，那么未来大数据生态圈，要同时满足三个条件：生产端、流通端和交易端。阿里和京东，他们仅做到了流通端，就做到了如此大的规模，大数据时代也许这个边界将会扩大，那将是个万亿级的规模。

当然，这样的结果也会导致严重的“马太效应”。这也是我最后要提的，大数据未来和人工智能的结合，给社会带来的挑战也许要更严峻。比如会带来巨大的贫富分化，包括以后我还会专门来讲一个话题—无用阶级。当我们为新技术进步兴奋的同时，还是要认真思考背后的阴影，因为大数据带来的这次工业革命可能跟之前不太一样。（张俊潇）

一、大数据对管理学人性假设的挑战

管理学诞生以来，就以人为对象，以人性假设为前提，不断演化出各种各样的理论。大数据让管理科学真正进入到了可量化的科学发展阶段。我们过去经常讲，自然科学在牛顿之后发生的最重要的变化，就是它可以用数学公式来描述一个复杂的物理或自然现象，这意味着我们真正进入了可计算的现代社会。

通常，我们认为社会科学在某种意义上有很大的艺术成分，就是因为它可被精确计算的程度不够高。今天，通过大数据的方式对人进行定量化描述，这必然会引发管理科学的飞跃。

二、来自数字化虚拟世界的管理

由于量子力学的研究，让人类进入了电子时代；计算机的发明，让人类又进入了数据时代。电子时代，我们进行了模拟信号的处理，把声音和图像用电子的方式记录下来。计算机的发明，需要把模拟信号转化成数字信号，虚拟世界就变成了数字化虚拟世界。这是非常有意义的变化，因为数字化虚拟世界更便于计算。

大数据时代要求计算能力越来越快，存储能力越来越强。今天任何一部智能手机都比当年的奔腾电脑速度快上千倍。我们现在使用的神经网络计算方式，也更具有自学习的能力。

在这样一个自学习、数字化虚拟世界里，传统管理理论被画上问号，管理实践者该如何去做管理？

三、大数据对营销学的挑战

营销学是管理学的一个重要分支，它涉及社会心理学、预测学、广告学，经典营销学包括四个基本策略的组合，即产品、价格、渠道、促销的“4P理论”，这是管理学的一个很大成就。

例如小米手机，它通过互联网征求客户意见——从外观、性能到价格等方面，客户需要什么样的手机?希望用什么样渠道将手机传递给他？在这样的环境下，4P理论是否需要进行修正？

再举一个例子，医药领域现在有精准医疗、靶向治疗。每个人感冒的时候，感染的细菌或病毒都不完全一样。过去使用广谱抗生素，抗菌谱比较宽。现在出现的靶向药，通过培养患者感染的细菌或病毒，反向制造出一种新的抗生素，非常精准地进行针对性的治疗。

四、工业对企业管理模式的挑战

生产设备的智能化、车间的自动化、企业管理的网络化、生产要素的社会化、生产要素的社会化被统称为工业4.0，工业4.0的出现，是信息技术发展造成的？工业4.0的出现，是信息技术发展造成的？其实不是，这是工业在自身发展中探寻的出路。目前，全球大飞机基本上都在用罗罗（英国著名的航空发动机公司罗尔斯·罗伊斯）的发动机。飞机发动机是一个高科技技术，要有好的安全性，省油，长时间运行不用大修，这样大家用起来才放心

生产要素社会化之后，生产的组织与管理必然是网络化的方式，一定要通过计算机，互联网的方式来进行传输。加工设备高度智能化，这是未来制造业的发展方向，我们的管理模式该如何随之变化？

五、大数据时代要树立心的安全观

在安全领域里，视频监控产业发展得非常快，市值已经超过2000亿元，未来还有发展空间。过去有谁能想到，北大现在满院都是摄像头呢。

质量也是一种安全的保障：比如蔬菜里有多少农药化肥，空气中的雾霾怎样解决？健康，也可以看作是人的质量问题。整个社会管理将会进入一个新的课题，这些都是大数据时代所带来的变化。

在互联网时代，创新使得财富积累的速度前所未有的快速，贫富也会前所未有地加大分化。这个时代，越聪明越容易成功。世界的竞争变成人与人的竞争，人与人的竞争就是智慧的竞争，就是人的创新能力的竞争。如何提高人的竞争力，是管理科学面临的新课题。

信息化，数字化，数据化带给企业的价值会有所不同，信息化代表决策起步，数字化代表计算机，而只有数据化才代表着信息价值可能最大化的利用。

从信息到数字，再到数据，每一次都是一个挑战，也是一个机遇。

对外部的数据收集以及智能反映，会让企业的系统及时的调整。从而达到无限化组织效果。这就是大数据的潜力。

数据挖掘的价值在于企业的战略和数据处理的思维。每次的验证与调整都是为了挑战数据的极限让数据更完美。

现代人生活中越来越离不开大数据，进入大数据时代，信息和数据已成为人类社会最重要的资源之一。无处不在的互联网信息，各种各样的软件数据，都影响着现代人的生活。各行各业也争相建立大数据库，使用大数据实现白便捷与收益。大数据，是当今时代的发展趋势，是一个极大的机遇，同样也面临着巨大的挑战。

文件是数据处理和运行的核心，大多数用户的文件都在第三方运行平台中进行处理和存储，且大部分文件保护机制要依赖于操作系统本身的安全性。而过于庞大和复杂的系统难免出现安全漏洞，会让恶意代码有可乘之机，不及时发现并修复，数据很有可能会被损坏、丢失或者恶意篡改，造成极大的损失。

如今数据量疯长，意味着高价值的数据也越来越多，数据，是有利可图的。有不少不法分子也蠢蠢欲动，通过一些不正当的手段来获取数据，达到自己的目的。不少黑客自然也不会放过这么一块“香饽饽”，只因获得数据成本低，收益高。

大数据时代下，数据信息可以说是泛滥的，大部分人对于信息安全的意识不够，对相关数据的使用不当，造成敏感、隐私数据的泄露，尤其是具有一定关联性的多组数据同时泄漏，引发的连锁反应会让问题加重。

大数据时代下信息安全面对极大的挑战，信息安全技术也面临很大的考验，互联网信息安全有着无限的发展趋势，将会是大数据时代下最值得关注的问题。在未来互联网行业里，信息安全技术将是重中之重。

广州市闰业职业培训学校，专业从事IT管理咨询和IT运维、信息安全技术服务和人才培训等专项业务。为成为IT管理咨询及技术服务领域的专业品牌方向而努力。闰业学院设有信息安全保障认证等课程，助你成为出色的互联网信息安全人才，在IT行业一展抱负。

现代人生活中越来越离不开大数据，进入大数据时代，信息和数据已成为人类社会最重要的资源之一。互联网信息和各种各样的软件信息影响着人们的生活。各行各业也争相建立大数据库，使用大数据实现白便捷与收益。大数据，是当今时代的发展趋势，是一个极大的机遇，同样也面临着巨大的挑战。

文件是数据处理和运行的核心，大多数用户的文件都在第三方运行平台中进行处理和存储，且大部分文件保护机制要依赖于操作系统本身的安全性。而过于庞大和复杂的系统难免出现安全漏洞，会让恶意代码有可乘之机，不及时发现并修复，数据很有可能会被损坏、丢失或者恶意篡改，造成极大的损失。

现在疯狂增长的数据量，里面有价值的信息是可观的，也是可以变现的。很多犯罪分子盯着这个机会，通过一些不法手段来获得一些数据库里面的数据，通过贩卖数据或者别的途径来获得利益。一些黑客也会因为种种原因而攻击数据库，只因取得数据的成本太低。

大数据时代来临，但是大部分人对于信息安全的意识不够，对相关数据的使用不当，造成敏感、隐私数据的泄露，尤其是具有一定关联性的多组数据同时泄漏，引发的连锁反应会让问题加重。

大数据时代时代下最大的考验是信息安全，信息安全技术也随之面临很大的考验，互联网信息安全的发展趋势非常可观，这将是大户居时代中最值得关注的问题，在未来的IT行业里，信息安全技术将会有着无可限量的发展前景。

闰业学院，专业从事IT管理咨询和IT运维、信息安全技术服务和人才培训等专项业务。为成为IT管理咨询及技术服务领域的专业品牌方向而努力。闰业学院设有信息安全保障认证等课程，助你成为出色的互联网信息安全人才，在IT行业一展抱负。

当今，大数据的到来，已经成为现实生活中无法逃避的挑战。每当我们要做出决策的时候，大数据就无处不在。大数据术语广泛地出现也使得人们渐渐明白了它的重要性。大数据渐渐向人们展现了它为学术、工业和政府带来的巨大机遇。与此同时，大数据也向参与的各方提出了巨大的挑战，首先是三个重要的技术问题：

一、如何利用信息技术等手段处理非结构化和半结构化数据大数据中，结构化数据只占15%左右，其余的85%都是非结构化的数据，它们大量存在于社交网络、互联网和电子商务等领域。另一方面，也许有90%的数据来自开源数据，其余的被存储在数据库中。大数据的不确定性表现在高维、多变和强随机性等方面。股票交易数据流是不确定性大数据的一个典型例子。大数据刺激了大量研究问题。非结构化和半结构化数据的个体表现、一般性特征和基本原理尚不清晰，这些都需要通过包括数学、经济学、社会学、计算机科学和管理科学在内的多学科交叉来研究和讨论。给定一种半结构化或非结构化数据，比如图像，如何把它转化成多维数据表、面向对象的数据模型或者直接基于图像的数据模型？值得注意的是，大数据每一种表示形式都仅呈现数据本身的侧面表现，并非全貌。如果把通过数据挖掘提取“粗糙知识”的过程称为“一次挖掘”过程，那么将粗糙知识与被量化后主观知识，包括具体的经验、常识、本能、情境知识和用户偏好，相结合而产生“智能知识”过程就叫做“二次挖掘”。从“一次挖掘”到“二次挖掘”类似事物“量”到“质”的飞跃。由于大数据所具有的半结构化和非结构化特点，基于大数据的数据挖掘所产生的结构化的“粗糙知识”（潜在模式）也伴有一些新的特征。这些结构化的粗糙知识可以被主观知识加工处理并转化，生成半结构化和非结构化的智能知识。寻求“智能知识”反映了大数据研究的核心价值。

二、如何探索大数据复杂性、不确定性特征描述的刻画方法及大数据的系统建模这一问题的突破是实现大数据知识发现的前提和关键。从长远角度来看，依照大数据的个体复杂性和随机性所带来的挑战将促使大数据数学结构的形成，从而导致大数据统一理论的完备。从短期而言，学术界鼓励发展一种一般性的结构化数据和半结构化、非结构化数据之间的转化原则，以支持大数据的交叉工业应用。管理科学，尤其是基于最优化的理论将在发展大数据知识发现的一般性方法和规律性中发挥重要的作用。大数据的复杂形式导致许多对“粗糙知识”的度量和评估相关的研究问题。已知的最优化、数据包络分析、期望理论、管理科学中的效用理论可以被应用到研究如何将主观知识融合到数据挖掘产生的粗糙知识的“二次挖掘”过程中。这里人机交互将起到至关重要的作用。

三、数据异构性与决策异构性的关系对大数据知识发现与管理决策的影响由于大数据本身的复杂性，这一问题无疑是一个重要的科研课题，对传统的数据挖掘理论和技术提出了新的挑战。在大数据环境下，管理决策面临着两个“异构性”问题：“数据异构性”和“决策异构性”。传统的管理决定模式取决于对业务知识的学习和日益积累的实践经验，而管理决策又是以数据分析为基础的。大数据已经改变了传统的管理决策结构的模式。研究大数据对管理决策结构的影响会成为一个公开的科研问题。除此之外，决策结构的变化要求人们去探讨如何为支持更高层次的决策而去做“二次挖掘”。无论大数据带来了哪种数据异构性，大数据中的“粗糙知识”仍可被看作“一次挖掘”的范畴。通过寻找“二次挖掘”产生的“智能知识”来作为数据异构性和决策异构性之间的桥梁是十分必要的。探索大数据环境下决策结构是如何被改变的，相当于研究如何将决策者的主观知识参与到决策的过程中。大数据是一种具有隐藏法则的人造自然，寻找大数据的科学模式将带来对研究大数据之美的一般性方法的探究，尽管这样的探索十分困难，但是如果我们找到了将非结构化、半结构化数据转化成结构化数据的方法，已知的数据挖掘方法将成为大数据挖掘的工具。以上是我对大数据的三个重要技术问题进行研究的一些心得，也仅仅是一个研究大数据挑战的起点。除此之外，还有一些数据科学的问题，包括在获得数据和从数据中产生规则方面可能存在的公理体系，基于数据库的知识发现规则与基于开放数据源的知识发现规则以及大数据挖掘的整体和（或）局部解的存在性问题等等。在不久的将来，我相信这些问题都需要去仔细研究，以获得突破性科研与应用成果。