大数据可以应用得更广泛，最让人津津乐道的是预测未来。比如，可以用大数据预测大气污染什么时候会到达一个危险的水平，我们可以在那之前就采取措施；可以预测犯罪活动最有可能在哪里、在什么时候集中爆发，我们可以提前部署警力；已经有不少银行在使用一种类似大数据分析的系统来决定是否要给顾客贷款。

总的来说，我认为，大数据预测在医药生物领域用途特别广泛。因为这个领域的数据实际上是无穷尽的，可惜的是我们甚至都没能将已有的数据储存下来。人类基因组包含数十亿碱基对，我们目前对这些碱基对到底在人类基因中发挥什么作用，又是如何相互作用导致了疾病实在是所知甚少。

又比如存在于人体内对人体的机能（如消化）发挥着重要作用的细菌微生物，其基因更比人的碱基对多百倍。我们不知道这些碱基对的作用，但是，我们有80亿人生活在这个地球上，这是一个巨大的潜在数据库。

大数据预测可以帮助我们找到哪些基因组合会带来疾病，而哪些组合又会提高强大的免疫力。比如，有些人对疟疾免疫，我们就可以专门研究这些人体内基因组中的碱基对的分布情况，找出其中的奥秘。

本文主要讨论如何在系统内部的逻辑处理上防止系统整体雪崩的发生。预防的重要性大于事故之后的处理，预测集群状态、提前进行优化也成为预防雪崩的一个方向。

下面选取可能发生过的几个场景与大家分享。

1. 跨机架副本选择算法和机器资源、用户逻辑隔离现场还原：

某天运维同学发现某集群几十台机器瞬间失联，负责触发修复副本的主控节点开始进行疯狂的副本修复。大量用户开始反馈集群变慢，读写夯住。

现场应对:

优先解决——副本修复量过大造成的集群整体受影响。

a. 处理的工程师当机立断，gdb到进程更改修复副本的条件为副本<2，而非原本的3（replicas_num），让主控节点这个时候仅修复副本数小于2个的文件，即保证未丢失的文件有至少一个冗余副本，防止只有一个副本的数据因可能再次发生的挂机造成文件丢失。

b. 紧急解决这批机器失联问题，发现是交换机问题，a.b.c.d ip网段的c网段机器批量故障。催促网络组尽快修复。

c. 副本修复到>=2之后，Gdb更改检测副本不足周期，将几十秒的检测时间推迟到1天。等待网络组解决交换机问题。

d. 网络恢复，原有的机器重新加入集群。大量2副本文件重新变为3副本，部分3副本全丢失文件找回。

e. 恢复主控节点到正常参数设置状态，系统开始正常修复。

改进措施:

在改进措施前，先分析下这次事件暴露的系统不足：

1) Master参数不支持热修正，Gdb线上进程风险过大。

2) 一定数量但局域性的机器故障影响了整体集群（几十台相对一个大集群仍属于局域性故障）。如上所述，月千分之几的故障率总有机会让你的存储系统经历一次交换机故障带来的集群影响。

案例分析后的改进措施出炉：

1) Master支持热修正功能排期提前，尽早支持核心参数的热修改。

热修改在上线后的效果可观，后续规避过数次线上问题。

2) 在选择数据副本存储宿主机器的pickup算法中加入跨交换机（机架位）策略，强制——或者尽量保证——副本选择时跨机架位。这种算法底下的副本，至少有1个副本与其他两个副本处于不同的交换机下（IP a.b.c.d的c段）。

该措施同时作用于新的存储数据副本选择和副本缺失后的副本补全策略，能在副本宿主选择上保证系统不会因为交换机的宕机而出现数据丢失，进而避免一直处于副本补全队列/列表的大量的丢失副本节点加重主控节点负载。

3) 机器按region划分隔离功能提上日程；用户存储位置按照region进行逻辑划分功能提上日程；Pickup算法加入跨region提上日程。

a) 机器按照物理位置划分region、用户按照region进行逻辑存储位置划分，能让集群在局部故障的情况下仅影响被逻辑划分进使用这部分机器的用户。

这样一来，最坏情况无非是这个region不可用，导致拥有这个region读写权限的用户受影响。Pickup算法跨region的设计进一步保证被划分region的用户不会因为一个region不可用而出现数据丢失，因为其他副本存到其他region上了。于是，核心交换机故障导致一个region数百台机器的宕机也不会对集群造成范围过大的影响了。

b) 增加region可信度概念，将机器的稳定性因素加入到副本冗余算法中。

当集群规模达到一定量后，会出现机器稳定性不同的问题（一般来说，同一批上线的机器稳定性一致）。通过标记region的稳定性，能强制在选择数据副本的时候将至少一个副本至于稳定副本中，减少全部副本丢失的概率。

c) Region划分需要综合考虑用户操作响应时间SLA、物理机器稳定情况、地理位置等信息。

合理的region划分对提升系统稳定性、提升操作相应时间、预防系统崩溃都有益处。精巧的划分规则会带来整体的稳定性提升，但也增加了系统的复杂度。这块如何取舍，留给读者朋友深入思考了。

2. 让集群流控起来流控方面有个通用且符合分布式存储系统特点的原则：任何操作都不应占用过多的处理时间。这里的“任何操作”包含了在系统出现流量激增、局部达到一定数量的机器宕机时进行的操作。只有平滑且成功的处理这些操作，才能保证系统不因为异常而出现整体受影响，甚至雪崩。

现场还原：

1) 场景1 某天运维同学发现，集群写操作在某段时间大增。通过观察某个存储节点，发现不仅是写、而且是随机写！某些产品线的整体吞吐下降了。

2) 场景2 某集群存储大户需要进行业务调整，原有的数据做变更，大量数据需要删除。

运维同学发现，a. 整个集群整体上处于疯狂gc垃圾回收阶段 b. 集群响应速度明显变慢，特别是涉及到meta元信息更新的操作。

3) 场景3 某天运维同学突然发现集群并发量激增，单一用户xyz进行了大量的并发操作，按照原有的用户调研，该用户不应该拥有如此规模的使用场景。

此类集群某些操作预期外的激增还有很多，不再累述。

现场应对:

1) 立刻电联相关用户，了解操作激增原因，不合理的激增需要立刻处理。

我们发现过如下不合理的激增：

a. 场景1类：通过Review代码发现，大量的操作进行了随机读写更改。建议用户将随机读写转换为读取后更改+写新文件+删除旧文件，转换随机读写为顺序读写。

b. 场景3类：某产品线在线上进行了性能测试。运维同学立刻通知该产品线停止了相关操作。所有公有集群再次发通过邮件强调，不可用于性能测试。如有需要，联系相关人员在独占集群进行性能场景测试。

2) 推动设计和实现集群各个环节的流控机制功能并上线。

改进措施：

1) 用户操作流控

a. 对用户操作进行流控限制可通过系统内部设计实现，也可通过外部的网络限流等方式实现，对单用户做一定的流控限制，防止单个用户占用过多整个集群的资源。

b. 存储节点操作流控可按照对集群的资源消耗高低分为High – Medium – Low三层，每层实现类似于抢token的设计，每层token数目在集群实践后调整为比较适合的值。这样能防止某类操作过多消耗集群负载。若某类操作过多消耗负载，其他操作类的请求有较大delay可能，继而引发timeout后的重试、小范围的崩溃，有一定几率蔓延到整个集群并产生整体崩溃。

c. 垃圾回收gc单独做流控处理。删除操作在分布式存储系统里面常用设计是：接收到用户删除操作时，标记删除内容的meta信息，直接回返，后续进行策略控制，限流的删除，防止大量的gc操作消耗过多单机存储节点的磁盘处理能力。具体的限流策略和token值设置需要根据集群特点进行实践并得出较优设置。

2) 流控黑名单用户因为对线上做测试类的场景可以通过人为制度约束，但无法避免线上用户bug导致效果等同于线上测试规模的场景。这类的场景一般在短时间内操作数严重超过限流上限。

对此类场景可进行流控黑名单设置，当某用户短时间内（e.g. 1小时）严重超过设置的上限时，将该用户加入黑名单，暂时阻塞操作。外围的监控会通知运维组同学紧急处理。

3) 存储节点并发修复、创建副本流控大量的数据副本修复操作或者副本创建操作如果不加以速度限制，将占用存储节点的带宽和CPU、内存等资源，影响正常的读写服务，出现大量的延迟。而大量的延迟可能引发重试，加重集群的繁忙程度。

同一个数据宿主进程需要限制并发副本修复、副本创建的个数，这样对入口带宽的占用不会过大，进程也不会因为过量进行这类操作而增加大量其他操作的延迟时间。这对于采用分发的副本复制协议的系统尤其重要。分发协议一般都有慢节点检查机制，副本流控不会进一步加重系统延迟而增大成为慢节点的可能。如果慢节点可能性增大，新创建的文件可能在创建时就因为慢节点检查机制而缺少副本，这会让集群状况更加恶化。

3. 提前预测、提前行动1) 预测磁盘故障，容错单磁盘错误。

场景复现：

某厂商的SSD盘某批次存在问题，集群上线运行一段时间后，局部集中出现数量较多的坏盘，但并非所有的盘都损坏。当时并未有单磁盘容错机制，一块磁盘坏掉，整个机器就被置成不可用状态，这样导致拥有这批坏盘的机器都不可用，集群在一段时间内都处于副本修复状态，吞吐受到较大影响。

改进措施:

a) 对硬盘进行健康性预测，自动迁移大概率即将成为坏盘的数据副本近年来，对磁盘健康状态进行提前预测的技术越来越成熟，技术上已可以预判磁盘健康程度并在磁盘拥有大概率坏掉前，自动迁移数据到其他磁盘，减少磁盘坏掉对系统稳定性的影响。

b) 对单硬盘错误进行容错处理存储节点支持对坏盘的异常处理。单盘挂掉时，自动迁移/修复单盘的原有数据到其他盘，而不是进程整体宕掉，因为一旦整体宕掉，其他盘的数据也会被分布式存储系统当做缺失副本，存储资源紧张的集群经历一次这样的宕机事件会造成长时间的副本修复过程。在现有的分布式存储系统中, 也有类似淘宝TFS那样，每个磁盘启动一个进程进行管理，整机挂载多少个盘就启动多少个进程。

根据现有存储分布，预测均衡性发展，提前进行负载均衡操作。

这类的策略设计越来越常见。由于分布式存储集群挂机后的修复策略使得集群某些机器总有几率成为热点机器，我们可以对此类的机器进行热点预测，提前迁移部分数据到相对负载低的机器。

负载均衡策略和副本选择策略一样，需要取舍复杂度和优化程度问题。复杂的均衡策略带来好的集群负载，但也因此引入高复杂度、高bug率问题。如何取舍，仍旧是个困扰分布式存储系统设计者的难题。

现在大数据和智能服务的发展已经渗透到了各行各业，这些新兴技术给社会带来巨大的变革。然而因为地域的问题，我国的贫富差距依旧很大，很多学者声称新技术的发展，会使这个问题得到解决。

发展至今，大数据已经经历了十年的风雨历程，目前最火的人工智能，也要依托这项技术。这项技术也已经渗透到了各行各业，并且在每个行业内部，都有一个良好的发展。

如今发展不发达的地区在接受云计算之后，可能会渐渐数字化，在一定程度上将会追上发展较快地区的脚步，随着网络技术的发展，很多地方也会越来越均衡，越来越健康。

大数据一开始是由元数据发展而来的概念，元数据就是通过对信息本身的描述，使得信息可以结构化，信息化。对于一些非结构化，可不可量化的对象，结构化的数据可以将信息做出快速的计算和判断。

一开始的时候，这项技术是用在辅助市场人员做出判断，过去的调研人员比较辛苦，所以这项技术的产生，大大节省了时间。现在的调查方式，只要通过用户的数据，和行为，就可以对用户的喜好分析出来。

对于产品设计来说，这些数据非常重要，如果是完整的数据，可以更好的让产品制造者做出用户更加满意的产品。在数据的质量数量达到一定的程度时，这项技术就不仅仅是辅助作用，而是成为了有价值的信息。

这项技术本身成为了一个产品，可以给你最有价值的内容。这些数据可以对各领域的市场，做出最精确的报告。作为数据的持有者，可以通过消费者的一些信息对消费者的行为产生推断。

未来我们的每一步都将会被信息记录下来，我们的行为将会变成一些数字，然后成为可以量化的数据。这个技术将会被用来，更加合理的资源配置。基于数据分析，然后进行配置优化，才是这项技术的真正价值。

这项技术也不会只停留在分析的阶段，而是落实到各个行业，发挥着重要的价值。海量的数据分析，给我们提供了一套更为可靠的决策依据。这项技术还可以使得网站的变现效率提高，节约消费者的购物精力。比如在网站中寻找自己喜欢的书籍，就是一个很好的例子，在你点击去之后，会发现，网站已经将你感兴趣的东西，放在你的眼前了。

随着互联网的发展，大数据也在逐渐彰显出自己的优势特点，那么关于大数据的处理流程，你是否了解?

第一，数据采集

定义：利用多种轻型数据库来接收发自客户端的数据，并且用户可以通过这些数据库来进行简单的查询和处理工作。

特点和挑战：并发系数高。

使用的产品：MySQL，Oracle，HBase，Redis和 MongoDB等，并且这些产品的特点各不相同。

第二，统计分析

定义：将海量的来自前端的数据快速导入到一个集中的大型分布式数据库 或者分布式存储集群，利用分布式技术来对存储于其内的集中的海量数据 进行普通的查询和分类汇总等，以此满足大多数常见的分析需求。

特点和挑战：导入数据量大，查询涉及的数据量大，查询请求多。

使用的产品：InfoBright，Hadoop(Pig和Hive)，YunTable， SAP Hana和Oracle Exadata，除Hadoop以做离线分析为主之外，其他产品可做实时分析。

第三，挖掘数据

定义：基于前面的查询数据进行数据挖掘，来满足高级别的数据分析需求。

特点和挑战：算法复杂，并且计算涉及的数据量和计算量都大。

使用的产品：R，Hadoop Mahout

489034603

由于大数据的迅猛发展，数据正在呈指数级增长，各种传感器的剧增，高清晰度的图像和视频都是数据爆炸的原因。腾讯、淘宝掌握了大量的用户数据，力图描绘出用户的整体“画像”。面对大数据的汹涌来袭，传统的数据存储和数据库技术已经难以应对，那么，大数据技术如何存储海量数据并提高系统容错性？目前，较为主流的海量文件存储技术有Google的GFS和Hadoop的HDFS，HDFS是GFS的开源实现。它们均采用分布式存储的方式存储数据，用冗余存储的模式保证数据的可靠性。

下面我们通过几个问题，来让大家更好的了解数据存储应该如何解决？

1、大数据的处理流程包括了哪些环节？每个环节有哪些主要工具？

数据采集： 半结构日志文件可使用flume； 结构化数据可以使用传统的E TL工具如，datastage、kettle 等等

数据存储：hadoop hdfs存储海量数据；也可用传统的oracle、sysbase iq等数据仓库解决方案

数据统计： 使用hive、impala对hadoop进行统计分析；

数据挖掘：可使用mahout进行数据挖掘

2、大数据的数据库相比于传统数据库有何变化？出现了哪些新的大数据的数据管理方式？

量大、结构多样、速度要求高等特点； 出现了以hadoop为代表的分布式存储和nosql等数据存储管理方案

3、大数据工程师应该都知道，现在处理大数据文件的存储，比较典型的有Google的Big Table和Hadoop的HBase，它们有哪些相似点和不同点？

Hadoop的HBase是Google的Big 的开源实现，每个人都可以下载来使用，也可以根据自己需要进行修改和完善

以上都为个人观点，谨供大家参考一下，如果感觉写的可以，即可给自己一个比较准确的定位，为以后的学习找准正确的方向。

另外，如果小伙伴想学习大数据技术，可以加下图片下面的交流群，群里有很多学习视频都可以下载，而且每天大数据架构师马士兵老师都会在群里分享大数据的技术。。

作者: Saun Tatt

编译: Mika本文为 CDA 数据分析师原创作品，转载需授权

如今高校的竞争愈发激烈，各大顶尖高校希望加大对学生的吸引力，从而提高招生人数。随着技术的快速创新，高校更加重视大数据的作用。现在大学可以用更复杂的方法收集和管理学生的数据，并对其进行更好的定位。

随着对优质学生资源的竞争加剧和教育成本的上升，潜在的学生数量越来越有限。因此，各大高校也在不断建立人才库，希望吸引才华横溢的学生。特别是那些能够为学校发展做出贡献的学生，因此为了识别这类人才，数据分析就派上用场了。

除了定位人才库，大数据还有其他的用途。比如，通过查看之前学生的数据改善教育机构的决策过程等。此外，世界教育领导者正在将数据工具用于商业智能、财务分析、预测分析和战略管理等方面。这些都能提高学校效率，同时促进学生的发展。

高校的工作重点是开发基于数据的架构，从而分析和使用各种类型的数据。这样做的目标是扩大可用的分析过程，并随后改善学校对资源的管理。

当中的数据源包括：学生考试成绩，社交媒体和渠道，网站浏览数据，移动设备和操作系统。此外，许多教育机构正在将大量预算投入到研究活动中，用来进一步收集数据，从而提供可操作的分析见解。

当涉及到教育领域的数据分析工具，这方面有两个关键要素：首先，提供预测工具，“接下来会发生什么？”。这是基于已经发生的事情进行预测。其次是针对这个问题的说明性回答，“根据认为会发生的事情，该采取哪些合适的应对手段？”

上述两个维度让教育决策者能够识别模式，并根据这些预测做出必要决策。下面让我们看到在大数据时代，高校应该如何利用数据分析促进自身发展。

1. 优化奖学金发放

如今教育成本不断飙升，此外书籍、住宿等其他费用也在加剧学生的负担。因此，经济实力不足的学生会去申请奖学金，如果学生能够证明自身的能力就能获得相应的奖学金。

在发放奖学金方面，高校可以通过数据分析来识别能够为院校做出贡献的优秀学生。同时，高校还通过测试发掘优质的学生，使用大数据对学生过去的表现进行评估。这些策略都能帮助高校更好地定位出色的学生，提高奖学金的投资回报率。

2. 发现需要帮助的学生

大数据还可以帮助高校在早期确定哪些学生更有可能成功，这是怎么做到的呢？

2014年，玛利斯特学院和商业分析公司Pentaho共同开发了一个程序 Open Academic Analytics Initiative，用于追踪学生的学习情况，比如在线阅读材料的时间，完成作业所需时间等等。

通过对这些数据充分研究，高校可以发现在学业中需要更多帮助的学生。不过这种做法引发了一些道德问题争议，即收集学生的这类数据是否会侵犯他们的隐私，不过这也为帮助学生提供了更多的方式。

除此之外，教师可以通过大数据更及时地收到学生的反馈。根据这些反馈，教师可以立即在教学上进行改进，为学生提供更丰富的学习体验。

3. 更好地评估课程

数据分析还可以应用于课程评估。每所大学面临的主要挑战在于，了解行业需求，并提供满足这些需求的课程。

大数据也可以解决这个问题。当有的课程选课人特别少时，数据分析可用于提醒课程管理员，让他们调查背后问题的原因。有了适当的数据，高校能够判断问题是在于教学标准，讲师水平还是其他方面。利用实时数据，我们可以加快信息收集过程。

4. 设立定制课程

利用收集和存储的数据，大学能为每个学生设定定制课程。即使学校有超过1万名学生，有了大数据可以轻松做到这点。

这样的学习理念能够为学生定制最适合自己的学习计划，了解感兴趣的课程，按照自己的进度学习，同时还可以提供课后指导。

5. 节省运营费用

数据分析还可用于降低能源损耗并且节省机构的运营成本。高校可以使用从传感器、仪表和执行器收集的实时数据生成性能模型。模型可以帮助学校跟踪、预测、假设和优化能耗。

这几点无疑将有助于提高学生的成绩，从而降低不及格率。 通过预测分析收集的数据可以使教育机构预测学生在未来的成果。如果预测产生的结果令人不满意，则可以使用这些预测进行修正。这还可以在课程计划启动之前对进行场景分析，从而最大限度地减少试错。

毕业后，高校还能够对学生进行情况追踪，看他们在工作场所中的表现。这进一步能帮助其他学生选择合适的大学。

结语

大数据将在未来几年内彻底改变教育行业，越来越多的大学已经准备好使用大数据来提升教学质量，并促进学生的发展。

本文选自中信书院阅读时差栏目。阅读时差动态实时同步全球前沿新知，为你打破知识的国界。

本期阅读时差为你分享的这本书是《大数据的真相》。

透过书名不难看出，本书的目的就是让读者看清楚大数据的暗黑面，从而对大数据保持清醒、客观的认识。在今天，大数据已经不再是陌生的事物，从上网购物的广告精准投放，再到驾车出行的路线规划，都可以看到大数据的身影。在大数据的支持下，人们的生活越来越便捷，越来越智能。

但是大数据的背后同样也隐藏着不为人知的阴暗面。因为大数据是依靠算法模型得来的，而算法模型是由人来设计的。所以，只要有人的参与，就势必会掺杂个人情感或认知偏见，导致得出的结论也难免会有失公允甚至还可能会带来歧视、扭曲事实、失去正义，造成不公平泛滥。

所以，如果不能对大数据加以正确的引导，则可能会带来歧视、扭曲事实、失去正义，造成不公平泛滥。只有明确地将更好的价值观加入到大数据的算法中，我们才能创造出符合道德准则的大数据模型，从而更好地为人类服务。

全文提纲

围绕算法模型中存在的阴暗面，我们来分享一下大数据滥用的“四宗罪”：

首先是偏见，看看大数据是怎样用技术包装偏见的；

第二是逐利，看看掠夺式广告是怎样兜售虚假或高价承诺的；

第三是剥削，分析大数据对底层人民的压榨式调度；

最后一个是歧视，揭露大数据是如何给民众带来不公平待遇的。

1

偏见，大数据用技术包装偏见

首先来看第一个重点内容：偏见，看看大数据是怎样用技术包装偏见的。

我们知道，大数据的基础在于数据和模型，其中模型处于主导地位，能够从海量的数据中抽离出相对有用的部分，对外部环境进行抽象概括，从而得出结论指导现实。值得注意的是，模型的本性就是简单化，不可能囊括现实世界的复杂性或者人类交流的细微差别。在人的设置和干预下，有些信息不可避免地会被遗漏或突出，从而体现为偏见。这种偏见在大数据出现之前，是体现在过程之中，而大数据出现之后，偏见就提前埋伏在算法模型里了。因此，冰冷的计算机和数据化风险模型得出的结论，虽然看起来就是一副公正无私的样子，其实是把偏见隐藏在了更深的地方。

来看一个带有种族偏见的数据模型。长期以来，种族是美国审判的一个主要因素。研究表明，在休斯顿市，对于同样罪行的犯人，检察官判非裔美国人死刑的几率比白人高三倍，判西班牙裔美国人死刑的几率比白人高四倍。为改变这种情况，美国有24个州的法院采用了一种再犯模型，帮助法官评估每一个罪犯构成的危险，减少法官的情绪和偏见所带来的影响。其中，一个叫做LSI–R的普及模型应用最为广泛。这个模型要求罪犯填写冗长的问卷调查。比如“你之前犯罪次数是多少？”“其他人对这次犯罪起了多大的作用？毒品和酒精对于你犯罪起了多大作用？”等等。

这些问题看起来很正常，没毛病，但在实际操作中却存在问题。来自有特权背景的罪犯和来自治安差的平民街区的罪犯，答案肯定不一样。

比如，同样问“你第一次遭遇警察”的原因，在舒适郊区长大的罪犯也许会告诉你这是第一次入狱，而来自平民街区的年轻的黑人男性很可能已经被警察多次拦截，即使他们什么错事也没做。

研究报告显示，14-24岁的黑人男性和拉丁美洲男性仅占该市总人口的4.7%，但他们占被警察拦截盘查总人数的40.6%。而且，那些被盘查的人中90%多都是无辜的。然而根据模型统计，经常被拦截的嫌犯判分更高，更容易被模型分类为高风险等级，从而误导法官量刑。

更严重的是，罪犯还会被问到出生和成长的环境，他们的朋友和亲戚是否有过犯罪记录等等。事实上，法官应该对所做的事情进行审判，而不是对嫌犯的身份进行审判。这些细节不应该和刑事案件或者量刑相关。

然而，在LSI-R这样的数据模型下，原本身处底层社会的有色人种受到了更加严重的种族问题。“高风险”得分等级的人很可能是失业人员，而他的许多朋友和家人都触犯过法律。而且多年和一群罪犯关在一起，又增加了他再次犯罪的可能性。等他出狱时会回到同样的贫穷社区，有了犯罪记录，找工作就更难。如果他再犯罪，再犯模型又一次成功验证。事实上，正是这一模型导致了恶性循环，且一再地自行巩固。

面对真实现状，作者禁不住提出疑问，我们是利用大数据彻底根除了人类偏见，还是只是用技术包装了人类偏见？答案其实就在眼前。

2

逐利，掠夺式广告通过大数据兜售虚假承诺

说完偏见的问题，再来看看大数据的第二宗罪，逐利，来看看掠夺式广告，怎样通过大数据精确找出弱势群体，兜售虚假或高价承诺的。

经常网上购物的朋友会发现，互联网会利用我们点击、阅读的习惯，确定偏好和模式，为我们在数百种模型中进行排名、分类以及评分。这为合法的广告奠定了强大的基础，但同时也助长了掠夺式广告的泛滥。

掠夺式广告是什么呢？

打个比方，如果人们缺钱，就提供大量高息发薪日贷款；如果他们的电脑运转缓慢，那它可能中了一个掠夺式广告携带的病毒，然后广告商提供修理服务。总的来说，在人们既有需求又很无知的任何地方，你都能看到掠夺式广告。

掠夺式广告发现不平等，并大肆利用，最终的结果是巩固了现存的社会分层，加速对穷人的掠夺。

作者认为，美国的营利性大学之所以如此繁荣，就是掠夺式广告的功劳。这些营利性大学就像江湖骗子一样，倾向于锁定最贫困地区的人，尤其是特别关注那些点击过贷款广告的人，然后利用他们的私密信息攻击他们。他们是怎样找到这些私密信息的呢？很多人在Google上搜索答案或者在填写问卷时，不知不觉中就暴露了自己的隐私。

2010年，一条引人注目的广告刊登了奥巴马总统的照片，广告词为：“奥巴马呼吁妈妈们回到学校：完成你的学位，把助学金给有资格的人。”这则广告暗示，总统签署了一项旨在让母亲重返校园的新法案。但这是一个谎言。当消费者点击这个广告时，会被问到几个问题，包括年龄和电话号码，然后就会接到一所营利性学校的电话，主动提出帮她借钱申请入学。据报道，营利性大学20%-30%的广告预算都用于开发潜在客户。大学每收到一个最有希望的学生，就支付给提供者高达150美元的费用。

美国底层40%的人口没有财富，普通家庭的负债平均为14800美元，其中大部分是利率过高的信用卡账户。而他们一直被灌输“赚钱的关键是接受教育”这样的理念。这些以盈利为目的的大学就通过大数据的模型，筛选出这些弱势群体，然后向他们承诺，只要接受教育就能够给他们一个美好未来。然而当学生入校之后，就会告知要通过各种贷款来解决学费问题，从而增加更多的债务。贫穷学生因此变得无望、绝望，怀疑教育的价值，加剧美国的贫富差距。

不幸的是，除了营利性大学，还有很多利用掠夺式广告的公司。你只需要想一下人们的痛点在哪里，就会发现广告商在哪里使用掠夺性模型。数据支持的模型在不断地筛选我们的数据，搜寻我们的习惯、意愿、忧虑和渴望，推送的每一条广告都能够锁定最有效的信息，在对的时间出现在潜在客户眼前。

精准信息触发顾客决定，从而成功地拖住又一个付费客户，使得掠夺者所花的每一分钱都能产生最大的效益。所以，站在掠夺式广告商的角度来看，穷人在搜索引擎上的查询和点过的优惠券，实际上是在呼叫特别关注。

3

剥削，大数据对底层人民的压榨式调度

大数据模型不但干预生活，还能够给工作带来重大影响，有些负面影响甚至比周扒皮的半夜鸡叫有过之而无不及。这就是大数据的第三宗罪：剥削，来看看大数据对底层人民的压榨式调度。

这主要体现在人力调度软件上。这种软件可以利用大数据分析顾客流量，精确计算出每一天、每小时他们需要多少人力，从而降低人力资源成本。比如，某天中午下雨，公园里的人可能会跑进咖啡店；每周五晚上大街上将出现更多的行人等等。软件能够根据这些情况变化合理配置人力，来匹配不断波动的需求。乍看之下，你会觉得这套机制很先进，但事实上却是一种赤裸裸的压榨。

在低效率的经营模式下，职员有可预测的工作时间和固定的闲暇时间。有些人可以在工作时间读书，甚至做研究。现在，由电脑程序进行人力配置，职员每一分钟都很忙，几乎连个人时间也都被压榨一空。2014年，《纽约时报》报道过一个单亲妈妈简奈特·纳薇欧的遭遇，她的生活被大数据监控并影响。她一边努力读大学，一边在星巴克担任咖啡师，同时还得照顾她四岁的孩子。大数据指导下的工作调整，让纳薇欧的生活陷入混乱，无法安排固定的托儿服务，只好暂停学业。

《纽约时报》这篇文章报道后几周内，遭到点名的大公司宣布将调整这种调度方式。但追踪报道显示，这些公司压根就没有信守承诺。归根结底，还是利润在作怪，像星巴克这种上市公司的商业模型，都是以提高盈利为目的的。

人力调度软件对社会同样造成了极大的影响。像纳薇欧这样的群体，因为工作时间非常不稳定，不可能回学校念书，而这又损害了她的就业前途，只能当一名供大于求的低薪劳工。于是他们会格外焦虑，睡眠不足，继而产生剧烈的情绪波动。据统计，美国死在公路上的人估计有13%是因为睡眠不足。更糟糕的是，因为这种软件是来替企业省钱的，它们往往会将员工每周工作时间限制在30小时之内，这样公司就不必为他们提供医疗保险。在这种情况下，低薪劳工永无出头之日。

4

歧视，大数据给民众带来不公平待遇

大数据不但成为资本家为虎作伥的帮凶，甚至还会加剧社会的不公。这就是大数据的第四宗罪：歧视，我们来看看大数据是如何给民众带来不公平待遇的。

现在，大多数人都相信，数据越多越好。对于大数据来说确实如此。如果只关注很少的数据，那么只能呈现出相互独立、毫无关联的点；而将更多的数据纳入模型，就能够构建出事物的整体面貌。但同时，这些大量的数据来源于规模巨大的群体，忽略了相对较少的个体。而且，这种模型使用频率越高、数据量越大，越能够增加这种不公平的待遇。

我们来看暴力犯罪的大数据模型案例。有一款软件叫做“预防政策”，原本这是一个地震预测软件，但应用到犯罪预测领域，不但能够定位犯罪最有可能发生的地方，还能预测连续犯罪。这主要是源于警察局把“轻微犯罪”的数据纳入“预防政策”这个软件中。这些数据包括天天发生的商店行窃、小额欺诈，甚至是违规停车。

英国肯特郡警察局在2013年尝试使用“预防政策”软件，确实奏效了。根据“预防政策”的指引，在指定广场巡逻的效率是随机巡逻的十倍，精确度是警方情报分析的两倍。那么，模型最擅长预测的是什么类型的犯罪呢？答案是包括随意大小便的醉汉、小偷小摸的偷车贼等等的轻微犯罪。

但最令人可悲的是，大数据勾勒出的犯罪地图证实，大部分罪行都是穷人干的。为什么会得出这样的结论呢？这里面固然有穷人的比例远高于富人的原因，同时也有数据模型和警察的原因。为了支撑大量的数据，警察就会把各种轻微犯罪录入模型，而模型又反馈出穷人犯罪的高概率。

反过来看，那些富人实施的犯罪行为都哪去了？是他们奉公守法吗？当然不是。作者写道，在本世纪头十年，金融大亨通过撒谎、欺诈几乎摧毁了全球经济，使得数以百万计的人失去了家园、工作和医疗保障，犯下了滔天罪行。但是，联邦调查局和证券交易委员会的调查人员却拿他们没有任何办法。富人们在政治家身上投入了大量资金，而且他们经营的银行直接影响到国家经济，因此受到了保护。除了一些像庞氏骗局操作者伯纳德·马多夫这样的极端犯罪，金融家不会被逮捕。更何况这个群体在2008年的市场崩盘中几乎毫发无损，现在依然逍遥法外，享受特权。

在这种情况下，尽管“预防政策”是一个非常有益、甚至高尚的软件工具，但它也成为了数学毁灭武器。“预防政策”软件授权警察局锁定穷人，拦截更多穷人，逮捕一部分穷人，把一些穷人罪犯关进监狱。现在，有了大数据的支持，警方更加捍卫了他们在这一行为的合法性，与此同时增加了办案的精确性和“科学性”。结果是，我们把贫困看作是犯罪，相信我们的工具既科学又公平。

这突出了数学毁灭武器的另一个常见特征，即往往惩罚穷人。部分原因是数学模型是用来评估数量多的人群。相反...

一 数据分析处理需求分类

1 事务型处理

在我们实际生活中，事务型数据处理需求非常常见，例如：淘宝网站交易系统、12306网站火车票交易系统、超市POS系统等都属于事务型数据处理系统。

这类系统数据处理特点包括以下几点：

一是事务处理型操作都是细粒度操作，每次事务处理涉及数据量都很小。

二是计算相对简单，一般只有少数几步操作组成，比如修改某行的某列;

三是事务型处理操作涉及数据的增、删、改、查，对事务完整性和数据一致性要求非常高。

四是事务性操作都是实时交互式操作，至少能在几秒内执行完成;

五是基于以上特点，索引是支撑事务型处理一个非常重要的技术。

在数据量和并发交易量不大情况下，一般依托单机版关系型数据库，例如ORACLE、MYSQL、SQLSERVER，再加数据复制(DataGurad、 RMAN、MySQL数据复制等)等高可用措施即可满足业务需求。

在数据量和并发交易量增加情况下，一般可以采用ORALCE RAC集群方式或者是通过硬件升级(采用小型机、大型机等，如银行系统、运营商计费系统、证卷系统)来支撑。

事务型操作在淘宝、12306等互联网企业中，由于数据量大、访问并发量高，必然采用分布式技术来应对，这样就带来了分布式事务处理问题，而分布式事务处理很难做到高效，因此一般采用根据业务应用特点来开发专用的系统来解决本问题。

2 数据统计分析

数据统计主要是被各类企业通过分析自己的销售记录等企业日常的运营数据，以辅助企业管理层来进行运营决策。典型的使用场景有：周报表、月报表等固定时间提供给领导的各类统计报表;市场营销部门，通过各种维度组合进行统计分析，以制定相应的营销策略等。

数据统计分析特点包括以下几点：

一是数据统计一般涉及大量数据的聚合运算，每次统计涉及数据量会比较大。

二是数据统计分析计算相对复杂，例如会涉及大量goupby、 子查询、嵌套查询、窗口函数、聚合函数、排序等;有些复杂统计可能需要编写SQL脚本才能实现。

三是数据统计分析实时性相对没有事务型操作要求高。但除固定报表外，目前越来越多的用户希望能做做到交互式实时统计;

传统的数据统计分析主要采用基于MPP并行数据库的数据仓库技术。主要采用维度模型，通过预计算等方法，把数据整理成适合统计分析的结构来实现高性能的数据统计分析，以支持可以通过下钻和上卷操作，实现各种维度组合以及各种粒度的统计分析。

另外目前在数据统计分析领域，为了满足交互式统计分析需求，基于内存计算的数据库仓库系统也成为一个发展趋势，例如SAP的HANA平台。

3 数据挖掘

数据挖掘主要是根据商业目标，采用数据挖掘算法自动从海量数据中发现隐含在海量数据中的规律和知识。

数据挖掘主要过程是：根据分析挖掘目标，从数据库中把数据提取出来，然后经过ETL组织成适合分析挖掘算法使用宽表，然后利用数据挖掘软件进行挖掘。传统的数据挖掘软件，一般只能支持在单机上进行小规模数据处理,受此限制传统数据分析挖掘一般会采用抽样方式来减少数据分析规模。

数据挖掘的计算复杂度和灵活度远远超过前两类需求。一是由于数据挖掘问题开放性，导致数据挖掘会涉及大量衍生变量计算，衍生变量多变导致数据预处理计算复杂性;二是很多数据挖掘算法本身就比较复杂，计算量就很大，特别是大量机器学习算法，都是迭代计算，需要通过多次迭代来求最优解，例如K-means聚类算法、PageRank算法等。

因此总体来讲，数据分析挖掘的特点是:

1、数据挖掘的整个计算更复杂，一般是由多个步骤组成计算流，多个计算步骤之间存在数据交换，也就是会产生大量中间结果，难以用一条sql语句来表达。

2、计算应该能够非常灵活表达，很多需要利用高级语言编程实现。

二 大数据背景下事务型处理系统相关技术

在google、facebook、taobao等大互联网公司出现之后，这些公司注册和在线用户数量都非长大，因此该公司交易系统需要解决“海量数据+高并发+数据一致性+高可用性”的问题。

为了解决该问题，从目前资料来看，其实没有一个通用的解决方案，各大公司都会根据自己业务特点定制开发相应的系统,但是常用的思路主要包括以下几点：

(1)数据库分片，结合业务和数据特点将数据分布在多台机器上。

(2)利用缓存等机制，尽量利用内存，解决高并发时遇到的随机IO效率问题。

(3)结合数据复制等技术实现读写分离，以及提高系统可用性。

(4)大量采用异步处理机制，对应高并发冲击。

(5)根据实际业务需求，尽量避免分布式事务。

1相关系统介绍

1) 阿里CORBAR系统

阿里COBAR系统是一个基于MYSQL数据库的分布式数据库系统，属于基于分布式数据库中间件的分布式数据库系统。该系统是前身是陈思儒开发的“变形虫”系统(以前调研过)，由于陈思儒离开阿里去了盛大，阿里当心“变形虫”稳定性等问题，重新开发该项目。

该系统主要采用数据库分片思路，实现了：数据拆分、读写分离、复制等功能。由于此系统由于只需要满足事务型操作即可，因此相对真正并行数据库集群(例如TeraData等)，此类系统提供操作没有也不需要提供一些复杂跨库处理，因此该系统存在以下限制：

(1)不支持跨库的join、分页、排序、子查询。

(2)insert等变更语句必须包括拆分字段等。

(3)应该不支持跨机事务(以前变形虫不支持)。

说白了此类系统不具备并行计算能力,基本上相当于数据库路由器!

另外此类系统的在实际应用的关键问题是，根据什么对数据进行切分，因为切分不好会导致分布式的事务问题。

2) 阿里OceanBase系统

该系统也是淘宝为了解决高并发、大数据环境下事务型处理而定制开发的一个系统。该系统主要思路和特点如下：

(1)他们发现在实际生成环境中，每天更新的数据只占总体数据的1%不到，因此他们把数据分为：基线数据和增量更新数据。

(2)基线数据是静态数据，采用分布式存储方式进行存储。

(3)只在一台服务器上存储和处理增量更新数据，并且是在内存中存储和处理更新数据。

(4)在系统负载轻的时候，把增量更新批量合并到基线数据中。

(5)数据访问时同时访问基线数据和增量更新数据并合并。

因此这样好处是：

(1)读事务和写事务分离

(2)通过牺牲一点扩展性(写是一个单点)，来避免分布式事务处理。

说明：该系统虽然能处理高并发的事务型处理，号称很牛逼，但其实也只是根据电商的事务处理来定制开发的专用系统，个人认为其技术难度小于oracle等通用型的数据库。该系统无法应用到银行或者12306等，因为其事务处理的逻辑远远比电商商品买卖处理逻辑复杂。

在目前的大数据时代，一定是基于应用定制才能找到好的解决方案!

3) 基于Hbase的交易系统

在hadoop平台下，HBASE数据库是一个分布式KV数据库，属于实时数据库范畴。支付宝目前支付记录就是存储在HBASE数据库中。

HBASE数据库接口是非SQL接口，而是KV操作接口(基于Key的访问和基于key范围的scan操作)，因此HBASE数据库虽然可扩展性非常好，但是由于其接口限制导致该数据库能支持上层应用很窄。基于HBASE应用的设计中，关键点是key的设计，要根据需要支持的应用来设计key的组成。

可以认为HBASE数据库只支持作为KEY的这一列的索引。虽然目前HBASE有支持二级索引的方案，二级索引维护将会比较麻烦。

2并发和并行区别

并发是指同时执行通常不相关的各种任务，例如交易型系统典型属于高并发系统。

并行是通过将一个很大的计算任务，划分为多个小的计算任务，然后多个小计算任务的并行执行，来缩短该计算任务计算时间。

两者主要区别在于：

(1)通讯与协调方面：在并行计算中，由于多个小任务同属一个大的计算任务，因此小任务之间存在依赖关系，小任务之间需要大量通讯和协调;相反，并发中的多个任务之间基本相互独立，任务与任务之间相关性很小。

(2)容错处理方面：由于并发任务之间相互独立，某个任务执行失败并不会影响其它的任务。但是并行计算中的多个任务属于一个大任务，因此某个子任务的失败，如果不能恢复(粗粒度容错与细粒度容错)，则整个任务都会失败。

3本章总结

数据量大不一定需要并行计算，虽然数据量大，数据是分布存储，但是如果每次操作基本上还是针对少量数据，因此每次操作基本上都是在一台服务器上完成，不涉及并行计算。只是需要通过数据复制、数据缓存、异步处理等方式来支撑高并发访问量

三 大数据背景下数据统计分析技术介绍

随数据量变大，和事务处理不同的是，单个统计分析涉及数据量会非常大，单个统计分析任务涉及数据会分散在多台服务器上，且由于计算量大，采用单台服务器进行计算，会导致计算时间非常长，单个统计分析任务必须采用并行计算方式来加快单个统计分析任务执行速度。

1并行查询与并行计算技术介绍

在大数据背景下的数据统计分析技术门类很多，常见的有：

n MPP并行数据库 : TeraData、GreenPlum、Vertica等。

n 基于MapReduce并行计算框架的数据仓库：

HIVE(Hadoop平台) 、Tenzing(Google公司)

n 基于Hbase的Phoenix系统

n HadoopDB系统

n EMC公司的hapt系统

n MPP分布式查询引擎： Dremel、Impala、Presto、Shard query、Citusdb。

n 基于SPARK的Shark、基于Dryad的SCOPE、基于Tez的stinger。

n 基于hadoop+index的JethroData系统

n 基于内存计算的Druid系统

这些系统都解决了海量数据下的数据统计分析的问题，并且这些系统另外一个共同特点是都提供了SQL或者类SQL接口。

为了能够较好研究这些系统，我们需要对并行查询与并行计算的相关技术做一个简要的介绍。

首先所有的系统都可以分为三个层次: 语义层、并行计算引擎层、分布式存储层。语义层提供一个编程接口让用户表达所需要计算，并负责把该计算翻译成底层并行计算引擎可以执行的执行计划，并由并行计算引擎来执行，最下面一层是分布式存储层。

对于提供类SQL接口并行计算系统，语义层可以认为是SQL解析层。

1) 语义层

SQL语言是一种声名式语言，SQL只是表达了要做什么，而没有表达怎么做。为此，SQL解析层主要作用是：将用户提交的基于SQL的统计分析请求，转化为底层计算引擎层可以执行的执行计划。也就是解决“怎么做”的问题。

SQL解析层工作主要包括两个大方面:

(1) 通过语法分析技术来理解要做什么。在关系数据库中，一般会把SQL语言分析后，形成树型结构的执行计划。

(2) 在语法分析技术上，利用各种优化技术和算法，找出一种最经济物理执行计划。

优化可以分为两个方面：一是逻辑层面优化、二是物理执行层面优化。

(1) 逻辑层优化

逻辑层面个人认为主要是因为同样表达一个分析请求，有的人SQL写的好，有的人SQL写的烂，因此在逻辑层面可以通过一些等价关系代数变换，实现查询重写，将写的比较烂的sql变换为好的写法。

比较典型优化是：“把投影和过滤下沉，先执行过滤和投影操作”，减少中间结果。

(2) 物理层优化

物理层面优化是在逻辑优化后，结合实际物理执行过程，找出最优的物理执行计划。生成物理查询计划的工作包括:

ü 增加一些操作符： 包括扫描和排序等。

ü 确定各个操作符实现算法。例如扫描是全表扫描还是利用索引;Join是采用HASH连接、索引连接、合并排序等实现算法中的那一种。

ü 确定操作符之间的数据流转方法：物化还是流水线方式。

ü 采用基于代价估算方法确定最优的物理执行计划，目前代价估算主要是以估算该物理计划需要的IO量。另外对于并行数据库，则还要考虑通讯代价，即尽量减少数据在各个机器之间的传递。

在物理层优化的代价估算过程中，代价估算需要依靠很多统计信息，如表有多大，表中相关列的值分布是什么样子等。传统数据库在数据Load过程中会事先计算好这些统计信息。并行计算中还需要考虑通讯代价。

需要指出是，由于imapla、Presto、HIVE等系统只是一个查询引擎，它们可以直接查询以普通文件方式存储在HDFS系统上的文件，因此这些系统一般无法使用索引和各种统计信息来进行物理执行计划的优化，这些系统一般只能在逻辑层进行一些基于规则静态优化。根据SHARK论文，SHARK系统支持根据前面一些节点计算获得的信息，来动态优化后面执行计划。

(3) 物化与流水线执行方法

一条SQL语句对开发人员而言，感觉只是一次调用，但是实际上在数据库内部，一条SQL语句执行其实是有多个操作符组合而成的的树型结构计算流。如下图：

针对该计算流有两种执行方式：一是基于物化或者是实体化执行方式，另外一种是基于数据流的执行方式。

第一种方法的过程是： 把各个操作运算排序，并把每个操作运算的输出的中间结果存储在磁盘上，直到被另外一个操作运算所...

对许多行业来说,大数据不再是“大忽悠”,其应用意味着从客户分析开始,通过真正了解客户需求,并预测未来行为,从而为客户提供更好的服务。

未来几年,全球数据量将呈指数级增长。据国际数据公司(IDC)统 计,全球数据总量预计2020年达到44ZB,中国数据量将达到8060EB,占全球 数据总量的18%。

如今,大数据已成为一项业务上优先考虑的工作任务,因为它能够对全 球整合经济时代的商务产生深远的影响。除了为应对长期存在的业务挑战提 供解决方案之外,大数据还为流程、组织、整个行业、甚至社会本身的转型 激发了许多新的方式。研究表明,72%的企业首选大数据应用需求是基于客 户行为分析的大数据营销,其次产品创新、风险预测、供应链管理、客户服 务等也是企业优先考虑的大数据应用。

传统的拍脑袋的决策方式和营销手段,对大数据时代消费模式的战略决策 已经不再那么适用,尤其是越到后来,市场、媒体、渠道成本就越高,企业所 换取的收益越来越少。那么,如何才能在新时代里,寻找到投资和回报的平衡 点,就需要利用大数据去预测消费者的行为,提高其购买力,从而获得利益。

大数据的核心就是预测,大数据能够预测体现在很多方面。大数据不是 要教机器像人一样思考,相反,它是把数学算法运用到海量的数据上来预测 事情发生的可能性。正因为在大数据规律面前,每个人的行为都跟别人一 样,没有本质变化,所以商家会比消费者更了消费者的行为。

沃尔玛是数据挖掘分析领域的先行者,建立了全新超大数据中心,利用 大数据技术和方法使得自己可以更好地优化物流、商品陈列和价格,还能够 对客户行为做出预测,巧妙利用顾客数据实现盈利增长的有效经验,推出有 前瞻性的促销。相类似的是,银行业、航空业、汽车业而今也在使用大数据 技术和方法来推进营销预测,这些行业中也不存在所谓线上渠道和线下渠道 之争,企业可以根据规划需要灵活投入,并捕捉实时数据进行动态调整。

《大数据变革:让客户数据驱动利润奔跑》一书的作者指出,包括已知行 为动机和必要的实际客户行为数据的细粒化市场图景,可以为企业提供更广泛 且有数据支持的客户价值理解,企业将可能因此实现恰当的、有针对性的向上 和交叉销售,促成替代效应,缩短客户数据反馈至研发和制造等环节的周期。 客户数据带来更多的客户价值,指的是数据能够帮助企业较为精准地找到单个 客户层级所处的市场,留住客户,促进客户的推荐,降低营销成本。

Automercados Plaza’s是委内瑞拉的一个家族式食品连锁店,拥有超过6TB 产品和客户数据,分布在不同系统和数据库中。因此,公司难以轻松地评估每个商店的运行情况,而且高管 知道他们需要从数据中获得 宝贵的洞察力。

Automercados Plaza’s公 司CIO Jesus Romero说:“在 定价、库存、销售、配送和 销售方面,我们面临着严重 的混乱。我们拥有近2000万美 元的库存,而且我们追踪不 同系统中的相关信息,并且 手动进行编辑。我们需要一 个整合的视图,以确切地了 解我们拥有什么。”

通过整合企业内的信息,这家食品连锁店的收入增加了近30%,年利 润提高了700万美元。Romero先生将这些成绩归功于更好的库存管理以及更 快适应不断变化的市场形势的能力。例如,公司避免了大约35%的产品的损 失,因为公司能够提前安排降价,在食物变质前将其销售出去。

一些成熟的企业可能会发现他们很难摆脱根深蒂固的做事方式,而初创 企业却有能力创造新的商业模式。

——免费数据收集器和聚合器:社交数据流服务提供商Gnip公司,通过 各种渠道收集数据,大部分都是免费的,然后对数据进行过滤和完善,并根 据客户需要的格式向他们提供数据。

——数据分析服务:这些公司通常为客户提供分析数据的服务,这些数 据通常是由客户提供的。例如Sendify公司,为企业提供实时的调用者情报, 所以当有电话打进时他们看到打电话的人的很多相关的附加信息,这会帮助 企业增加他们的销售机会。

——数据生成和分析:公司通过众包、智能手机或其他传感器生成自己的数 据,他们也提供分析服务。这个例子包括GoSquared Mixpanel和Spinnakr公司, 他们通过使用一个跟踪代码在他们客户的网站上收集数据,分析数据并使用web界面提供报告。

——免费数据知识发现:这个模式是免费提供数据和分析。例如,Gild公司通过自动评估应聘者发布的代码并进行打分,来帮助企业招聘开发人员。

——数据集成服务:这些公司从多个内部源获取数据并对数据进行汇总, 然后通过一系列用户友好、通常是可视化界面,将结果反馈给用户。在教育领域,从多个教育项目和网站汇总的数据时刻帮助教师监控学生的表现。

——多源数据混聚和分析:这些公司将客户提供的数据进行汇总,大多是 免费的数据源,并对客户数据进行分析,以丰富或基准数据。例如welovroi是 一个基于网络的数字营销公司,监控和分析工具能够使企业跟踪大量不同指标。它还能集成外部数据,并保证营销活动的成功的基准测试数据。

好产品是运营出来的,互联网产品需要不断运营、持续打磨。产品运营 的目的是为了扩大用户群、提高用户活跃度、寻找合适的商业模式并增加收 入。成功的互联网运营要做到精细化运营,成功的精细化运营需要大数据支 撑。大数据和互联网思维在此方面关联度最高。所以,企业在大数据的应用 场景上,一定是要优先考虑如何通过大数据进行精细化运营,以驱动更好的 运营效率和效果的提升。

欺诈是全球各地的保险公司面临的一个切实挑战。无论是大规模欺诈, 例如纵火,或者涉及到较小金额的索赔,例如虚报价格的汽车修理账单,欺 诈索赔每年可使企业支付数百万美元的费用,而且成本会以更高保费的形式转嫁给客户。保险公司不断应对欺诈,但法律诉讼和私人调查等传统方法不 仅费时,而且要支付高昂的费用。

作为南非最大的短期保险提供商,Santam切实感到保险欺诈的严重性。 欺诈损失占Santam客户每年保费的6%至10%。欺诈还有另外一个后果——运 行效率低下。由于代理必须处理并调查高风险和低风险索赔,所有索赔至少 需要三天才能解决,而且Santam开始感觉到,公司在客户服务方面的良好声 誉在客户希望快速获得结果的时代受到了损害。

通过采用先进的分析解决方案从收到的索赔中获取数据,Santam有能力 及早发现欺诈,根据已经确定的风险因素评估每个索赔,并且将索赔划分为 五个风险类别,并将可能的欺诈索赔和更高风险与低风险案例区分开。借助 新系统,公司不仅节省了数百万元的保险欺诈损失,而且显著缩短了低风险 索赔的处理时间,最终使某些客户的处理在不到一个小时内即可完成。在实 施后的前几个月内,Santam还发现了一个著名的汽车保险欺诈团伙。大数 据、预测分析和风险划分帮助公司识别出了导致欺诈监测的模式。

受应对业务挑战这一需求的推动,并且根据不断进步的技术和数据不断变化的特点,企业已经开始更深入地考察大数据的潜在收益。为了从大数据中获取更多价值,IBM商业价值研究院为企业实施大数据举措提供了如下的建议。

以客户为中心推动初始举措

最初的大数据举措必须注重能够为企业提供最大价值的领域,这一点势 在必行。对许多行业来说,这意味着从客户分析开始,通过真正了解客户需 求,并预测未来行为,从而为客户提供更好的服务。

全面数字化是有助于带来大数据迅猛发展的一个推动力,已经改变了个 人和组织之间的力量平衡。如果企业希望了解并向有能力的客户和市民提供 价值,他们必须集中精力将客户作为个体进行了解。企业还需要向新技术和 高级分析能力投资,以更好地了解各个客户的交互和偏好。

但是,当今的客户 ——包括最终消费者或者企业对企业客户,需要的不 仅仅是了解。要想有效地培养与客户之间有意义的关系,企业必须以客户认 为有价值的方式与客户联系。

价值可能来自更及时、更明智或者更相关的交互;也可能来自于企业通 过改进底层运作而增强交互的整体体验。无论来自何处,分析都有助于从大 数据中获得洞察力,这对于在这些关系中达到这一深度日益重要。

制定整个企业的大数蓝图

蓝图包含企业内的大数据愿景、战略和要求,对于在业务用户的需求与 IT实施路线图之间做到协调非常关键。它实现了关于企业如何利用数据改进 业务目标的一致理解。

有效的蓝图通过确定大数据适用的关键业务挑战、规定如何使用大数据 的业务流程要求,以及包含实现该蓝图所需数据、工具和硬件的架构,从而 定义了企业内大数据的范围。这是为指导企业以实用的方式,并以创造可持 续的商业价值为出发点,开发并实施大数据解决方案而制定蓝图的基础。

从现有数据开始,实现近期目标

要实现近期目标,同时为持续开展大数据项目创造发展动力和专业知 识,企业必须采取实用的方法。我们的调研表明,要开始寻求新的洞察力, 最具逻辑性和性价比的地点就是企业内部。

从内部着眼允许企业利用现有数据、软件和技能,提供近期业务价值, 并且在考虑提升现有的能力而处理更复杂的数据来源和类型之前积累重要的 经验。大多数企业希望通过这样做而充分利用现有存储库中的信息,同时扩 展其数据仓库,以处理更大数量和更多类型的数据。

根据业务优先级逐步建立分析能力

在世界范围内,越来越多的分析工具使企业目不暇接,同时企业也面临着分析技能的严重缺乏。大数据效率取决于消除这一巨大差距。简言之,企 业必须获取工具和技能。在这个过程中,随着分析、功能和IT技能的完美平 衡,预计新角色和事业模式将会出现。

关注内部分析人员的专业发展和事业进步,他们已经熟悉企业独特的业 务流程和挑战,这应是业务高管的首要任务。同时,大学和个人自身(无论什 么背景或专业)都有义务培养强大的分析技能。

基于可衡量的指标制定投资回报分析

制定综合且可行的大数据战略以及后续的路线图需要可靠且可量化的投 资回报分析。因此,一位或多位业务高管积极参与并支持这一流程非常重 要。要实现长期的成功,强大、持续的业务和IT的协作同样重要。

许多企业的投资回报分析基于以下可从大数据获得的益处:

更聪明的决策-利用新的数据源提高决策质量;

创造奇迹的决策-使大数据举措注重于那些能够提供真正差异化的领域。

这些建议中有一个基本原则:业务和IT专业人员必须在整个大数据实施过程中通力合作。最有效的大数据解决方案首先确定业务要求,然后定制基 础设施、数据源和量化分析,以支持该业务机会。