大数据是这个时代最热的话题，仿佛一夜春风来。经过几年的表演，仿佛又成为了烂大街的话题。那么对于我们每个人来说，到底何为大数据？它又跟我们每个人有什么关系呢？接下来我会带领大家一起找寻答案。

首先，有请度娘上场，它给出的定义如下：大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

然后是研究机构Gartner。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。

最后麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。

对比上面三个定义不知道细心的读者是什么感觉，晕？还是抽象？其实从定义中我们不难找出共同的关键字，例如常规、传统、新处理模式、信息资产。

那么我们抽象一下它的定义结构就是：

形容（传统）不能满足+需要（新处理模式）=大数据。

如果觉得还没有描述清晰大数据，我们再加入4v的定义。4v是指Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值)。结构变化如下：

形容（传统）不能满足+需要（新处理模式）=大数据+具有4v特征。

到这里的时候，大家应该对大数据的定义有了一个更加清晰的认识。那么为什么突然就大数据了呢？其是数据一直都在，只不过是记录数据的方式在变化。自古至今我认为可以简单分为四个阶段。

第一个阶段，以前没有IT前我们用书本等记录数据，这个时候受限于采集数据的手段单一、人生产数据的工作效率低以及分享的不便捷性，导致数据单一、量少。这个时候数据的特点是少量、价值密度高。

第二个阶段当有了IT技术后，我们把我们的工作数据和个人数据记录在服务器里面，这也就是信息化。例如银行的业务系统，企业的OA系统等，通过信息化引发的各种工作数据、业务数据开始进入到服务器中。这个时候的数据呈现出业务性特点。

第三个阶段当出现了互联网后，我们的数据开始加大、开始出现分享的文档、图片、视频等数据。这个时候数据开始出现大量、多样性、价值密度低等特点。

第四个阶段也就是我们目前所处的阶段，这其实也是由新技术以及环境的变化引发的现象。物联网的兴起带来了大量的高速的物联数据，例如gps设备、监控心跳和血压等设备。移动互联网导致我们以手机为终端实时产生大量的语音、图片、视频等多样性的数据，例如我们每天用微信聊天沟通，支付等。这个阶段的数据的特点是随时随地产生数据。真正达到了具备4V的特征。

所以说大数据跟我们每个人是息息相关的，你可以回想一下我们每个人每天的场景。我们带的穿戴式设备、用的智能家电、手机等设备，我们每天上下班的乘坐的交通工具，我们进入单位后的打卡数据、工作行为、上网行为、购物行为等。

在这个信息爆炸的时代我们每个人是一台生产数据的机器，全社会上的人都在源源不断地制造数据。这是个万物互联，数据连接的时代。换言之我们每个人都是大数据的缔造者。那么我们理所当然也应成为大数据的受益者，接下来会为大家娓娓道来。

Java的分支流程控制理解起来比较简单，如下所示：

如下案例实现一个简单的业务逻辑：从控制台输入一个数，如果大于0输出“正整数”，如果小于0输出“负整数”，如果等于0输出“零”。

如下用分支流程控制实现买饮料的业务，“0杯不卖，1杯以上，第二杯半价”，如下：

注：“+=”是一种简写方式，如下所示：

如下，我们再演示一个银行利率业务的例子：

switch-case语句如下图所示：

注：switch（开关），case（条件），break（跳出表达式）。

如下介绍一个经典案例，“根据分数判断优良中差”，如图所示：

注：在使用switch时有如下注意点：

1、Switch（表达式），只能是整数（int byte char short）表达式（switch不能处理long或其他类型）；

2、case条件只能是整数（int byte char short）常量，不能是变量及表达式；

3、case条件的内容可以为空（如上case10），如果为空，则继续执行下面的代码；

4、default表示如果没有满足case的条件的其他一切情况。

注意别忘记写break，会出现“穿透”（一直执行接下来的代码，直到遇到break或者本代码块执行结束）。

char类型的例子如图所示：

大数据这个词出现很久了，如今我们面临的大数据也在多样化、规模化和复杂性上不断“长大”，这篇文章不仅适用于数据科学家和学术研究人员，也适用于其他业务分析人员。为此，新的数据准备工作应该获得采用了，这将帮助业务用户更好地应对更大、更棘手的数据挑战。

本文将分享一些数据工作流程的最佳实践，以处理日益增长的数据量。

1、识别使用完整数据集所固有的限制

当数据通过电子表格的方式被提供时，业务分析师可以先用视觉扫描所有列和行，过滤掉已知的不相关值并运行计算，以便在将数据加载到BI工具进行可视化之前进行质量检查。但是，如何处理一个对你来说全新的数据集呢？如果面对检查一百万行和列的艰巨任务，又该怎么办呢？

在数据量极其庞大的情况下，一次处理所有数据是不切实际的。仅靠视觉不足以评估数据质量，当数据量超出系统硬件支持的范围时，用户每次编辑数据的尝试都可能使其数据处理工具卡死。相反，构建、清理和聚合庞大的数据集应该从更小、更易于管理的子集开始，从而实现快速探索、迭代和细化。分析师对手头业务问题的深刻了解可以加速对数据集的了解，以及逐渐将数据集演进到期望的最终目标。

2、创建广义规则来转换数据

在此情况下，逐个修改数据值是不切实际的。相反，抽象一个层次和设计相应的数据转换规则是有帮助的，可以将规则系统地应用于列或行。例如，不仅仅是更改单元格C25的值，您可以定义一个通用条件来标识包含非字母符号的列C中的值，然后应用编辑以删除列中的所有符号字符。这种方法就是利用更强大的计算系统在设计变换后处理大量数据的能力。

3、在设计过程中使用相关的数据子集

根据相对较小的数据子集设计理想的转换规则，可以让您以闪电响应的方式探索数据，进而更快地获得结论。当然，在准备过程的每个阶段，正确的选择数据子集都很重要。

首先要了解数据集，正确审查数据，可以从这几个方面考虑：我有正确的列吗？ 这些列是否包含正确的数据类型？ 值的范围和分布是否符合我的期望？ 大数据集中的随机抽样是否足以解决这些高级别问题等。之后，再确定后续的分析步骤。

假设有一部分数据需要修复，你自然会想放大一个感兴趣的特定子集，也许是针对数据质量问题的一组行定位，或者是将数据滚动到聚合结果表。这是深入了解数据的方式，与业务密切相关。在数据的当前状态和所需的最终目标之间，您可以具体说明与任务相关的数据。

4、验证和迭代

最后一步是验证结果，如有必要，还可进行细化和迭代。假设您将某些数据子集确定为理解和制定准备步骤的主要示例，则之后可能需要将更改应用于不同的示例。其次，在数据中搜索常见的、众所周知的错误，以查看是否可以设法纠正它。一旦你对结果比较自信，就可以对整个数据集进行更改。

与在数据集的较小样本上的即时反馈不同，此过程可能需要反复返回输出。一旦生成结果，查看输出的汇总统计信息是否对最终的验证检查有用。如果审查中表明了一些以前未被发现的问题，您也可以提取这些具体错误，并采取措施解决问题，进一步完善工作。这些迭代在大数据工作中是不可避免的 ，关键是系统有效地循环使用它们来获得最终结果。

结论

数据量的增长不会压倒一切方法，但确实需要一种不同的方法来有效地处理问题。通过逐行值检查不可能清理和准备较大的数据集，它涉及在多次迭代中改进的系统规则，使用正确的数据片段在每个阶段回答正确的问题，让业务用户能够快速、自行、及时地循环遍历迭代，以满足当今业务决策者的分析需求。

云呼叫

电话客服

销售人员

座席外包

云外包

编者按

随着“大数据”概念的不断普及，各行各业的形态正发生着深刻的改变。作为大数据的重要组成部分，语音大数据被广泛运用于保险、银行等拥有大量客服中心需求的行业。

作为保险公司的佼佼者，华安保险越来越重视客户服务，坐着大量的语音数据，却陷入对录音质检、数据分析及价值挖掘等方面的困扰。

而慧捷科技“语音大数据”的出现，给华安保险客户服务中心带来了福音。

本文主要从“全量语音质检”、“来电原因分析”和“潜在价值挖掘”三方面分析语音大数据对企业的影响：

1

全量语音自动质检

标准自动化

质检更公正

质检员对质检标准的理解因人而异，通过“全量语音质检”，座席对系统的自动评分更认可。

语音质检

事半功倍

过去质检单纯依靠人工听录音，而“全量语音自动质检”使质检员在质检录音时，界面上的文字和声音同步展现。

研究表明，眼睛看的记忆比耳朵听的记忆持续时间更长，质检效率会大幅提升。

自动质检

替代人工抽检

过去，保险行业的客服中心随机抽听一定比例的录音，随机抽听缺乏针对性，而华安保险采用语音自动质检取代人工抽检，质检评分由机器自动打分取代人工评分，从而实现全量语音质检工作。因此，系统出具的录音数据更全面。

更注重分析挖掘

不关注个人分数

通过全量质检的方式，关注的是整个呼叫中心的整体分值，而不仅仅关注个人分值，有利于提升整个呼叫中心的服务水平，因此培训更有针对性。

服务缺失

原因分析

传统的人工质检，无法统计静音时长，运用全量的语音质检，可以抓取静音时长，从而更全面地提升座席服务水平。

举例：

过去的呼叫中心很难统计静音时长，而通过慧捷语音大数据的语音全量质检分析，在和客户的沟通中存在着静音时长的情况，从侧面反映出座席是否存在技能缺失或者操作不熟练的情况，进行针对性的培训。

2

来电原因分析-报表支撑

过去客户只能从IVR（互动式语音应答）菜单、电话小结报表等数据统计每日来电原因，然而数据无法能确客户的主要来电意图。由于每通电话有多种诉求，因此，座席统计数据会存在较大偏差。

通过语音来电自动分析，慧捷语音大数据可以提取每通录音的不同诉求，从而进行来电原因报表的展现。企业更关注客户的需求点及变化，从而使呼叫中心人员分配更合理。

举例

华安保险推出“扶老人险”的业务，势必激增大量来电咨询相关条款，过去只能了解来电数量，而运用慧捷语音大数据，更深层次分析来电原因，报表出具的时效性也大大加快，企业人力配备也更具针对性。

因此，通过有效分析“来电原因”帮助企业洞察并明确客户的真实需求，进而采取正确行动优化业务流程，提高客户满意度，提升客服业务能力。

3

潜在价值挖掘

语音大数据的作用远不止简单的来电原因分析，更深远的意义在于信息的价值挖掘。通过服务通话录音数据价值挖掘，有效对内部服务体系流程进行全面监控及流程优化。通过锁定关键词和短语，系统自动挖掘客户潜在需求，具备一定营销价值。

通常，企业通过保全策略，收集和挽留退保客户的信息收集；对于来电咨询保险产品、活动、企业信息等问题的潜在客户，具备一定营销价值，客户跟进更有针对性。除了保全和营销的价值，慧捷的语音大数据还具有加保和二次营销的价值：

加保

A、报案过程中：报案不属于保险责任的客户，具备加保价值

B、呼入/回访过程中：损失金额较大/损失超保额的客户，具备加保价值

二次营销

A、报案过程中：单保交强/商业险的客户，具备二次营销价值B、呼入/回访过程中：对我司服务认可的客户，具备二次营销价值

C、退保客户：挽留或保全时针对客户需求销售产品，具备二次营销价值

4

小结：语音大数据

华安保险利用慧捷科技的语音大数据分析服务通过“全量语音自动质检”、“报表分析”和“挖掘潜在数据价值”，提高质检效率，透过数据分析手段，更精准地锁定目标客户，提高客户满意度，并进行精准营销和二次营销，为企业创造巨大的价值。

5

关于慧捷

作为专注于语音大数据分析的公司，慧捷科技能为客户带来重要的价值：提高客户满意度，提升企业运营效率，降低企业运营成本。

这些用户不仅仅在保险行业，政府、金融、教育、电商等行业都有我们的客户，慧捷在这里，期待您的参与：

为了更好资源合作，慧捷科技始终坚信智慧没有捷径，

合作才慧捷出，

一起慧捷资源！

2017跟一群靠谱的人，做靠谱的事！加入2017互联网大汇-异业合作社群就对啦！

工作或者创业路上，怕的不是挫折，所有的经验和试错都是我们自己的礼物，通过团结一群人一起做事，才可以把成长的事业做出生命力！

▼

工作或者创业路上，怕的不是挫折，所有的经验和试错都是我们自己的礼物，通过团结一群人一起做事，才可以把成长的事业做出生命力！

2017跟一群靠谱的人，做靠谱的事！

对许多行业来说,大数据不再是“大忽悠”,其应用意味着从客户分析开始,通过真正了解客户需求,并预测未来行为,从而为客户提供更好的服务。

未来几年,全球数据量将呈指数级增长。据国际数据公司(IDC)统 计,全球数据总量预计2020年达到44ZB,中国数据量将达到8060EB,占全球 数据总量的18%。

如今,大数据已成为一项业务上优先考虑的工作任务,因为它能够对全 球整合经济时代的商务产生深远的影响。除了为应对长期存在的业务挑战提 供解决方案之外,大数据还为流程、组织、整个行业、甚至社会本身的转型 激发了许多新的方式。研究表明,72%的企业首选大数据应用需求是基于客 户行为分析的大数据营销,其次产品创新、风险预测、供应链管理、客户服 务等也是企业优先考虑的大数据应用。

传统的拍脑袋的决策方式和营销手段,对大数据时代消费模式的战略决策 已经不再那么适用,尤其是越到后来,市场、媒体、渠道成本就越高,企业所 换取的收益越来越少。那么,如何才能在新时代里,寻找到投资和回报的平衡 点,就需要利用大数据去预测消费者的行为,提高其购买力,从而获得利益。

大数据的核心就是预测,大数据能够预测体现在很多方面。大数据不是 要教机器像人一样思考,相反,它是把数学算法运用到海量的数据上来预测 事情发生的可能性。正因为在大数据规律面前,每个人的行为都跟别人一 样,没有本质变化,所以商家会比消费者更了消费者的行为。

沃尔玛是数据挖掘分析领域的先行者,建立了全新超大数据中心,利用 大数据技术和方法使得自己可以更好地优化物流、商品陈列和价格,还能够 对客户行为做出预测,巧妙利用顾客数据实现盈利增长的有效经验,推出有 前瞻性的促销。相类似的是,银行业、航空业、汽车业而今也在使用大数据 技术和方法来推进营销预测,这些行业中也不存在所谓线上渠道和线下渠道 之争,企业可以根据规划需要灵活投入,并捕捉实时数据进行动态调整。

《大数据变革:让客户数据驱动利润奔跑》一书的作者指出,包括已知行 为动机和必要的实际客户行为数据的细粒化市场图景,可以为企业提供更广泛 且有数据支持的客户价值理解,企业将可能因此实现恰当的、有针对性的向上 和交叉销售,促成替代效应,缩短客户数据反馈至研发和制造等环节的周期。 客户数据带来更多的客户价值,指的是数据能够帮助企业较为精准地找到单个 客户层级所处的市场,留住客户,促进客户的推荐,降低营销成本。

Automercados Plaza’s是委内瑞拉的一个家族式食品连锁店,拥有超过6TB 产品和客户数据,分布在不同系统和数据库中。因此,公司难以轻松地评估每个商店的运行情况,而且高管 知道他们需要从数据中获得 宝贵的洞察力。

Automercados Plaza’s公 司CIO Jesus Romero说:“在 定价、库存、销售、配送和 销售方面,我们面临着严重 的混乱。我们拥有近2000万美 元的库存,而且我们追踪不 同系统中的相关信息,并且 手动进行编辑。我们需要一 个整合的视图,以确切地了 解我们拥有什么。”

通过整合企业内的信息,这家食品连锁店的收入增加了近30%,年利 润提高了700万美元。Romero先生将这些成绩归功于更好的库存管理以及更 快适应不断变化的市场形势的能力。例如,公司避免了大约35%的产品的损 失,因为公司能够提前安排降价,在食物变质前将其销售出去。

一些成熟的企业可能会发现他们很难摆脱根深蒂固的做事方式,而初创 企业却有能力创造新的商业模式。

——免费数据收集器和聚合器:社交数据流服务提供商Gnip公司,通过 各种渠道收集数据,大部分都是免费的,然后对数据进行过滤和完善,并根 据客户需要的格式向他们提供数据。

——数据分析服务:这些公司通常为客户提供分析数据的服务,这些数 据通常是由客户提供的。例如Sendify公司,为企业提供实时的调用者情报, 所以当有电话打进时他们看到打电话的人的很多相关的附加信息,这会帮助 企业增加他们的销售机会。

——数据生成和分析:公司通过众包、智能手机或其他传感器生成自己的数 据,他们也提供分析服务。这个例子包括GoSquared Mixpanel和Spinnakr公司, 他们通过使用一个跟踪代码在他们客户的网站上收集数据,分析数据并使用web界面提供报告。

——免费数据知识发现:这个模式是免费提供数据和分析。例如,Gild公司通过自动评估应聘者发布的代码并进行打分,来帮助企业招聘开发人员。

——数据集成服务:这些公司从多个内部源获取数据并对数据进行汇总, 然后通过一系列用户友好、通常是可视化界面,将结果反馈给用户。在教育领域,从多个教育项目和网站汇总的数据时刻帮助教师监控学生的表现。

——多源数据混聚和分析:这些公司将客户提供的数据进行汇总,大多是 免费的数据源,并对客户数据进行分析,以丰富或基准数据。例如welovroi是 一个基于网络的数字营销公司,监控和分析工具能够使企业跟踪大量不同指标。它还能集成外部数据,并保证营销活动的成功的基准测试数据。

好产品是运营出来的,互联网产品需要不断运营、持续打磨。产品运营 的目的是为了扩大用户群、提高用户活跃度、寻找合适的商业模式并增加收 入。成功的互联网运营要做到精细化运营,成功的精细化运营需要大数据支 撑。大数据和互联网思维在此方面关联度最高。所以,企业在大数据的应用 场景上,一定是要优先考虑如何通过大数据进行精细化运营,以驱动更好的 运营效率和效果的提升。

欺诈是全球各地的保险公司面临的一个切实挑战。无论是大规模欺诈, 例如纵火,或者涉及到较小金额的索赔,例如虚报价格的汽车修理账单,欺 诈索赔每年可使企业支付数百万美元的费用,而且成本会以更高保费的形式转嫁给客户。保险公司不断应对欺诈,但法律诉讼和私人调查等传统方法不 仅费时,而且要支付高昂的费用。

作为南非最大的短期保险提供商,Santam切实感到保险欺诈的严重性。 欺诈损失占Santam客户每年保费的6%至10%。欺诈还有另外一个后果——运 行效率低下。由于代理必须处理并调查高风险和低风险索赔,所有索赔至少 需要三天才能解决,而且Santam开始感觉到,公司在客户服务方面的良好声 誉在客户希望快速获得结果的时代受到了损害。

通过采用先进的分析解决方案从收到的索赔中获取数据,Santam有能力 及早发现欺诈,根据已经确定的风险因素评估每个索赔,并且将索赔划分为 五个风险类别,并将可能的欺诈索赔和更高风险与低风险案例区分开。借助 新系统,公司不仅节省了数百万元的保险欺诈损失,而且显著缩短了低风险 索赔的处理时间,最终使某些客户的处理在不到一个小时内即可完成。在实 施后的前几个月内,Santam还发现了一个著名的汽车保险欺诈团伙。大数 据、预测分析和风险划分帮助公司识别出了导致欺诈监测的模式。

受应对业务挑战这一需求的推动,并且根据不断进步的技术和数据不断变化的特点,企业已经开始更深入地考察大数据的潜在收益。为了从大数据中获取更多价值,IBM商业价值研究院为企业实施大数据举措提供了如下的建议。

以客户为中心推动初始举措

最初的大数据举措必须注重能够为企业提供最大价值的领域,这一点势 在必行。对许多行业来说,这意味着从客户分析开始,通过真正了解客户需 求,并预测未来行为,从而为客户提供更好的服务。

全面数字化是有助于带来大数据迅猛发展的一个推动力,已经改变了个 人和组织之间的力量平衡。如果企业希望了解并向有能力的客户和市民提供 价值,他们必须集中精力将客户作为个体进行了解。企业还需要向新技术和 高级分析能力投资,以更好地了解各个客户的交互和偏好。

但是,当今的客户 ——包括最终消费者或者企业对企业客户,需要的不 仅仅是了解。要想有效地培养与客户之间有意义的关系,企业必须以客户认 为有价值的方式与客户联系。

价值可能来自更及时、更明智或者更相关的交互;也可能来自于企业通 过改进底层运作而增强交互的整体体验。无论来自何处,分析都有助于从大 数据中获得洞察力,这对于在这些关系中达到这一深度日益重要。

制定整个企业的大数蓝图

蓝图包含企业内的大数据愿景、战略和要求,对于在业务用户的需求与 IT实施路线图之间做到协调非常关键。它实现了关于企业如何利用数据改进 业务目标的一致理解。

有效的蓝图通过确定大数据适用的关键业务挑战、规定如何使用大数据 的业务流程要求,以及包含实现该蓝图所需数据、工具和硬件的架构,从而 定义了企业内大数据的范围。这是为指导企业以实用的方式,并以创造可持 续的商业价值为出发点,开发并实施大数据解决方案而制定蓝图的基础。

从现有数据开始,实现近期目标

要实现近期目标,同时为持续开展大数据项目创造发展动力和专业知 识,企业必须采取实用的方法。我们的调研表明,要开始寻求新的洞察力, 最具逻辑性和性价比的地点就是企业内部。

从内部着眼允许企业利用现有数据、软件和技能,提供近期业务价值, 并且在考虑提升现有的能力而处理更复杂的数据来源和类型之前积累重要的 经验。大多数企业希望通过这样做而充分利用现有存储库中的信息,同时扩 展其数据仓库,以处理更大数量和更多类型的数据。

根据业务优先级逐步建立分析能力

在世界范围内,越来越多的分析工具使企业目不暇接,同时企业也面临着分析技能的严重缺乏。大数据效率取决于消除这一巨大差距。简言之,企 业必须获取工具和技能。在这个过程中,随着分析、功能和IT技能的完美平 衡,预计新角色和事业模式将会出现。

关注内部分析人员的专业发展和事业进步,他们已经熟悉企业独特的业 务流程和挑战,这应是业务高管的首要任务。同时,大学和个人自身(无论什 么背景或专业)都有义务培养强大的分析技能。

基于可衡量的指标制定投资回报分析

制定综合且可行的大数据战略以及后续的路线图需要可靠且可量化的投 资回报分析。因此,一位或多位业务高管积极参与并支持这一流程非常重 要。要实现长期的成功,强大、持续的业务和IT的协作同样重要。

许多企业的投资回报分析基于以下可从大数据获得的益处:

更聪明的决策-利用新的数据源提高决策质量;

创造奇迹的决策-使大数据举措注重于那些能够提供真正差异化的领域。

这些建议中有一个基本原则:业务和IT专业人员必须在整个大数据实施过程中通力合作。最有效的大数据解决方案首先确定业务要求,然后定制基 础设施、数据源和量化分析,以支持该业务机会。

人工智能是近年来科技发展的重要方向，在大数据时代，对数据采集、挖掘、应用的技术越来越受到瞩目。在人工智能和大数据的开发过程中，有哪些特别需要注意的要点?

人工智能领域的算法大师、华盛顿大学教授Pedro Domingos对此进行了深入思考。

在我们新近翻译的《智能Web算法》(第2版)中，对Pedro Domingos教授的观点进行了高度的概括，提炼出12个注意点，为行业开发实践提供了重要参考：

注意点1：你的数据未必可靠

在实际应用中，有很多各种各样的原因会导致你的数据是不可靠的。因此，当你将数据用于解决问题前，必须经常留心来检查数据是否值得信赖。如果基于糟糕的数据来挖掘，无论多么聪明的人也永远只会获得糟糕的结果。下面列举了一些常见的可导致数据可靠性问题的因素：

用于开发的数据，往往和实际情况下的数据分布不同。例如也许你想把用户按照身高划分为“高”、“中等”、“矮”三档，但如果系统开发时使用的数据集里最低用户的身高是6英尺(184cm)，那么很有可能你开发出来的系统里会把一个“仅有6英尺”的用户称为“矮”用户

你的数据集中存在很多缺失数据。事实上，除非是人为构造的数据集合，否则很难避免缺失数据问题的发生，如何处理数据缺失的问题是很有技巧的事情。实践中我们要么是干脆丢弃一部分残缺的数据，要么就是想办法计算一些数值去填补这些缺失值。

无论哪种方法都可能导致应用结果的不稳定

你的数据可能随时在变化。数据库的表结构可能会变，数据定义也可能会变

你的数据可能没有被归一化。假设你可能在观察一组用户的体重，为了能够获得有效的结论，首先需要对每个体重的衡量单位进行归一化，是英镑还是公斤，不能混淆着用

你的数据可能并不适用于相应的算法。数据存在着各种各样的形式和规范，或者叫数据类型(data types)，有些是数值化的数据，有些则不是。有些数据集合能被有序排列，有些则做不到。有些是离散化的数据(例如房间里的人数)，另一些则是连续化的(例如气温或者气压等数据)

注意点2：计算难以瞬间完成

完成任何一个人工智能解决方案的计算，都需要一定的时间，方案的响应速度，对商业应用的成功与否起到十分关键的作用。不能总是盲目假设任何算法在所有数据集上都一定能在规定时间内完成，你需要测试下算法的性能是否在可接受的应用范围内。

以搜索引擎为例，用户对结果返回的时长是有忍耐的限度的。如果用户等待的时间超过10秒，50%的用户会流失，如果等待时间超过1分钟，90%以上的用户会流失。在开发智能应用系统时，不能为了达到更好的算法精度而忽略系统运算和等待的时间，否则会导致整个产品的失败。

注意点3：数据的规模非常重要

当我们考虑智能应用时，数据规模是很重要的因素。数据规模的影响可以分为两点来考察：第一点是规模会影响应用系统的响应速度，上一节我们刚提过;第二点是在很大的数据集上的挖掘出有价值结果的能力会受到考验。例如为100个用户开发的电影或音乐推荐系统可能效果很好，但是同样的算法移植到有着100000个用户的环境里，效果可能就不尽如人意了。

其次，使用更多的数据来训练的简单算法，比受制于维度诅咒(Dimension Curse)的复杂算法往往有好得多的效果。类似Google这样拥有海量数据的大型企业，优秀的应用效果不仅来自于精妙复杂的算法，也来自于其对海量训练数据的大规模分析挖掘。(达观数据 陈运文)

注意点4：不同的算法具有不同的扩展能力

我们不能假设智能应用系统都可以通过简单增加服务器的方法来扩展性能。有些算法是有扩展性的，而另一些则不行。

例如如果我们要从数亿的文章标题里，找出标题相似的各个组的文章，注意并不是所有的聚类算法此时都能并行化运行的，你应该在设计系统的同时就考虑可扩展性。有些情况下你需要将数据切分成较小的集合，并能够让智能算法在各个集合上并行运行。设计系统时所选择的算法，往往需要有并行化的版本，而在一开始就需要将其纳入考虑，因为通常围绕着算法还会有很多相关联的商业逻辑和体系结构需要一并考虑。

注意点5：并不存在万能的方法

你可能听说过一句谚语“当你有了把榔头的时候，看什么东西都像钉子”，这里想表达的意思是：并不存在能够解决所有智能应用问题的万能算法。

智能应用软件和其他所有软件类似——具有其特定的应用领域和局限性。当面对新的应用领域时，一定要充分的验证原有方法的可行性，而且你最好能尝试用全新的视角来考察问题，因为不同的算法在解决特定的问题时才会更有效和得当(达观数据 陈运文)。

注意点6：数据并不是万能的

根本上看，机器学习算法并不是魔法，它需要从训练数据开始，逐步延伸到未知数据中去。

例如假设你已经对数据的分布规律有所了解，那么通过图模型来表达这些先验的知识会非常有效。除了数据以外，你还需要仔细的考虑，该领域有哪些先验知识可以应用，这对开发一个更有效的分类器会很有帮助。数据和行业经验结合往往能事半功倍。

注意点7：模型训练的时间差异很大

在特定应用中，可能某些参数的微小变化就会让模型的训练时间出现很大的差异。例如在深度神经网络训练时就会有各种各样的参数调节的情况发生。

人们往往会直观地觉得调整参数时，训练时间是基本稳定不变的。例如假设有个系统是计算地球平面上任意两点之间的距离的，那么任意给出两个点的坐标时，计算时间差不多都是相同的。但在另一些系统里却并非如此，有时细微的调整会带来很明显的时间差异，有时差异甚至可以大到数小时，而不是数秒。

注意点8：泛化能力是目标

机器学习实践中最普遍存在的一个误区是陷入处理细节中而忘了最初的目标——通过调查来获得处理问题的普适的方法。

测试阶段是验证某个方法是否具备泛化能力(generalization ability)的关键环节(通过交叉验证、外部数据验证等方法)，但是寻找合适的验证数据集不容易。如果在一个只有几百个样本的集合上去训练有数百万维特征的模型，试图想获得优秀的精度是很荒唐的。

注意点9：人类的直觉未必准确

在特征空间膨胀的时候，输入信息间形成的组合关系会快速增加，这让人很难像对中等数据集合那样能够对其中一部分数据进行抽样观察。更麻烦的是，特征数量增加时人类对数据的直觉会迅速降低。

例如在高维空间里，多元高斯分布并不是沿着均值分布，而是像一个扇贝形状围绕在均值附近，这和人们的主观感受完全不同。在低维空间中建立一个分类器并不难，但是当维度增加时，人类就很难直观的理解了。

注意点10：要考虑融入更多新特征

你很可能听说过谚语“进来的是垃圾，出去的也是垃圾”(garbage in, garbage out)，在建立机器学习应用中这一点尤其重要。为了避免挖掘的效果失控，关键是要充分掌握问题所在的领域，通过调查数据来生成各种各样的特征，这样的做法会对提升分类的准确率和泛化能力有很大的帮助。仅靠把数据扔进分类器就想获得优秀结果的幻想是不可能实现的。

注意点11：要学习各种不同的模型

模型的组合(Ensemble)技术正变得越来越流行了，因为组合方法，仅需要付出少许偏见(bias)的代价，就能大大的减少算法的不确定性。在著名的Netflix算法竞赛中，冠军队以及成绩优异队伍们全都使用了组合模型方法，把超过100个模型合并在一起(在模型上叠加高层的模型形成组合)以提升效果。在人工智能用于实际应用时，从业者普遍都认为，未来的算法一定时会通过模型组合的方法来获得更好精度，但是这也会抬高非专业人员理解系统机制的门槛。

注意点12：相关关系不等同于因果关系

这一点值得反复强调，我们可以通过一句调侃的话来解释：“地球变暖、地震、龙卷风，以及其他自然灾害，都和18世纪以来全球海盗数量的减少有直接关系”。这两个变量的变化有相关性，但是并不能说存在因果关系，因为往往存在第三类(甚至第4、5类)未被观察到的变量在起作用。相关关系应该看作是潜在的因果关系的一定程度的体现，但需要进一步研究。

在开发人工智能与大数据应用系统时，把握好以上十二个注意点，能够有效避免实战中的各种“坑”，帮助技术在走出实验室，走向落地应用时，能发挥更加健壮、强大的作用。

前言

现在市面上的大数据产品太多了，但它们还远远没达到像IaaS层那样的标准化程度，每个产品之间的差别也并不是特别明确清晰。很多企业在做大数据平台或大数据方案的时候，常常不知道该选用哪些产品来满足自己的需求。一般的做法是做调研、学习、搭环境、测试、做各种产品的集成，但通常这个过程会很漫长，成本也很高。

我们希望这些事情都交给云平台来做，云上所有的产品都可以一键部署、一键伸缩，不论是加节点还是减节点都能够在UI界面上直接操作。对于一个企业来说，真正的核心是自己的业务，而不需要花太多的时间搞明白到底该用哪些工具搭建、部署、管理大数据。大数据产品的运维和管理，应该交给更专注、具有更大规模效益的大数据服务厂商，用户只需聚焦于自己的业务。本文来自青云QingCloud大数据平台架构师李威（Jordan）在青云QingCloud深圳站实践课堂上的分享，全文3158字，阅读时长约为13分钟。

QingCloud基础架构云和技术平台云

QingCloud提供了一个完整的基础架构云和技术平台云，这里面分了很多层，最下面一层是大家熟知的IaaS层，包括标准的计算、存储、网络。网络里还有路由器、负载均衡等，存储里面有块存储、共享存储、对象存储等各种面向不同场景的存储服务，计算中有主机、容器、映象等计算资源。

IaaS层上面是PaaS，QingCloud在几年前就开始做PaaS平台，有一个原则贯穿始终——QingCloud的PaaS服务需要全部基于IaaS，这样做的好处是可以将QingCloudIaaS层所有的技术创新，如资源调度、SDN网络、性能优化，都透过IaaS层被PaaS享用，QingCloud的架构是一套统一的架构。

此外，QingCloud在PaaS层之上还提供了一些高级的管理服务，如编排、定时器、监控告警等以及客户部署的各种类型服务（如VPC、专属云、托管云）。

QingCloud完整的企业级大数据平台

QingCloud的大数据平台包含了完整的数据生命周期：负责数据传输的有Kafka；数据传进来之后可以存储在对象存储、HBase、MongoDB；负责从存储里拿出数据进行计算处理的有主流的实时处理工具Storm、准实时处理工具Spark、批处理工具Hadoop、Hive等；还有一些在公有云上用量非常大的大数据组件：如Elasticsearch，性能和业务性很强，场景非常明确，只要做大数据、海量数据搜索都非常易用，以及Redis、Memcached、ZooKeeper等离用户比较近的大数据产品。

由于QingCloud是一家云服务商，所以提供的大数据平台是一个通用的服务，这与美团、小米、百度等互联网公司的大数据概念不太一样，它们的平台中会有很多与自己业务相关的东西。而QingCloud是在云上给所有的用户提供服务，所提供的这套大数据平台是一个通用的架构，每个组件之间的关系都非常灵活。QingCloud主要提供主流的大数据组件和组件之间关系的管理。

大数据产品如何选型？

很多用户在面对大数据时都会遇到一个相同的问题，应该选用什么产品？其实这个问题没有一个百分之百确定的答案，下面我们将会从各个维度来解析当前主流的大数据产品：

实时流处理引擎对比

实时流处理引擎主流的产品有Storm、StormTrident、SparkStreaming、SAMZA、Flink等，在选择它们时可以考虑的维度很多，比如说消息的传递机制保护（Guarantees）有At-least-once（至少传输一次，它带来的结果是消息的重发）和Exactly-once（消息一定只处理一次，无论是在出错的情况还是其他的情况下）的区别；Latency（延迟）方面，如Storm是通过Native实现的流处理，延迟非常低。而SparkStreaming是通过Micro-batching实现的，它会把一段时间内的流组成小批量地处理，这样它的延迟就会高一些；吞吐量（Throughput）方面，Storm的Native吞吐量没有那么高，SparkStreaming的吞吐量就会很高。

一个企业的架构师或者方案的设计者在选型这些产品的时候，需要平衡自身流处理的业务到底在意什么维度，是在意吞吐量、性能，还是在意消息的处理机制。

存储-HBasevsCassandra

HBase和Cassandra是两个非常接近的产品，很多人对它们可能不是很熟。它们都是列存储，都可以处理海量的数据，读写性能都非常好。但它们也有很多维度可以对比，首先是一致性，HBase是基于行的强一致性，Cassandra则是最终一致性，如果在中间的某个点写入数据的时候去读取，有可能不会读到最新数据；

稳定性方面，HBase有自己的HMaster、NamenodeHA，Cassandra是P2P的架构，去中心化，没有单点故障；分区策略方面，HBase是基于主键有序排列的范围分区，Cassandra是一致性Hash排列，可自定义策略；可用性，HBase是Down掉一台短暂不可读写，Cassandra是Down掉可继续读写。

从这些对比可以明显地看出来，HBase牺牲了可用性，注重强一致性，Cassandra有高可用性，没有强一致性。因此，在应用场景方面，HBase由于有强一致性，它可以做一些OLTP类型、交易类型的工作。Cassandra因为并发读写的量比较大，性能比较强，但是数据不要求强一致性，不要求数据时时刻刻精准和统一，可以做监控数据的存储。

常用Ad-hoc&OLAP查询分析产品对比

常用的数据仓库Ad-hoc和OLAP产品也非常多，在选择的时候可以从三个维度来衡量——数据量、灵活性和性能。

Hive：

基于MapReduce，可以处理海量数据，查询灵活，但性能较低；

Phoenix+HBase：

也可以处理海量数据，性能高，但查询只能通过Rowkey查询，灵活性较差；

Elasticsearch：

可以用来做数据分析和日志分析等应用场景，特点是查询灵活、性能高，但是它目前还支持不了海量数据，只能支撑TB级数据。这个原因主要是和它的架构有关系，Elasticsearch属于全链接的结构，所有节点之间都有通信，这应该是影响扩展性的一个原因；

Kylin：

百度、小米、美团等互联网企业都会用它来做数据仓库的分析，它可以处理海量数据，性能也很高，但是灵活性较低。由于Kylin采用的是预聚合查询，在数据仓库中需要把你要算的cube的维度和事实预先计算好，存到Hbase里面才能达到很高的性能，这导致它就丧失了灵活性；

Druid：

海量数据、性能、查询灵活都满足了，但是它也有一个限制，数据来源的每条记录里必须有一个Timestand，它是时序数据的处理，更多的被应用在实时处理的场景，比如广告分析；

HashData（GreenPlum）：

GreenPlum是一个传统的数据仓库，三个创始人依次是雅虎Hadoop团队的研发、全球Hadoop集群的运维和GreenPlum的核心研发工程师。他们在Apache上开源了一个基于Hadoop的数据仓库项目——Apachehook，在这个项目中他们贡献了一半以上的代码。所以，该团队在数据仓库的技术研发能力是很强的，与QingCloud一起实现HashData，这款产品查询灵活，性能高。但是它的局限是只能处理结构化的数据，不能处理非结构化数据。

计算与存储关系的思考

做大数据肯定会想到一个问题——大数据的数据到底放在什么地方？是放在硬盘里还是放在对象存储里？如果放在本地的话性能倒是可以满足，但是容量又不够。而放在对象存储里，容量可以无限扩展，但是性能肯定又没有本地硬盘快。例如Hadoop或者Spark，下面的数据如果放在本地机器或集群相关的存储上，它就拥有了大数据中数据本地性这个特性。但是这样做也会有问题，碰到海量小文件就不行了。这个问题谁能帮你解决？对象存储。对象存储针对小文件有专门的合并和优化，问题可以迎刃而解。

所以，QingCloud要做的就是让计算和数据不仅可以在一起，还可以分开。当数据量达到PB级以上的时候，数据存到IaaS和PaaS之上的分布式存储里成本也很高，这个时候就需要对象存储方案，将很久不用的历史数据和海量小文件都存在对象存储里。当你需要计算的时候，你有两个选择，如果不考虑实时性或者性能的话，你就可以直接在对象存储上面计算。如果需要高性能，可以将数据拉在HDFS上计算，这样就会变得很灵活。

那么，计算和存储的关系到底是什么呢？我们的理解是，当你想要性能的时候，就让它们在一起。当需要大批量计算处理的时候，就让它们分开。以前我们面对的是一个Hadoop集群或一个Spark集群，数据是到处分散的，而将数据都放在对象存储后，可以做到数据不动、计算随便动，计算引擎可以是Hadoop、Spark、Hive，它们都针对同一份数据进行计算。

大数据案例分析

QingCloud在线业务大数据分析流程图

QingCloud会用自己的大数据服务做业务、市场、销售的分析。我们会将一些线上数据库的数据进行解析、同步，包括典型的ETL处理，数据处理完存在HDFS里面，之后由Spark进行计算，最后把处理结果存到对于业务来说易于使用的产品，如PostgreSQL、Elasticsearch，通过API-server曝露给前端使用。这是一个比较典型的大数据分析流程，我们用它来验证QingCloud大数据平台提供的各种服务。

某大型互联网社交平台

这是一个在QingCloud公有云上运行的大型的互联网社交平台，架构非常典型，它有一个数据的服务层，下面可以处理MySQL、缓存、Elasticsearch、MongoDB等数据存储，下面的数据层有ZooKeeper和Kafka，可以将应用级系统日志等信息输入到Spark平台上进行分析，如对于系统推荐的好有，用户是否添加了好友等。

某创新型综合金融公司

这是一个QingCloud的私有云案例，QingCloud可以将自己的整个软件全部部署到用户自己的环境当中去，架构主要有三大块：数据的抽取、数据处理、数据服务。数据源涵盖日志、关系型数据，还有一些ETL工具、日志处理框架、实时数据同步系统。中间有离线计算、实时计算。计算完之后会提供给离线服务，比如Hive、Spark，进行内部的数据分析。同时，还有一些在线服务，性能比较高、易用性比较好的服务。

这些案例的架构千奇百怪，但是仔细看其实都差不多，都分成数据的来源、收集、传输、计算、存储等架构，只不过具体用到的每个产品不一样，这和它的场景是相关的。对于QingCloud来说，无论用户是传统企业还是互联网企业，我们都能够提供一套非常灵活的大数据平台，满足任何一种应用场景的需求。

QingCloud大数据平台Rodmap

大数据平台管理架构

当大数据组件特别多的时候，需要有一个单独的平台来管理。QingCloud会提供一个界面执行一些Hive、SQL、Spark的脚本，在这个平台上你可以看到Storm和ZooKeeper数据的信息，存储可以直接从浏览器、HDFS、对象存储看到文件的结构，可以提交HBase实时的查询，可以看Kafka传输队列里现在的数据结构是什么样的。所以，它相当于一个管理的UI，你可以管理很多大数据的组件。以前用户需要分散管理这些组件，当系统比较复杂的时候，易用性就会变得比较差。

大数据平台+AppCenter2.0

大数据技术发展太快了，QingCloud面临一个困境：大数据产品是无穷无尽的，我们不可能把所有的产品提供出来，但是如果用户需要，我们怎么办？

第一，QingCloud的大数据平台也会通过QingCloudAppCenter交付。如Hadoop、Spark、Elasticsearch等产品都将是AppCenter中的一个APP，当你需要一些非常典型的组合的时候，它也可以作为一个组合的APP出现在AppCenter上。对于用户来说，大数据产品的易用性会大大增强。QingCloudAppCenter不但提供APP的开发框架，它还提供APP运营的框架，你可以在APP上进行编排，将几个简单的APP拼装成一个大的APP。

第二，大数据的场景太多了，如果QingCloud提供的没有你想用的怎么办？也很简单，如果你对这个产品非常熟，可以用QingCloudAppCenter框架将其做成一个云应用，提供给别人使用。这个概念非常接近于苹果的Appstore中的APP开发者，如果你是一个企业用户或者在大数据领域中技能很强的个人开发者，就可以在QingCloud之上利用AppCenter框架在短期之内把你熟悉的大数据产品变成一个云服务，放在QingCloud的AppCenter上提供给所有人使用。

这样的事情在以前完全是不可想象的，即使做也需要花非常大的成本，QingCloudAppCenter可以帮你在几天之内将已有的产品变成云服务。同时，云服务的运营管理、生命周期框架都内置于AppCenter中。

『充电时间』实践课堂第三季已经开始了，本次课程内容仍以技术实践为主，以用户场景为切入带你，主要围绕QingCloud的技术理念、功能特性和使用技巧展开，话题将涵盖如何高效构建原生云应用，云端容器部署，微服务架构，应用感知，自动化运维等业内热点话题。

科学进步越来越多地由数据来推动，海量数据给数据分析既带来了机遇，也构成了新的挑战。大数据往往是利用众多技术和方法，综合源自多个渠道、不同时间的信息而获得的。究竟大数据技术的核心原理是哪几方面呢？

数据即价值是目前计算机领域极其推崇的观念。数据无论多少都被归结为大数据，数据分析越来越热门，资本也对贴有大数据标签的公司趋之若鹜。如同流动的数字货币一样被一再的评估、追崇。数据能告诉我们，每一个客户的消费倾向，他们想要什么，喜欢什么，每个人的需求有哪些区别，哪些又可以被集合到一起来进行分类。

数据核心原理：从“流程”核心转变为“数据”核心

大数据时代，计算模式也发生了转变，从“流程”核心转变为“数据”核心。Hadoop体系的分布式计算框架已经是“数据”为核心的范式。非结构化数据及分析需求，将改变IT系统的升级方式：从简单增量到架构变化。大数据下的新思维——计算模式的转变。

科学进步越来越多地由数据来推动，海量数据给数据分析既带来了机遇，也构成了新的挑战。大数据往往是利用众多技术和方法，综合源自多个渠道、不同时间的信息而获得的。为了应对大数据带来的挑战，我们需要新的统计思路和计算方法。

数据价值原理：有功能是价值转变为数据是价值

大数据真正有意思的是数据变得在线了，这个恰恰是互联网的特点。非互联网时期的产品，功能一定是它的价值，今天互联网的产品，数据一定是它的价值。

数据能告诉我们，每一个客户的消费倾向，他们想要什么，喜欢什么，每个人的需求有哪些区别，哪些又可以被集合到一起来进行分类。大数据是数据数量上的增加，以至于我们能够实现从量变到质变的过程。

全样本原理：从抽样转变为需要全部数据样本

需要全部数据样本而不是抽样，你不知道的事情比你知道的事情更重要，但如果现在数据足够多，它会让人能够看得见、摸得着规律。

数据这么大、这么多，所以人们觉得有足够的能力把握未来，对不确定状态的一种判断，从而做出自己的决定。这些东西我们听起来都是非常原始的，但是实际上背后的思维方式，和我们今天所讲的大数据是非常像的。

关注效率原理：由关注精确度转变为关注效率

关注效率而不是精确度，大数据标志着人类在寻求量化和认识世界的道路上前进了一大步，过去不可计量、存储、分析和共享的很多东西都被数据化了，拥有大量的数据和更多不那么精确的数据为我们理解世界打开了一扇新的大门。大数据能提高生产效率和销售效率，原因是大数据能够让我们知道市场的需要，人的消费需要。大数据让企业的决策更科学，由关注精确度转变为关注效率的提高，大数据分析能提高企业的效率。

竞争是企业的动力，而效率是企业的生命，效率低与效率高是衡量企来成败的关键。一般来讲，投入与产出比是效率，追求高效率也就是追求高价值。手工、机器、自动机器、智能机器之间效率是不同的，智能机器效率更高，已能代替人的思维劳动。智能机器核心是大数据制动，而大数据制动的速度更快。在快速变化的市场，快速预测、快速决策、快速创新、快速定制、快速生产、快速上市成为企业行动的准则，也就是说，速度就是价值，效率就是价值，而这一切离不开大数据思维。

关注相关性原理：由因果关系转变为关注相关性

关注相关性而不是因果关系，社会需要放弃它对因果关系的渴求，而仅需关注相关关系，也就是说只需要知道是什么，而不需要知道为什么。这就推翻了自古以来的惯例，而我们做决定和理解现实的最基本方式也将受到挑战。

在这个不确定的时代里面，等我们去找到准确的因果关系，再去办事的时候，这个事情早已经不值得办了。所以“大数据”时代的思维有点像回归了工业社会的这种机械思维——机械思维就是说按那个按钮，一定会出现相应的结果，是这样状态。而农业社会往前推，不需要找到中间非常紧密的、明确的因果关系，而只需要找到相关关系，只需要找到迹象就可以了。社会因此放弃了寻找因果关系的传统偏好，开始挖掘相关关系的好处。

非法在屋内打隔断的建筑物着火的可能性比其他建筑物高很多。纽约市每年接到2.5万宗有关房屋住得过于拥挤的投诉，但市里只有200名处理投诉的巡视员，市长办公室一个分析专家小组觉得大数据可以帮助解决这一需求与资源的落差。该小组建立了一个市内全部90万座建筑物的数据库，并在其中加入市里19个部门所收集到的数据：欠税扣押记录、水电使用异常、缴费拖欠、服务切断、救护车使用、当地犯罪率、鼠患投诉，诸如此类。

接下来，他们将这一数据库与过去5年中按严重程度排列的建筑物着火记录进行比较，希望找出相关性。果然，建筑物类型和建造年份是与火灾相关的因素。不过，一个没怎么预料到的结果是，获得外砖墙施工许可的建筑物与较低的严重火灾发生率之间存在相关性。利用所有这些数据，该小组建立了一个可以帮助他们确定哪些住房拥挤投诉需要紧急处理的系统。他们所记录的建筑物的各种特征数据都不是导致火灾的原因，但这些数据与火灾隐患的增加或降低存在相关性。这种知识被证明是极具价值的：过去房屋巡视员出现场时签发房屋腾空令的比例只有13%，在采用新办法之后，这个比例上升到了70%——效率大大提高了。

全世界的商界人士都在高呼大数据时代来临的优势：一家超市如何从一个17岁女孩的购物清单中，发现了她已怀孕的事实；或者将啤酒与尿不湿放在一起销售，神奇地提高了双方的销售额。大数据透露出来的信息有时确实会起颠覆。比如，腾讯一项针对社交网络的统计显示，爱看家庭剧的男人是女性的两倍还多；最关心金价的是中国大妈，但紧随其后的却是90后。而在过去一年，支付宝中无线支付比例排名前十的竟然全部在青海、西藏和内蒙古地区。

预测原理：从不能预测转变为可以预测

大数据的核心就是预测，大数据能够预测体现在很多方面。大数据不是要教机器像人一样思考，相反，它是把数学算法运用到海量的数据上来预测事情发生的可能性。正因为在大数据规律面前，每个人的行为都跟别人一样，没有本质变化，所以商家会比消费者更了消费者的行为。

此外，随着系统接收到的数据越来越多，通过记录找到的最好的预测与模式，可以对系统进行改进。它通常被视为人工智能的一部分，或者更确切地说，被视为一种机器学习。真正的革命并不在于分析数据的机器，而在于数据本身和我们如何运用数据。一旦把统计学和现在大规模的数据融合在一起，将会颠覆很多我们原来的思维。所以现在能够变成数据的东西越来越多，计算和处理数据的能力越来越强，所以大家突然发现这个东西很有意思。所以，大数据能干啥？能干很多很有意思的事情。

互联网、移动互联网和云计算机保证了大数据实时预测的可能性，也为企业和用户提供了实时预测的信息，相关性预测的信息，让企业和用户抢占先机。由于大数据的全样本性，人和人都是一样的，所以云计算机软件预测的效率和准确性大大提高，有这种迹象，就有这种结果。

信息找人原理：从人找信息，转变为信息找人

互联网和大数据的发展，是一个从人找信息，到信息找人的过程。先是人找信息，人找人，信息找信息，现在是信息找人的这样一个时代。信息找人的时代，就是说一方面我们回到了一种最初的，广播模式是信息找人，我们听收音机，我们看电视，它是信息推给我们的，但是有一个缺陷，不知道我们是谁，后来互联网反其道而行，提供搜索引擎技术,让我知道如何找到我所需要的信息，所以搜索引擎是一个很关键的技术。

大数据还改变了信息优势。按照循证医学，现在治病的第一件事情不是去研究病理学，而是拿过去的数据去研究，相同情况下是如何治疗的。这导致专家和普通人之间的信息优势没有了。原来我相信医生，因为医生知道的多，但现在我可以到谷歌上查一下，知道自己得了什么病。

谷歌有一个机器翻译的团队，最开始的时候翻译之后的文字根本看不懂，但是现在60%的内容都能读得懂。谷歌机器翻译团队里头有一个笑话，说从团队每离开一个语言学家，翻译质量就会提高。越是专家越搞不明白，但打破常规让数据说话，得到真理的速度反而更快。

机器懂人原理：由人懂机器转变为机器更懂人

不是让人更懂机器，而是让机器更懂人，或者说是能够在使用者很笨的情况下，仍然可以使用机器。甚至不是让人懂环境，而是让我们的环境来懂我们，环境来适应人，某种程度上自然环境不能这样讲，但是在数字化环境中已经是这样的一个趋势，就是我们所在的生活世界，越来越趋向于它更适应于我们，更懂我们。哪个企业能够真正做到让机器更懂人，让环境更懂人，让我们随身携带的整个的生活世界更懂得我们的话，那他一定是具有竞争力的了，而“大数据”技术能够助我们一臂之力。

大数据技术的其中一个核心目标是要从体量巨大、结构繁多的数据中挖掘出隐蔽在背后的规律，从而使数据发挥最大化的价值。由计算机代替人去挖掘信息，获取知识。从各种各样的数据（包括结构化、半结构化和非结构化数据）中快速获取有价值信息的能力，就是大数据技术。大数据机器分析中，半监督学习、集成学习、概率模型等技术尤为重要。

电子商务智能原理：大数据改变了电子商务模式，让电子商务更智能

商务智能，在今天大数据时代它获得的重新的定义。例如：传统企业进入互联网，在掌握了“大数据”技术应用途径之后，会发现有一种豁然开朗的感觉，就像在黑屋子里面找东西，找不着，突然碰到了一个开关，发现那么费力的找东西，原来很容易找得到。大数据思维，事实上它不是一个全称的判断，只是对我们所处的时代某一个纬度的描述。

大数据时代不是说我们这个时代除了大数据什么都没有，哪怕是在互联网和IT领域，它也不是一切，只是说在我们的时代特征里面加上这么一道很明显的光，从而导致我们对以前的生存状态，以及我们个人的生活状态的一个差异化的一种表达。

当然，同样的技术也可以运用到疾病诊断、推荐治疗措施，甚至是识别潜在犯罪分子上。或者说，在你还不知道的情况下，体检公司、医院提醒你赶紧去做检查，可能会得某些病，商家比你更了解你自己，以及你这样的人在某种情况下会出现的可能变化。就像互联网通过给计算机添加通信功能而改变了世界，大数据也将改变我们生活中最重要的方面，因为它为我们的生活创造了前所未有的可量化的维度。

定制产品原理：由企业生产产品转变为由客户定制产品

下一波的改革是大规模定制，为大量客户定制产品和服务，成本低、又兼具个性化。比如消费者希望他买的车有红色、绿色，厂商有能力满足要求，但价格又不至于像手工制作那般让人无法承担。因此，在厂家可以负担得起大规模定制带去的高成本的前提下，要真正做到个性化产品和服务，就必须对客户需求有很好的了解，这背后就需要依靠大数据技术。

在互联网大数据的时代，商家最后很可能可以针对每一个顾客进行精准的价格歧视。我们现在很多的行为都是比较粗放的，航空公司会给我们里程卡，根据飞行公里数来累计里程，但其实不同顾客所飞行的不同里程对航空公司的利润贡献是不一样的。所以有一天某位顾客可能会收到一封信，“恭喜先生，您已经被我们选为幸运顾客，我们提前把您升级到白金卡。”这说明这个顾客对航空公司的贡献已经够多了。有一天银行说“恭喜您，您的额度又被提高了，”就说明钱花得已经太多了。

正因为在大数据规律面前，每个人的行为都跟别人一样，没有本质变化。所以商家会比消费者更了消费者的行为。也许你正在想，工作了一年很辛苦，要不要去哪里度假？打开e-Mail，就有航空公司、旅行社的邮件。

企业产品直接销售给用户，省去了中间商流通环节，使产品的价格可以以出厂价销售，让销费者获得了好处，网上产品便宜成为用户的信念，网购市场形成了。要让用户成为你的产品粉丝，就必须了解用户需要，定制产品成为用户的心愿，也就成为企业发展的新方向。

“

本账号提供最新物联网展会活动资讯，和多家物联网企业形成战略合作伙伴，带领用户与物联网行业大咖、各地物联网俱乐部共同来玩转物联网，为行业创造最酷的物联网线下体验和思想交流的平台。

IOTCOFFEE

随着AI，大数据的不断发展企业营销方式也发生了翻天覆地的变化，从传统的利用人工去发传单到现在可以通过数据采集方式来进行智能的大数据精准营销，新时代产品既节约成本也节省了人力，那么大数据精准营销流程都有哪些呢？今天小编就来讲一讲大数据精准营销流程：

1.精准数据采集

通过指定的场景或者人为去精准用户地点去进行线下数据采集，采集进来的数据通过大数据的清洗分析去重后，得到的准确数据存入私人数据库中。

2.制定营销计划

当私人数据库中达到一定的数量是可以用来进行客户用户画像分析，通过用户分析出来的数据用来制定符合用户的营销方案，用产品来解决用户的痛点，保持好的口碑也是有助于营销。

3.成交

客户最后和你成交，是因为你的产品。你的产品必须是真是有效的。千万不能做假货。要对客户有实际利用价值，这样才能吸引客户购买。

随着互联网的发展，大数据也在逐渐彰显出自己的优势特点，那么关于大数据的处理流程，你是否了解?

第一，数据采集

定义：利用多种轻型数据库来接收发自客户端的数据，并且用户可以通过这些数据库来进行简单的查询和处理工作。

特点和挑战：并发系数高。

使用的产品：MySQL，Oracle，HBase，Redis和 MongoDB等，并且这些产品的特点各不相同。

第二，统计分析

定义：将海量的来自前端的数据快速导入到一个集中的大型分布式数据库 或者分布式存储集群，利用分布式技术来对存储于其内的集中的海量数据 进行普通的查询和分类汇总等，以此满足大多数常见的分析需求。

特点和挑战：导入数据量大，查询涉及的数据量大，查询请求多。

使用的产品：InfoBright，Hadoop(Pig和Hive)，YunTable， SAP Hana和Oracle Exadata，除Hadoop以做离线分析为主之外，其他产品可做实时分析。

第三，挖掘数据

定义：基于前面的查询数据进行数据挖掘，来满足高级别的数据分析需求。

特点和挑战：算法复杂，并且计算涉及的数据量和计算量都大。

使用的产品：R，Hadoop Mahout