【IT168 评论】大数据正在改变世界。但是，大多数大数据项目搞着搞着就黄了，很难成功。这是为什么呢?

企业正努力在产品中部署大数据，这一点是毋庸置疑的。但是，根据Gartner在2016年下半年发布的新闻稿：只有15%的企业将其大数据项目部署到生产中。”Gartner在选词时非常谨慎，这并不意味着剩下的企业没有实践，或者数据科学家没有发现使用大数据技术的优势，只是剩下的85%的项目并没有真正投入生产。

问题不在于缺少大数据分析或者是大量的数据科学实验。真正的挑战是缺乏大数据自动化能力，以便将实验版本从沙箱推入功能齐全的生产环境中。

大多数人认为分析生产就是调整集群。当然，可以编写一个sqoop脚本并将表格放入一次。但是，在不影响源系统的情况下多次实现则是一个挑战。然后，必须确保构建的数据管道在由服务级别协议(SLA)设置的时间范围内提供数据。此外，数据模型需要针对用户当前正在使用的工具(如Tableau，Qlik等)进行优化，以达到用户所期望的响应能力。

在Hadoop和Spark之上使用工具进行大量的努力和改进以对大型数据集进行快速原型设计。但原型是一回事，创建每天运行而不发生故障的数据工作流程，或者在数据流作业失败时自动启用恢复，又是另外一回事。

本文作者分析了五大大数据项目夭折最常见的技术原因：

1、无法快速加载数据以满足SLA

虽然像sqoop这样的工具支持数据读取的并行化以从传统数据源获取数据到数据湖，但需要专家来使其正常工作。如何划分数据?要运行多少个容器等问题都需要专家给出合适的解决方案。如果无法正确处理并行数据的读取，则一个小时就可完成的任务甚至需要10到20倍的时间，因为大多数人不知道如何正确调整。

2、不能逐步加载数据以满足SLA

大多数企业并未将整个操作转移到大数据环境中。他们从现有的操作系统移动数据以执行新的分析或机器学习，这意味着需要在新数据到达时继续加载。问题是这些环境不支持添加，删除或插入的概念，这意味着必须重新加载整个数据集(请参阅上面的第1点)，否则必须围绕一次更改捕获问题编写代码。

　3、不能以交互方式提供对数据报告的访问权限

想象一下，如果有1000位商业智能分析师，他们都不想使用您的数据模型，因为他们需要很长时间才能查询。这是Hadoop的一个经典问题，也是许多公司仅使用Hadoop进行预处理和应用特定机器学习算法，但随后将最终数据集移回传统数据仓库以供BI工具使用的原因。无论如何，这个过程又为成功完成大数据项目增加了难度。

4、不能从测试迁移到生产

许多企业能够确定沙箱环境中数据科学家的新见解的潜力。一旦他们确定采纳新的分析方法，就需要从沙盒转移到生产环境。从开发转移到生产是一个完整的升降和换挡操作，通常是手动完成的。虽然它在开发集群上运行良好，但现在相同的数据管道必须在生产集群上重新优化。这种调整往往需要大量的返工才能有效执行。如果开发环境与生产环境有任何不同，则情况尤其复杂。

5、不能管理端到端的生产工作量

大多数企业都将注意力集中在工具上，因此他们的数据分析师和科学家可以更轻松地识别新的方法。但是，他们没有投资类似的工具来运行生产环境中的数据工作流程，因此不得不担心启动、暂停和重新启动过程，还必须担心确保作业的容错性，处理通知以及协调多个工作流以避免“冲突”。

因为上述五大技术原因，导致很多大数据项目并没有如期与我们见面。当然，如果你有更棒的见解，欢迎在评论区留言。

世界包含的多得难以想象的数字化信息变得更多更快，从商业到科学，从政府到艺术，这种影响无处不在。科学家和计算机工程师们给这种现象创造了一个新名词：“大数据”。所谓大数据，那到底什么是大数据，他的来源在哪里，定义究竟是什么呢？

一：大数据的定义。

1、大数据，又称巨量资料，指的是所涉及的数据资料量规模巨大到无法通过人脑甚至主流软件工具，在合理时间内达到管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。

2、大数据技术，是指从各种各样类型的大数据中，快速获得有价值信息的技术的能力，包括数据采集、存储、管理、分析挖掘、可视化等技术及其集成。

3、大数据应用，是指对特定的大数据集合，集成应用大数据技术，获得有价值信息的行为。对于不同领域、不同企业的不同业务，甚至同一领域不同企业的相同业务来说，由于其业务需求、数据集合和分析挖掘目标存在差异，所运用的大数据技术和大数据信息系统也可能有着相当大的不同。

二：大数据的类型和价值挖掘方法

1、大数据的类型大致可分为三类：

1)传统企业数据：包括消费者数据，传统的ERP数据，库存数据以及账目数据等。2)机器和传感器数据：包括呼叫记，智能仪表，设备日志，交易数据等。3)社交数据：包括用户行为记录，反馈数据等。2、大数据挖掘商业价值的方法主要分为四种：1)客户群体细分，然后为每个群体量定制特别的服务。2)模拟现实环境，发掘新的需求同时提高投资的回报率。3)加强部门联系，提高整条管理链条和产业链条的效率。4)降低服务成本，发现隐藏线索进行产品和服务的创新。

三：大数据的特点

具体来说，大数据具有4个基本特征：

1、是数据体量巨大

2、是数据类别大和类型多样3、是处理速度快4、是价值真实性高和密度低

四：大数据的作用

1、对大数据的处理分析正成为新一代信息技术融合应用的结点移动互联网、物联网、社交网络、数字家庭、电子商务等是新一代信息技术的应用形态，这些应用不断产生大数据。云计算为这些海量、多样化的大数据提供存储和运算平台。通过对不同来源数据的管理、处理、分析与优化，将结果反馈到上述应用中，将创造出巨大的经济和社会价值。2、大数据是信息产业持续高速增长的新引擎面向大数据市场的新技术、新产品、新服务、新业态会不断涌现。在软件与服务领域，大数据将引发数据快速处理分析、数据挖掘技术和软件产品的发展。3、大数据利用将成为提高核心竞争力的关键因素各行各业的决策正在从“业务驱动” 转变“数据驱动”。对大数据的分析可以使零售商实时掌握市场动态并迅速做出应对;可以为商家制定更加精准有效的营销策略提供决策支持;可以帮助企业为消费者提供更加及时和个性化的服务;4、大数据时代科学研究的方法手段将发生重大改变，抽样调查是社会科学的基本研究方法。在大数据时代，可通过实时监测、跟踪研究对象在互联网上产生的海量行为数据，进行挖掘分析，揭示出规律性的东西，提出研究结论和对策。

五：大数据的商业价值

1、对顾客群体细分

2、模拟实境3、提高投入回报率4、数据存储空间出租5、管理客户关系6、个性化精准推荐7、数据搜索

六：大数据对经济社会的重要影响

1、能够推动实现巨大经济效益2、能够推动增强社会管理水平3、如果没有高性能的分析工具，大数据的价值就得不到释放

　　当今世界，社交媒体和其他来源的数据爆炸式增长。 企业会仔细收集这些数据，并将其存储起来，以便重复使用。处理如此大量的数据需要专门的工具和技术。 大数据是我们生活中重要的一部分。

　　目前，登录我们的Facebook帐户，在Instagram上传照片或者在Flipkart，Amazon或Snapdeal上浏览各种产品已经成为我们日常工作的一部分。 当我们在Whatsapp上看不到我们的信息时，我们觉得这一天是不完整的。 技术精明的世界正在被在线社交媒体如FB，WhatsApp，Twitter等所统治。那么，你有没有想过每天由社交媒体或各种企业应用程序生成的数据的百分比和百亿分之几呢？ 根据维基百科，每天有2.5eb的数据被各种在线应用程序所创建。 要管理和处理如此大量的数据变得相当困难。

　　大数据，顾名思义，是指在各种软件工具的帮助下，难以捕捉、管理或处理的海量数据。大数据需要使用各种技术和技术，比如预测用户行为或其他高级数据分析，以获取它们的有用信息，这可以进一步发挥杠杆作用。根据维基百科，大数据是一个数据集的术语，它是如此之大或复杂的，以至于传统的数据处理应用程序是不够的。 需要对其进行计算获取，组织和分析，以确定某些模式或趋势，以进一步便利处理，更新或管理如此庞大的数据。

　　大数据的五个V

　　我们可以借助以下特这来识别大数据：

　　1. 体积:大数据的特征很大程度上取决于生成和存储数据的数量。

　　2.多样性:大数据的类型和性质帮助分析人们有效地利用所产生的洞察力。

　　3.速度:大数据也通过数据生成和处理的速率来确定，以满足各种需求。

　　4.可变性:我们可以考虑一个数据集，如果它不一致的话，就会成为大数据，从而阻碍了用于处理和管理它的各种进程。

　　5.准确性:在一些数据中，质量会发生很大的变化，分析这样的场景会成为一项具有挑战性的任务，因为这会导致分析过程中的很多混乱。

　　与大量数据相关的各种挑战包括：

　　1.搜索，分享和转移

　　2.调整数据

　　3.分析和捕获

　　4.存储，更新和查询

　　5.信息隐私

　　企业如何开始利用大数据?

　　考虑到当今各种在线企业应用需求的巨大增长，当今时代被称之为企业时代。这一点最能说明的事实是，沃尔玛每小时约有100万笔交易。这个统计数据让人深思，各种企业应用程序如何处理和使用如此庞大的非结构化数据。

　　显然，有效使用数据可能是一项艰巨的任务，特别是随着新数据源数量的增加，对新数据的需求以及对提高处理速度的需求。 因此，为了提高运营效率和加速业务增长，企业需要应对和克服这些挑战。 正在采用各种大数据技术和方法来处理和获取这种非结构化数据集中的正确数据（这些数据是充分和适当的）。

　　在过去，许多企业都投入巨资开发各种数据仓库。它们可以作为中心数据系统来报告、提取、转换和加载不同的进程，还可以从不同的数据库和其他源(企业内部和外部)获取数据。由于数据的种类、速度和数量都在不断增加，这使得如此昂贵的企业数据仓库超载，造成了巨大的处理负担。

　　为了摆脱这个瓶颈，组织正在选择不同的开源工具，如Hadoop来卸载数据仓库处理功能。如果Hadoop与各种数据仓库一起使用，Hadoop可以帮助企业降低成本并提高效率。然而，由于Hadoop需要一些特殊的技能来部署，组织已经开始尝试其他的选择。戴尔，英特尔，Cloudera和Syncsort共同开发的解决方案适用于用例驱动的Hadoop参考架构。该技术借助体系结构简化了数据处理，帮助用户优化已经存在的数据仓库。此卸载解决方案使用Cloudera Enterprise软件提供Hadoop环境。 Hadoop的Cloudera Distribution（CDH）提供了Hadoop的所有核心元素，如可扩展存储和分布式计算。它允许用户将Hadoop部署周期缩短到几周，在数小时内开发Hadoop作业，并且变得完全有效率。 CDH还确保高可用性，安全性以及与大量其他工具的集成。

　　大数据企业模型

　　让我们对企业正在实现的一般大数据模型进行概述，主要包括以下几个中间系统或过程。

　　数据源:这些是实现不同大数据技术的数据集。它们可以以非结构化、半结构化或结构化的格式存在。有一些非结构化的数据集，它们是通过图像、音频/视频片段或文本的形式从几个社交媒体应用程序中提取出来的。半结构化数据集由不同的机器生成，需要较少的努力将它们转换成结构化的形式。一些数据集已经在结构化表单中了，比如来自多个在线应用程序或其他主数据的事务信息。

　　获取：在从多个源获取各种类型的数据集并插入之后，它们可以直接写入实时存储过程，或者可以写成消息到磁盘，数据库事务或文件。 一旦收到这些数据，就有各种各样的选择来保存这些数据。 数据可以写入多个文件系统，也可以写入RDBMS，甚至可以写入各种分布式集群系统，如NoSQL和Hadoop分布式文件系统。

　　组织：这是组织各种采集的数据集的过程，以便它们以适当的形式进一步分析。在这个阶段，数据的质量和格式通过使用各种技术来快速评估非结构化数据，比如在批处理中运行map-reduce进程（Hadoop）或者在内存中运行map-reduce进程（Spark）。还有其他评估选项可用于实时流数据。这些基本上是广泛的过程，使得开放的摄取，数据仓库，数据库和分析模型成为可能。它们通过管理新的和传统的数据处理环境之间的双向差距来扩展所有类型的数据和域。他们最重要的特征之一就是符合四个V的标准 - 一个庞大的数量和速度，多种数据集，而且在我们的分析运作的任何地方，它们也帮助我们找到价值。除此之外，他们还提供各种数据质量服务，帮助维护元数据和跟踪转型沿袭。

　　分析：数据集转换为有组织形式后，进一步分析。所以大数据的处理输出在从低密度数据转换为高密度数据之后被加载到基础数据层中。除了基础数据层以外，还可以将其加载到各种数据仓库，数据发现实验室（数据存储集，处理引擎及其分析工具集），数据集市或存储库中。由于发现实验室需要快速连接到事件处理，数据存储库和数据仓库，因此数据传输需要像InfiniBand这样的高速网络。这就是从大数据输出到数据仓库进行进一步分析的基本加载结果。

　　我们可以看到，存储库和数据仓库都提供了原位分析，这表明分析处理可以在源系统中进行，而无需将数据移动到其他分析环境所需的额外步骤。 SQL分析允许在每个数据存储上独立进行各种简单和复杂的分析查询。因此，数据处理或分析越快，系统的性能就起着重要的作用，决策过程就越快。有许多选项，如柱状数据库，内存数据库或闪存，使用它可以提高几个数量级的性能。

　　决定：这是通过使用多种先进技术进行各种决策过程以达成最终结果的地方。 这一层由几个实时交互式数据建模工具组成。 他们能够查询，报告和建模数据，同时保留大量的数据。 这些工具包括不同的高级分析，库内和数据库内统计分析，高级可视化，以及传统的组件，如报告，警报，仪表板和查询。

　　大数据对于企业应用程序的意义和作用

　　大数据在许多企业应用程序中的确扮演着相当重要的角色，这就是为什么大型企业花费数百万美元的原因。让我们看看这些企业通过实施大数据技术获益的几种情况。

　　1.结合各种传统企业数据对大数据进行分析和提炼，带给企业更深入透彻的洞察力。它可以带来更高的生产力，更大的创新和更强的竞争地位。

　　2.大数据在医疗服务中扮演更重要的角色。它通过使用家庭内的监测设备来帮助管理患者的慢性病或其他长期病症，所述监测设备测量生命体征并检查患者的进展以改善他们的健康并减少医院入院和就诊到医生诊所。

　　3.制造公司还在其产品中部署传感器来远程收集数据，例如通用汽车的OnStar或雷诺的R-Link。这有助于提供通信，导航和安全服务。他们还透露了使用模式，失败率等产品改进机会，可以进一步降低组装和开发成本。

　　4.使用智能手机和其他GPS设备的惊人增长为广告商提供了一个机会，当他们靠近商店，餐馆或咖啡店时，他们可以瞄准他们的消费者。零售商更了解他们产品的狂热买家。通过电子商务网站使用各种社交媒体和网络日志文件，可以帮助他们获得有关未购买产品的信息，以及为什么他们不愿意购买产品。这可以导致更有效的以客户为中心的微型营销活动，并提高供应链效率，从而实现更准确的需求计划。

　　5.最后，如果没有大数据，Facebook，Instagram，Twitter和LinkedIn等社交媒体网站将不会存在。他们向不同用户提供的个性化体验只能通过存储和使用关于该用户或成员的所有可用数据来提供。

　　大数据对于企业应用程序有多安全？

　　由于它涉及属于几个可能或可能不相互关联的组织的各种重要数据，或者它们的用户，因此大数据应该具有高度的安全性是非常重要的，这样就不必担心几家企业正在实施它。大数据基本上提供了全面的数据安全方法。

　　1.确保正确的人员（内部或外部）通过正确的渠道（通常使用Kerberos）在正确的时间和正确的地点访问适当的信息和数据。

　　2.高安全性可以防止恶意攻击，还可以通过对数据进行加密（使用Cloudera Navigator Encrypt）并保护数据在运动或静止时保护组织的信息资产。

　　3.它还使所有组织能够将不同的角色和责任分开，并保护所有敏感数据，而不会像使用DBA等的特权用户访问一样，使用各种数据屏蔽和子集技术来降低敏感数据的使用。

　　它还将所有传统数据管理的审计，监控和合规报告扩展到大数据系统。

　　令人惊讶的统计数据

　　全球数据的90％是在过去两年中创造的，预计到2017年，大数据将会从2012年的120亿美元增长到500亿美元。

　　数字世界的70％（900eb）由用户生成。

　　企业存储所有数据的80％。

　　白宫政府正投资2亿美元在大数据研究项目上。

　　到2020年，中国将占世界数据的五分之一。

　　数据可访问性增加10％，这意味着财富1000强公司的净收入额外增加了657亿美元。

　　根据商业管理书籍畅销书作家汤姆·彼得斯（Tom Peters）的说法，“不了解在新经济中将数据和信息作为有形资产进行管理的压倒一切的重要性的组织将无法生存。”因此，大数据的承诺真的有动力企业和企业来投资。我们需要继续研究和设计新技术和新技术，为各行各业采用大数据提供快速可靠的途径。我们需要不断提高技能，管理各种开源工具和技术，以充分利用最佳的大数据功能。这将有助于各企业管理日益增加的数据集并有效地使用它们。

更多阅读

　　如何降级Windows 10并重新安装Windows 7

　　课课家SpringBoot项目实战网上商城

　　2018年软考信息系统项目管理师-基础知识（上）软考视频培训课程

因为大数据爆发，因此出现了大数据开发、大数据分析这两大主流的工作方向，目前这两个方向是很热门，不少人已经在开始转型往这两个方向发展，相较而言，转向大数据分析的人才更多一点，而同时也有不少人在观望中，这边科多大数据收集了十个为什么要学习大数据分析的十个理由。

下面我们一起来看看大数据专家写给大数据分析学习者的10个理由

为什么大数据是新的前沿

如果你想在这个世界取得成功，你必须学习趋势。通过查看可用于您的利基的分析数据，您可以确定不同的方法 ，您可以通过这些方式取得积极的成果。一切都取决于数据。从大型跨国公司到小企业。所有伟大的人都使用这些数据为公司的未来制定更好的策略。现在想象成为所有这种疯狂的中心。想象一下，在作出重大业务决策之前，他们是如何做到的?那就是你将和谁同行才能快速成为优秀的数据分析决策师?

你应该学习数据分析的原因

1.数据分析现在是顶级组织的优先事项

随着市场竞争的加剧，顶级组织正在转向数据分析，以确定其服务和产品的新市场机会。目前，77%的顶级组织认为数据分析是业务绩效的关键组成部分。这意味着大数据专业人员对公司政策和营销策略产生巨大影响。

2.增加就业机会

随着公司开始意识到他们无法全面收集，解读和使用数据，他们开始寻找可以这样做的专家。如果您查看所有主要的就业机会平台，您将看到越来越多的职位发布寻找数据分析师和顾问。具有这一特殊技能的专业人士的需求正在上升，而供应仍然很低。这为这一-领域的个人创造了巨大的就业机会。

3.增加数据分析专业人员的工资

随着需求稳步增长，供应依然低迷，数据分析专家越来越多地得到报酬。在印度，像现在这样，数据分析专业人士的平均支付比其他IT专业人士的平均水平高出50%。随着越来越多的公司意识到这些专业人员对组织的重要性，这一趋势在全球显而易见。

4.大数据分析无处不在

正如现在在当今工作场所使用计算机一样，使用故据分析专业人士来促进增长是缓慢的。DataAnalytics几乎没有任何部门保持不变。

5.你会有不同的职业选择

数据分析专家拥有广泛的职称和领域。由于大数据几乎在今天使用。您可以选择:

-指标和分析专员

-数据分析师

-大数据工程师

-数据分析顾问

这些只是您有以在大型组织（如IBM.ITrend.Opera.oracle等）中掌握的一些职位，并且可能性是巨大的。

6.您将成为公司决策的核心

工作场所不满的主要原因之一是大多数员工觉得没有决策权。他们经常觉得这只是一个很棒的公司轮毂。作为数据分析专家，您将成为您所选公司决策的核心。事实上，您将成为企业决策和未来战略的一个组成部分，从而为组织内部发挥重要作用和目标。

7.大数据分析的采用率很高

正如公司开始转向社交媒体品牌广告和客户参与一样，他们也开始转向数据分析。今天几乎不可能找到没有社交媒体的品牌。就数据分析适应而言也是如此。在不久的将来，每个公司都将需要数据分析专家。这使得它成为一个明智的职业生涯，实际上有一个未来的业务。

8. 数据分析正在快于预期

Nimbus Ninety进行的一项调查显示，数据分析的速度要比预计的快得多。调查发现 数据分析技术将在未来3年内寻找技术。

9.它代表完美的自由职业机会

在不久的将来，绝大多数的劳动力不会被束缚在一个雇主身上。人们正在稳步寻找各种各样的收入来源和方法，通过这些渠道找到完美的工作与生活平衡。数据分析，这是一个研究数字、趋势和数据的一般问题 ，为您提供了一个完美的机会，成为世界上一些最大的公司的高薪自由职业者或顾问。在很大的IT基础上，这种工作可以在任何时候从世界任何地方完成。因此，您不必被绑在桌子上。

10.开发新的收入来源

您可以分析并将好的数据信息用于良好用途，您可以轻松识别新的和未开发的创收流。这是通过增加收入来丰富您的生活的最佳方式之一。

以上算是关于大数据专家写给大数据分析学习者的10个理由，可见就目前来看，大数据分析工程师算是一个不错的方向，而且由于其对编程要求不高，学习门槛相较而言也比较低，所以如果想要进入大数据行业，但是又对编程不感兴趣的朋友，可以考虑往大数据分析方向发展。

现在科多大数据更新大数据开发、数据分析、python爬虫等试听视频，小伙伴们可上科多大数据官网咨询领取哦~

这两天，由于2018中国国际大数据产业博览会，贵阳火了一把。阿里云宣布，贵阳将成全球备案中心与技术支持中心。苹果宣布亚洲最大数据中心将在贵安开建。

为什么那么多大公司要把大数据中心设立在贵州，阿里巴巴创始人马云曾说，如果全国有三个发展最好的地方，贵州一定是最后一个。如果大家错过了三十年前广东、浙江的投资机遇，今天一定不能错过贵州。

腾讯公司控股董事会主席兼首席执行官马化腾认为，贵州有很多的优势，这里不仅水电很充足，而且电力也很便宜，同时还有很多山洞，山洞里面恒温恒湿，是一个最合适建大型绿色数据中心的好地方，贵州发展大数据，抢占了先机，能够在激烈的市场竞争中爆发出强大的能量。

哪些企业在贵州设立了大数据中心？

蚂蜂窝自由行大数据联合实验室落地贵州

蚂蜂窝CEO陈罡表示，落户贵州、共建数据平台、发布旅游指数、发布智识产品将是“自由行大数据联合实验室”2018年的主要规划，马蜂窝旅游网与中国旅游研究院将在数据挖掘、信息分析和旅游研究等多方面展开合作。

苹果亚洲最大数据中心贵安开建，完全用可再生能源供电

苹果亚洲最大数据中心正式签约时，是苹果在美国本土以外的第三个数据中心，也是除美国本土和欧洲之外的唯一一个。这项合作也确定了贵州在苹果中国战略版图的唯一性。

苹果公司全球副总裁、大中华区董事总经理葛越称，苹果承诺深耕中国，致力于不断改进用户体验，贵州数据中心的建立将是苹果为中国客户提供最佳用户体验的关键。

葛越介绍，贵安数据中心的建立将帮助苹果减少数据延迟、提高可靠性，从而提高苹果在中国提供的产品及服务的整体可靠性。“在贵州发展大数据是苹果经过仔细研究后决定的，贵州所展现出来的远见卓识、才华和雄心给苹果留下了非常深刻的印象。数据中心的建设证明了苹果与贵州重要的合作伙伴关系，也证明了苹果为所有用户不断提供卓越体验的决心，更证明了苹果继续在中国加大投入的承诺。”

腾讯贵安七星绿色数据中心曝光，将存储最核心大数据

腾讯贵安七星绿色数据中心位于贵州省贵安新区，总占地面积约为770亩，隧洞面积超过3万平方米，是一个特高等级绿色高效灾备数据中心，在贵安新区政府的统筹领导下按照腾讯的技术要求建设，未来将用于存储腾讯最核心的大数据。

“未来所有企业基本的形态就是，在云端用人工智能处理大数据。一切有云，有AI的地方都必须涉及大数据，这毫无疑问是未来的方向。”腾讯公司董事会主席兼首席执行官马化腾曾经表示，“腾讯一直关注贵州大数据产业的发展，贵州有得天独厚的自然条件，腾讯能够在贵州这样一个大数据产业的福地落地数据中心建设项目，是一件让人开心和振奋的事情。”

阿里云：贵阳将成全球备案中心与技术支持中心

阿里云在数博会上宣布了在贵州发展的的下一个五年计划，未来将从扶贫、农业、旅游、医疗、工业、教育、政务、创业八大领域全面推动贵州大数据产业。同时，贵阳将会成为阿里云的全球备案中心和技术支持中心。

阿里云表示，按照新的五年规划，阿里云将继续全方位支持云上贵州的发展，共同进行重点技术攻关，培养云上贵州的技术团队，实现贵州省政府大数据信息化项目及政府数据资源的开发。

贵州作为旅游大省，如何将旅游同大数据、人工智能结合，也成为阿里云未来五年的主要目标。阿里云计划协同建设一个旅游大脑，提升旅游产业的管理水平和游客体验。比如，通过对热门景点人流量的预测，实现门票价格的动态调整，对游客做诱导分流。

大数据作为一个新兴行业，这两年很是火热。我们进场在网上看到一些数据，比如下面这些：

1.据数联寻英发布《大数据人才报告》显示,目前全国的大数据人才仅46万,未来3-5年内大数据人才的缺口将高达150万。2.根据中国商业联合会数据分析专业委员会统计，未来中国基础性数据分析人才缺口将达到1400万，而在BAT企业招聘的职位里，60%以上都在招大数据人才。

以上是各类分析大数据行情的文章中经常见到的数据，那么光从这些数据来断定大数据的发展前景是不是靠谱？大数据的真实的前景到底是怎么样的？

想必是很多想要从事大数据或者对大数据感兴趣的朋友们最关心的问题之一。

本周四晚上，我们准备了一场关于大数据行业发展前景深入剖析的公开课，一位资深大数据行业的专家，将为大家进行一场关于大数据行业发展前景的深度剖析。将为大家一一讲解大数据目前的发展现状以及后期发展的大趋势。

分享嘉宾介绍：

杨老师

前全球十大咨询公司ESG亚太区分析师，对云计算、大数据有深入研究，曾为IBM、DELL、HP、EMC等厂商提供产品测评报告，并为国内企业华为、联想、浪潮、曙光等企业的业务现状和发展方向提供战略咨询服务。是最早接触大数据的一批人，在国外多年的大数据相关工作经验，让他对于国内大数据发展的路线和前景有着比一般人更深的理解。

时间：2017年11月9号，本周四晚上

大数据的发展现状如何？后期的发展前景到底好不好？让我们本周四晚上，一起听专家深度的剖析大数据行业的发展。

大家可以进群，提前了解本次公开讲座的更多信息。

贵阳大数据交易所。

11月27日，省十二届人大常委会第三十二次会议在贵阳开幕，省人大常委会执法检查组检查了《贵州省大数据发展应用促进条例》（以下简称《条例》）贯彻实施情况。随着全省大数据战略行动的大力实施，全省大数据企业从2013年不到1000家，发展到现在的8900多家，短短4年增加了8000家，与大数据相关的软件、信息服务、电子商务等产业连续三年保持30%以上的高速增长，成为全省经济发展的新动能。

今年7月至9月，执法检查组对《条例》实施情况进行了调查，全省各级政府依法推进大数据发展应用，大数据战略行动加快实施，国家大数据（贵州）综合试验区建设成效明显。数据资源的聚通、融通、共享开放取得了重大的成功，“云上贵州”系统平台，成为了全省政府数据统筹存放、共享开放和开发利用的云服务平台，成为了全省统一的政府数据中心。该系统在2017年5月率先接入国家数据共享交换平台。目前，省级政府部门和市州政府699个应用系统在该平台汇聚，聚集数据达到269TB。

同时，在大数据民用、服务和改善民生方面打造的“云上贵州APP”平台，目前已经汇集了21个省直部门以及各市州3824项政务民生服务，可在网上直接办结的服务167项，涵盖了医疗、教育、公安、交通、旅游、文化、食品安全、生活支付等多个领域。“网上办事大厅”集中了省市县乡村五级近16万项政务服务。

在大数据企业发展方面，全省大数据企业从2013年不到1000家发展到现在8900多家，与大数据相关的软件、信息服务、电子商务等产业连续三年保持30%以上高速增长，对经济增长的贡献率已超过20%，成为全省经济发展的新动能。此外，智能终端产品产量进入全国前十位，手机产量居全国第4位，贵阳成为全国第五大服务外包及呼叫服务中心产业集聚地。目前，我省引进、50个国家部委、行业及标志性企业数据资源，被国家工信部授予“中国南方数据中心示范基地”。贵阻大数据交易所累计交易金额1.5亿元。一批企业通过挖掘利用大数据，成长为行业标杆。

贵州大数据企业发展如火如荼。

延伸阅读：

大数据应用基础薄弱形成“数字鸿沟”

贵阳宽带资费高成都、重庆10余倍

根据执法检查的情况来看，目前我省在大数据发展方面也存在一些问题，特别是基础设施较为薄弱，形成的“数字鸿沟”未完全消除，高额网给资费导致以数据为主营业务的大数据企业成本居高，制约了大数报核心业态的发展。

贵阳市反映，我省三大运营商每6带宽资费是重庆、成都的10余倍。高额网给资费导致以数据为主营业务的大数据企业成本居高，制约了大数报核心业态的发展。一些偏远山区，由于信息基础设施建设成本高，市场回报率低，通信企业投入意愿不强，以致信息基础设施薄弱，加上流量资费较贵，部分农村还难以享受大数据红利。

此外，全省大数据人才较为缺乏，也是大数据发展应用最大的短板。目前全省大数据科学家、测试工作室、开发工程师、数据分析师、大数据项目经理、技术总监等方面的人才需求激增。加之党政干部对大数据知之不多，能够深入了解大数据、用大数据推动发展的较少，出现大数据应用规划、观念创新、指导落实等工作推进难度大，指导和培育大数据市场主体的能力薄弱的情况。

文：李坚 图：杨兴波 编辑：武芮西 编审：黄桂花 石云华

近几年来大数据发展势头相当迅猛，几乎是以强势的态度进入我们的视野，聚焦在大数据相关的研究，最早大数据只是一个IT的概念，现在突然发现大数据开始进军各个行业的商业模式，对各个行业都产生非常大的影响。那么大数据为什么发展这么快速，下面就来扒一扒这背后的原因。

1、存在的背景 数据储存技术、网络技术的迅猛发展，为大数据时代的到来准备了物质基础。物联网的本质就是更多采集数据的入口和节点；云计算培养了服务的商业模式和集中建设降低单位计算和存储成本。到了移动互联网就更有意思了： 第一个特点是身份，在合适的时间、地点，将合适的信息送给合适的人，你需要了解对方的年龄、爱好、状态，没有这个精准身份的信息，一切都无从谈起。 第二个就是连接，双向适时的互动连接，网络出现后，你想要知道什么都可以去网上搜索，所有你想知道的一览无余。就如网络，我们是一半接受信息，一半输出信息。信息互换不断的流通连接了天南海北的人们 第三个是手机主要的特性，信息具有位置性以及感应器，电脑上已经不会再有更多的感应器，但手机上的感应器角度会越来越多，未来我们的手机可以识别谁是你的朋友，可以闻到气味，可以感觉到甲醛超标，可以觉察你是否生病了。 这三样结合在一起本质上就是产生、处理和应用了大数据，通过各种各样新的技术和来帮助我们解决各种各样的问题，重新构建信息流，资金流、物流。2 、大数据会如此轰动是深远的社会背景，更重要是数据思维 所谓的数据思维，着重的是数据的全面性，而不是随机抽样性。关注数据的复杂性，弱化精确性，以前我们对待数据是非常精确，现在大数据跟传统的有很大出入，在大数据里面不需要要求那么精确，我们要的是一个大的框架，模糊的准确度趋势判断大数据是一种 重新评价企业的新方法。数据成为核心的资产，并将深刻影响企业的业务模式，甚至重构其文化和组织。 五大维度：活性、颗粒度、维度时空、远近、情绪。第一个叫活性，在互联网公司里面，比如每天使用阿里的服务三到五次，但是你知道银行的网点，你可能一个月或者更长时间才去一次。第二个颗粒度，就是你在电商的平台上从进店到采购到物流、运送、配送、直到最后的评价分享，所有环节都有清晰的记录，这是颗粒度。第三个维度，就像易宝支付，当你使用过他之后，你的数据就留在他的记录里，这样就会有更多的维度进行数据相关的处理和分析。第四，有人有贷款的需求，我的金融机构、互联网公司，很有可能是第一个知道你有贷款需求的，我可能就第一时间知道这个客户，银行知道这个过程还需要一段时间。最后一个称之为情绪，你在微博上发的任何一条信息都是带有个人情感的，既然有情感就了解你的状态，就会根据你的需求决定采取何种营销。

3、数据究竟有多大 大数据带动方法论上的变化本质上是人的行为越来越被虚拟化，以前历史上谁都不知道你在互联网上是人还是狗，现在处处行迹处处痕，语言分析、自然语义处理、图像处理、信号处理、关系预测来精准预计，导致全球数据量每两年翻一翻。随着Iphone和各种安卓普及，每个人在云端都有几个G几个T的网盘，存着各种各样的信息，大到一定程度，根本没法处理，我们叫做狭义的大数据。有很多的新的计算机的处理方式，存储方式，和数学建模的方式去分析这些数据，那数据根据访问频次又分冷数据和热数据。当年由于热数据所带来的信息量意义更大，关注度集中在此，数学上的方法也是基于统计抽样。奇妙的关联度：但随着计算和存储成本的降低，发现可以处理全量数据，全量数据堆积在一起发生了非常多奇妙的现象。有些对当前的科学都有重大影响，当年基于统计、抽样建立起来的模型极有可能是错的，比如开普敦定律和冥王星的失误。这个可以参考我和国栋共著的大数据时代的历史机遇一书。所以在狭义的定义下会出现IBM和IDC定义的4个V，数据规模（Volume）、快速（Velocity）、多样的类型（Variety）据价值（Value）。4 、接下来发生怎样的事情泛互联网化 软件、硬件会免费，成为收集数据的入口行业垂直整合：一开始是软件做硬件、互联网公司做硬件和软件，接下来就是电商做金融、金融做电商、软件公司提供增值服务。为什么？一旦需要无线的靠近客户之后，就要服务客户需求的一切，行业的边界在不断被打破数据成为资产：数据会变得越来越重要，是一切商业模式起源和重构的基础。

5、在中国和全球的情况全球范围看，这种变革正在发生 互联网行业首当其冲，接着是商业智能与咨询服务领域、零售行业，还包括医疗、卫生、交通、物流甚至生物科技、天文……大数据催生的数据服务意识和能力，正在影响这个社会的方方面面，从商业科技到医疗、政府、教育、经济、人文以及社会的其他各个领域，并催生了了各行各业的变革力量。也就是我们所说的跨界颠覆者。我把大数据技术分为传统企业级别，和创新市场。企业级别市场还是IBM、EMC、惠普、Oracle新瓶装旧酒，那些商业智能数据处理的老产品来取代，更多的只是忽悠客户来干干数据分析的活。当时在另外一方面，像google\facebook,国内的BAT等是真正在考虑大数据的。而且以阿里引导的去IOE的大趋势，也是体现了在未来移动化和大数据浪潮下，老外的产品无法满足国内快速、开源、便捷的增长需求。在创新市场里面的大数据技术：一方面，以开源为主。即便是IBM、Oracle等行业巨擘，也同样是集成了开源技术，和本公司原有产品更好的结合而已，在新兴的大数据处理领域，中外公司几乎站在同一起跑线。单纯考虑狭义的大数据处理技术（如Hadoop、MapReduce、模式识别、机器学习等），中外差距很短左右。如果考虑数字资产规模以及利用的技术，中外差距更多体现为意识上的差距。像阿里已经完全取代了IOE的产品，当前不仅自己用，而且还提供了阿里云对外输出。节省20亿IT开支，像亚马逊已经把EC2和S3成为较大的盈利点。而且阿里现在的处理能力每秒达到1亿次，超过了4大行的综合（马云前几天在人民银行的忽悠）另一方面，中国人口和经济规模，决定中国的数据资产规模，冠于全球。客观上为大数据技术的发展，提供了演练场。比如我之前在甲骨文的时候是三大运营商的咨询经理，每次遇到客户客户都提，我们的数据量全球第一。神枪手是靠子弹磨练出来的，好的产品也是靠数据量出来的。在阿里，京东、百度相关公司，不管是客户需求驱动、还是成本驱动都开始了替代过程，我认为这个变化趋势会进一步传导到金融、电信、政府等重要IT投入行业中。

6 、几家典型公司的大数据 百度拥有中国最大的消费者行为数据库，覆盖95%的中国网民，日均响应50亿次搜索请求，搜索市场占比达80%，百度联盟，60万联盟合作伙伴每天有50亿次的日均行为产生，这个鞋构成了巨大的数据的基础。腾讯超过了7.836亿QQ活跃账户，4.969亿微博用户和超过一亿的视频用户、5.976亿QQ空间用户，微信、手机管家等带来的移动用户也超过了4亿，海外用户快超过一亿。腾讯“N个产品x N个平台x N个终端x N个用户关系”的庞大服务矩阵，带来数据的非结构化、碎片化、海量化。变现工具有：腾讯分析和腾讯罗盘。 马云宣称平台、金融和数据是阿里未来的三大战略方向。爱、阿里未来本质上是一个数据公司，电商越来越离不开数据，金融的核心也是数据。收购的新浪微博、友盟、高德、丁丁等就是为了圈数据。产品：内部的淘数据、KPI系统、数据门户、活动直播间、卖家云图、页面点击、黄金策；给用户提供的数据魔方、无量神针和类目360、淘宝指数最具备划时代意义的2012年阿里又推出了“聚石塔”产品可提供数据存储、数据计算两类服务。2012年双十一191亿元的大促销当天，聚石塔处理的订单超过天猫总量的20%，比平时增长20倍。阿里金融是大数据衍生产品开发的一个范例。阿里由于电商特性是走得最远的。

对于经常上网的朋友来说，大数据这个词一定并不陌生，上到国家层面，下到一家小型的创业型公司，对于大数据的关注程度都是一样的高。那么，到底什么是大数据呢？大数据具体又 “大”在哪里呢？

一、什么是大数据

大数据（ big data ），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

在维克托 · 迈尔 - 舍恩伯格及肯尼斯 · 库克耶编写的《大数据时代》 中大数据指不用随机分析法样捷径，而采用所有数据进行分析处理。大数据的 5V 特点： Volume （大量）、 Velocity （高速）、 Variety （多样）、 Value （低价值密度）、 Veracity （真实性）。

简而言之，大数据就是可以通过各个不同端口对数据尽兴收集与交互，从而描绘出用户群体的信息汇总，可以准确的将用户的上网习惯，关注领域精准的描绘出来，从而对其进行有针对性的推广。

二、大数据有什么价值？

首先是对于商家以及企业来说，大数据的价值体现在以下几个方面：

1) 对大量消费者提供产品或服务的企业可以利用大数据进行精准营销

2) 做小而美模式的中小微企业可以利用大数据做服务转型

3) 面临互联网压力之下必须转型的传统企业需要与时俱进充分利用大数据的价值

而对于消费者而言，大数据对其价值更多的体现在产品的人性化上面，包括硬件以及 APP ，可以根据大数据来对其最感兴趣的以及最需要的内容进行推送，使其更加人性化，也更具有效率。

三、大数据的发展趋势

趋势一：数据的资源化

有别于传统意义上的资源，在大数据的概念中，数据也是重要的战略资源之一，对于企业来说，如何通过大数据来把我最新的市场动态以及用户动态成为最重要的战略决策因素之一。

趋势二：与云计算的深度结合

大数据与云处理是相辅相成的，云处理为大数据提供了基础，是产生大数据的重要平台。自 2013 年开始，大数据技术已开始和云计算技术紧密结合，预计未来两者关系将更为密切。

趋势三：科学理论的突破

随着大数据的快速发展，就像计算机和互联网一样，大数据很有可能是新一轮的技术革命。随之兴起的数据挖掘、机器学习和人工智能等相关技术，可能会改变数据世界里的很多算法和基础理论，实现科学技术上的突破。

趋势四：数据科学和数据联盟的成立

数据科学将成为一门专门的学科，被越来越多的人所认知。各大高校将设立专门的数据科学类专业，也会催生一批与之相关的新的就业岗位。

趋势五：数据泄露泛滥

对于企业来说，未来的数据泄露事件的增长率也许会达到 100% ，除非数据在其源头就能够得到安全保障。可以说，在未来，每个企业都会面临数据方面的攻击，并且都需要重新审视今天的安全定义。

趋势六：数据管理成为核心竞争力

数据的收集以及分析能力将直接影响一个企业的发展，在未来数据管理能力将成为企业的核心竞争力。

四、大数据，大在哪里？

那么，大数据，到底大在哪里呢？

首先，大数据的大，最主要指的是数据体量的庞大，相较于传统数据来说，大数据所包括的体量是完全不同于以往传统的数据量的。

其次，是指数据的类型，所有用户在使用互联网时留下的数据都可以作为大数据的计算内容，因此，各种类型的数据都可以包含其中

第三，数据计算量庞大，不同于以往传统的数据分析与计算的方式，现在大数据对数据的收集和分析，是配合云计算对所有数据进行的分析与计算，其计算数量也是难以想象的。

五、大数据如何影响生活？

那么，仅仅从一个普通的消费者以及网民的角度来说，大数据到底是通过什么样的方式来影响你的生活呢？

就拿当今的智能手表为例，一个手表如果在加入了大数据这个领域以后，会和以前的传统手表相比产生哪些天翻地覆的变化呢？

首先，大数据在智能可穿戴领域的运用包括三个主要部分，即 “硬件终端”，“人机交互”以及“云数据”，具体来看就是将智能手表本身作为一个人体数据收集的平台，而收集数据的类型也包括我们生活的方方面面，而在通过 APP 将数据上传到后台云数据服务平台，然后对收集到的数据进行海量分析计算，从而得出实用，符合实际，有用的数据分析报告，再反馈给用户，这样就形成了大数据在智能可穿戴领域的完整产业链与价值闭环。

今后的未来，大数据的发展会更进一步，而其又会怎样具体的体现到用户硬件实用领域，我们共同期待。

大数据，英文名big data。因为传播已经成为习惯，我们并没有过多的去思考为什么用big data去描述，但是现在我们仔细回味一下，会发现大数据这个大为什么不用large为什么不用海量vast呢？归根结底我们可能就需要从语法上，来分析一下，它们三个之间的区别。big形容大小。更多的时候，是一种比较行为上的大，是种相对来说的感觉，而large和vast更多的时候形容的是的是一种形体上的巨大。

那么现在来推敲一下big data这个词，大数据这个大其实是一种相对的说法是相对于传统的数据体量来说的，过去任何时候的数据相对于现在来说都显得太过于渺小，而现在我们所说的大数据是一种量变最后达到了质变的概念。

数据这个词最早在媒体上风靡应该是2007年左右。往上追溯应该就是05年谷歌参加有美国官方举办的一个机器翻译大赛，最终由于使用了海量的相关数据而夺得第一，在那之后大数据这个概念渐渐的被业内人士所传播。那么到底什么是大数据呢？

大数据顾名思义，最表象的特征就是数据量够大。但是仅仅数据量够大，并不能构成大数据整体的含义。如果是海量杂乱无章，互之间没有关联的数据，即便再怎么定义，它也算不上是大数据。就譬如一个人体内的基因图谱，详细的基因图谱数据如果记录出来是一个很大体量的，但是没有意义。

大数据而且还有个概念，那就是多维度。在十年前，如果说国内哪一家公司最有资格说大数据的，那无疑是百度了。作为一个独占13亿用户专属的搜索公司来说，百度对于用户画像的记录，无疑是多维的。百度搜索，至今记录了无数用户每天在互联网上搜索的问题，或者说知识。在时间维度上用户对某些词汇搜索的频次高低这些都是数据。它可以通过对注册用户的甄别就可以知道搜索这个词汇或者是这个问题的用户是男生还是女生？年龄分布是是小孩、青年抑或是一个中年大叔？再到后来个人电脑开始普及，通过记录ip等信息，根据ip搜索的百度的问题的分类，可以判断中国各个区域，是南方富裕一点，还是北方富裕点？是江苏人更爱吃，还是闽南人更喜欢谈论吃？百度完全可以根据自己的数据生成得到国内各种关于此类的数据，普查之后所能得到的答案这就是因为百度所具有的数据是一个多维度的数据。他的数据收集过程，是一个长期的持续性的工作。

除了百度之外，腾讯的qq确实每年都会有一个关于qq的城市报告。它会根据qq的用户数据，甚至于至于活跃地点。在一个大的范围内青年QQ用户的占比，最终可以得到中国城市年轻度排行榜。可以根据这些数据判断，哪一个城市是，年轻人毕业之后最愿意去的。可以判断哪一个城市的，年轻人毕业之后，是回归率最高的。也可以判断哪一个城市的人才流失率更低，更容易留住外来人才。这些都是大数据多维度的应用。

大数据还有一个非常重要的特点，那就是全面性。经常在某些大型活动之前我们都会遇到。某些公司对于这件事情，会做出预测。然后最终的结果让我们大失所望。预测无疑是需要基于数据基础的预测，如果这个数据不够全面的话，最终的预测结果肯定相差甚大。

关于数据全面性有一个最经典的案例这是12年美国大选大选事件。一个名叫斯威尔的年轻人，利用大数据预测。成功预测出了51个州的选举果，要知道这在之前是从来没有发生过的事情。美国大选在之前就一直有专业的预测机构做预测，但是就连这种长期做数据，分析的公司都从来没有如此成功的预测过。那是因为斯威尔将网上所有关于选举的数据，包括新闻稿，以及facebook和推特上面人们关于选举的言论，所有的数据都做了甄选处理。这份数据反映的是网民全面几乎没有遗漏的想法，最终得到了某种程度上来说，比较具有完备性的数据，所以能够如此成功的预测13年美国大选的结果。

关于大数据的科普我们就到这里了，有任何问题可以留言咱一起交流，本文由玩机丧志原创，欢迎关注，带你一起长知识！