CDA数据分析师原创作品

在这个信息数字化的时代，“大数据”几乎是每一个与数字打交道、与信息接轨的时代发展参与者都在谈论的一个词语，这不仅仅是时代发展的一个趋势，也是技术创新的一个热潮。可以说，大数据分析技术对公司的发展、行业的未来走向不单单发挥了智能化的决策指导和准确预测的作用，还可以让企业在全行业竞争激烈的境地中脱颖而出。因此对大数据分析的战略布局让越来越多的企业对数据分析有了全新的认识和前所未有的重视。

在当前各个领域的行业中，大数据分析技术的应用已十分广泛，俗话说“有数据的地方就有数据分析”。大数据真能改变并提升企业的运作方式吗？答案是肯定的。随着企业对大数据分析技术应用的利愈发密切和广泛，我们每天都会看到大数据反馈给我们新的客观科学的信息，协助人们从中真正的获得自己想要的东西。此外，大数据分析技术的应用早已广泛深入我们生活的方方面面，涵盖了医疗、交通、金融、教育、体育、零售等各行各业。

从阿尔法围棋（ALphaGo）第一次击败人类职业围棋选手，成为第一个战胜围棋世界冠军的人工智能机器人开始，AI人工智能就开始引起人们的深思和发问。人工智能是让机器能够像人类一样完成智能任务的技术。自然语言处理是建立能够理解语言的系统，人工智能的一个分支，除此之外还有机器学习、神经网络、深度学习。自然语言处理是应用比较广泛的一个分支，我们可以进一步了解。自然语言处理（NLP：Natural Language Processing）是指机器理解并解释人类写作、说话方式的能力。NLP的目标是让计算机/机器能够像人类一样智能的理解语言，最终目标是弥补人类交流（自然语言）和计算机理解（机器语言）之间的差异。

如今所有数据中的80%都可被用到，大数据来自于大公司、企业所存储的信息。例如，志愿信息、公司采购、销售记录、经济业务以及公司、社交媒体的历史纪录等。尽管人类使用的语言对计算机而言是模糊的、非结构化数据的模式，但有了NLP的帮助，我们可以解析这些大型的非结构化数据中的模式，从而更好地理解里面包含的信息。NLP可使用大数据解决商业中的难题，比如零售、医疗、进入领域中的业务。有一个已经被很多人接触过的人工智能应用——聊天机器人，就是通过聊天app、聊天窗口或语音唤醒app进行交流的计算机程序，例如，苹果手机的siri，也有被用来解决客户问题的智能数字化助手，成本低、高效且持续工作，此功能淘宝店铺有很多运用。

和很多行业不同，医生是一个需要经验的行业，需要掌握无数先辈积累下来的医学知识并且在临床工作中不断验证理论积累经验，而基于深度学习的AI从某些角度和医生一样，都需要不断的训练，在实践中不断完善算法模型。医疗领域的人工智能主要有两个方向，一个是基于自然语言处理，根据病历和症状诊断疾病；一个是基于计算机视觉，通过识别医学影像诊断疾病。

以肺癌识别为例，AI可以通过两种方式诊断肺癌，其中一种是基于自然语言处理，代表企业是IBM的Watson，在持续4年的时间内Warson学习了200本肿瘤领域的教科书，290种医学期刊和超过1500万份的文献后，Watson开始被临床应用，将病人的病历信息和症状输入系统，可以识别肺癌。如今Watson在肺癌、乳腺癌、胃癌等癌症领域已经可以为医生提供诊断建议。

身处于大数据时代，不论是哪个行业，都大大小小受到大数据的影响，并且这种影响还会在持续扩大加深，大数据分析技术的的应用会让人们更加得心应手地得到自己想要的信息。而且，我们可以肯定的一点就是，无论大数据分析技术如何发展，还是无法离开以人为中心所产生的各种用户行为数据，这些核心数据的相关性再加上可感知的设备的智能数据采集，它就构成了一个完整的大数据生态环境，我们即是大数据的创造者，同时也融为了大数据的一份子，共同生活在这个数字化越来越明晰的轨道里，创造着财富，也创造着更全新的自己！

记者昨天从工信部组织的“大数据和实体经济深度融合高峰论坛暨2018大数据产业发展试点示范项目发布会”上获悉，使用上海原创技术的“通用拟态大数据平台”，入选工信部2018年大数据产业发展试点示范项目，将为我国在大数据分析挖掘领域实现高效能、高安全提供国际原创技术路径。

当前，我国正在实施大数据战略。随着各行各业积累数据量的增加，数据处理的复杂性、系统能耗、数据安全等挑战随之凸显。“数据大”转换为服务经济社会发展的“大数据”难度，与数字经济蓬勃发展的强劲需求形成反差。如何消除这种反差？中国工程院院士、国家数字交换系统工程技术研究中心主任邬江兴认为，通用拟态大数据平台能提供解决方案。

“通用拟态大数据平台”由上海红神信息技术有限公司、上海红阵信息技术有限公司、复旦大学等单位牵头研制。“拟态大数据”源自“拟态计算”，后者则源自一种动物——拟态章鱼。它能通过扭曲肢体、改变颜色，模仿十几种动物的外表和行为。受此启发，邬江兴提出了研发拟态计算机的构想：计算结构动态可变，适应各种不同应用，以提高计算机效能。在科技部和上海市科委支持下，他带领团队耗时6年，研制出世界首台拟态计算机原理样机。2013年，这项成果入选两院院士评选的“2013年中国十大科技进展”。

2015年，“拟态安全”作为重大战略项目，写入上海科创中心建设“22条意见”。从那以后，拟态计算和拟态安全技术得到市科委、市经信委的更大支持。研发团队将其应用于大数据领域，并牵头成立了全国首个“大数据试验场”联盟，建设引领学术、技术、应用、产业发展的创新策源平台。“大数据试验场”的建设运营，为通用拟态大数据平台此次入选国家示范项目打下了基础。目前，来自试验场的成果正在嘉兴审计系统全面上线应用。

邬江兴表示，与国内外大多数大数据产品不同，通用拟态大数据平台打破了立足于通用计算资源与开源架构的堆叠技术路线，一改数据安全和业务安全领域普遍采取的“外挂式”被动防御策略，引入国际原创的拟态计算和拟态防御理论，从根本上突破体系架构单一性束缚，提高了数据处理与存储效率。通用拟态大数据平台能适应当前“有毒带菌”的网络空间生态，以一体化鲁棒构造产生的内生安全机制，推动该平台形成“自身免疫力”，完成系统整体的升级换代。

据悉，通用拟态大数据平台的建设目标是研制面向大数据处理场景、软硬件深度耦合、节能高效和安全可靠的大数据标准化装备，探索建立自主可控的大数据基础设施，为数据获取、存储、分析、运用等环节提供安全高效的解决方案。（记者 俞陶然）

　　面对扑面而来的大数据浪潮，数据分析爱好者以及从业者被良莠不齐的培训机构“冲洗着”大脑，技术和分析哪个最重要？请跟随小编一起思考。

　　资深数据分析师，戴文波特在《哈弗商业评论》上的撰文《数据分析师的崛起》中提到，大数据时代的到来意味着处理庞大的数据将会在每个人的工作中，占有越来越大的比重。因此，对经理人和员工来说，数据分析和数据认知能力将会变得无比重要。

　　此外，《艾维诺调查》中的一次报告结果显示，超过百分之六十以上的管理者认为他们的员工需要提高分析能力去将数据转化为洞察力和商业价值。许多行业的高管都已经注意到了数据分析的重要性，并认为数据分析能力及数据分析人才是企业发展的必需品。而在真正通过数据为企业做出贡献这个问题上，分析，很多时候比数据本身更重要。

　　数据是一种资源，并且是一种可以重复使用和共享的资源。但是数据如果不能被以正确的方式使用，就会成为一种负载。数据本身并不产生价值，只有通过合理分析及利用，才能产生和体现它的价值，而并不是因为采用了顶尖的技术和算法才体现了它的价值。

　　所以，如何分析和利用数据对业务产生帮助才是关键。分析的过程就显得尤其重要，只有用好分析能力，才能通过数据解决真实的问题。在这当中，技术仅仅是数据分析中的一部分，只是工具与手段。而企业只有将数据分析方法嵌入到分析师参与的商业决策中，才能真正体现出数据的价值。而在具体通过数据分析体现数据价值的过程中，模型算法的设立与预期目标正是有人的思维理念和分析能力决定的。

　　无论是SAS、R、Datahoop还是SPSS，都只是重要的数据工具，如果掌握工具的用法，对于分析师在企业中解决问题没有任何帮助。因为工具与技术只是解决问题的手段，而真正在企业项目实施中起到决定性作用的，是分析能力。假如一名数据分析师，只注重技术手段，而缺乏分析能力的话，就只能成为工具使用者，而不能成为数据的掌控者，更不能成为解决问题的分析者。

　　随着大数据时代的发展，数据基础设备的进一步完善，越来越多的数据得以被挖掘，利用，而随着技术的不断革新，数据分析师便可以更快更准确的得到结果。但是在企业中遇到的真实问题与案例是复杂的，不同岗位的员工与客户从数据中解读到的信息都是不同的，因此，最后得出的结果也是不同的。

　　数据存储量将会以亿计的发展，膨胀。随着大数据分析平台的诞生于利用，分析工具与技术将进一步简洁化，这意味着大数据分析的技术门槛将进一步降低，而真正体现结果差距的，正是分析能力与方法。通过合理的分析，企业可以从这浩瀚的数据中找到自己的决策方向，找到自己的发展愿景。

　　每位企业员工也可以通过提升个人的数据分析能力驾驭、管理数据并借此提升自己的水平。而在学习CPDA数据分析课程的过程中，要分清主次，选择案例出色，更重视培养自身分析能力。最后，一定明白，一切数据的根基，根虽然在数据，但是一切的基础却是分析。

在物联网大数据迅速发展的时期，当出现计算能力无法满足当下应用的情况，这时将尝试着开发更多强大的计算机系统。其中，英探科技所运用的Hadoop技术，便是基于这样的理念而设计的。

具体来说，Hadoop技术的基础架构是一个分布式系统，能够计算并分析处理所涉及的框架结构，满足多台设备同时工作的需求，在数据高速运算之时，能够对数据进行同步存储，当然这些数据内部的运转用户一般是无法感知到的，因为Hadoop技术会自主屏蔽底层的不相关细节。

作为Hadoop的最底层文件系统，HDFS和HBase是天然的分布式数据库，其中MapReduce主要提供了云计算的数据框架，当然数据来源也采用分布式。

而在HBase之上也有一个MapReduce的服务框架协议，能够并行分析计算提供大数据服务，也就是说，此前1个人10天才能完成的任务，而现在10个人1天就能够完成了，由此便可大大提升数据分析的整体效率。

Hadoop技术当中，Hive和Pig均是数据分析的重要引擎，能够提供数据接口并快速进行数据分析。

Hadoop技术的主要性能优势：

其一，高效性。Hadoop可以在节点之间移动动态的数据，还能够保证各个不同节点之间的动态平衡，所以其处理速度相当迅速。

其二，高可靠性。Hadoop能够按位存储，其处理数据的系统稳定，能力非常可靠。

其三，高容错性。Hadoop可以自动定时保存数据的多个副本，还可将失败的任务自动进行重新分配。

其四，低成本。相对于一体机、商用数据库，或者是QlikView等数据集市而言，这种hadoop技术是开源型，因此能够大大降低其项目软件成本。

其五，高扩展性。Hadoop技术能够在可用计算机集簇间，将数据进行分配并完成计算任务，而这些集簇能够非常方便地扩展到那些数以千计的节点里。

大数据技术指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

1、Avro与Protobuf

Avro与Protobuf均是数据序列化系统，可以提供丰富的数据结构类型，十分适合做数据存储，还可进行不同语言之间相互通信的数据交换格式，学习大数据，需掌握其具体用法。

2、Cassandra

Apache Cassandra是一个高性能，可扩展性和高线性可用的数据库，可以运行在服务器或云基础设施上，为关键任务数据提供完美的平台，。 Cassandra支持多个数据中心之间复制是同类产品中最好，为用户提供更低的延迟，甚至不惧怕停电。 Cassandra的数据模型提供了便利的列索引，高性能试图和强大的内置缓存。

3、Kafka

Kafka是一种高吞吐量的分布式发布订阅消息系统，其在大数据开发应用上的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。大数据开发需掌握Kafka架构原理及各组件的作用和使用方法及相关功能的实现！

4、Chukwa

是一个开源大型分布式系统的数据采集监视系统。它是建立在Hadoop分布式文件系统（HDFS）和Map/ Reduce框架之上，并继承了Hadoop的可伸缩性和健壮性。 Chukwa还包括一个灵活而强大的工具包，用于显示，监测和分析结果，以便做出最佳地使用所收集的数据。

5、Flume

Flume是一款高可用、高可靠、分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。大数据开发需掌握其安装、配置以及相关使用方法。返回搜狐，查看更多

石油公司壳牌通过分析数据以预测机器故障

很少有行业能比能源行业产生更多的数据了。但多年来，石油巨头壳牌甚至不知道其在世界各地的各种设施中的零件都位于哪里;它不知道什么时候需要再进货;直到部件开始出现故障，它才知道什么时候出现了维护问题。由于机器停机每天给公司造成了数百万美元的损失，于是壳牌决定收集数据以避免这些问题。

壳牌卓越数据科学中心的总经理Daniel Jeavons表示，壳牌基于多家供应商的软件建立了一个分析平台，运行预测模型，以预测3000多种不同的石油钻井机的部件何时会出现故障。

其中一个名为Databricks的工具通过Apache Spark来捕获流数据。壳牌使用这个工具来更好地计划什么时候购买机器部件，保存多长时间，以及在哪里存放库存物品。

该工具托管在微软Azure的云中，帮助壳牌将库存分析从超过48小时减少到不到45分钟，每年减少数百万美元的库存转移和重新分配成本。

经验总结:避免机器故障需要很多工具。Jeavons表示，壳牌的平台包括了来自Databricks、Alteryx、C3、SAP和其他供应商的软件，所有的这些软件共同帮助了他的数据科学家来产生商业见解。最终，首席信息官必须正确评估这些工具，并在进行大额购买之前了解哪些才是有效的。

ARC启用了新的数据管理工具

数据是航空报告公司( ARC )的生命线，该公司每年结算航空公司之间价值超过880亿美元的机票交易，包括德尔塔航空公司、美国航空公司、英国航空公司、阿拉斯加航空公司以及Expedia等旅行社。航空公司付费获取ARC在这些交易中收集的数据，以了解更多的关于旅行者的目的地、旅行时间以及在此过程中每年为超过22亿次航班支付的费用的信息。

ARC捕获数据，将其输入分析引擎，对其进行细化，并为其客户构建定制的报告。ARC 的CIO Dickie Oliver表示，该公司正从Teradata的数据仓库迁移到Snowflake的云软件中，这将帮助ARC更快地将数据产品推向市场，并提供更大的可伸缩性和性能，这得益于其在AWS上的业务。Oliver表示，Snowflake是为了将计算资源与数据存储分开而设计的，它使ARC能够为客户快速构建新的定制报告。Oliver补充说，多亏了这个项目，ARC将能够为考虑新数据形式的客户量身定制新的产品。

经验总结:迁移到一个新的数据平台通常是令人畏惧的，不仅仅是因为技术的转变;变更管理是其中真正的麻烦所在。Oliver说，让人们“从一开始就专注于改变，并让他们经历改变过程是这个过程中最具挑战性的部分”，他补充说，他正全力培训员工，包括让他们通过认证，并引进顾问，如让Slalom来帮助我们进行变更管理。

TD银行在数据湖方面的天赋

TD银行的数据分析团队花了几年时间来更新数据基础设施，以满足当前和未来的需求，并创建了一个企业Hadoop数据湖。

TD银行企业信息高级副总裁Joe DosSantos表示，我们使用了基于Cloudera的数据湖用来培养对客户的洞察力，包括从跟踪员工的流失率，到为客户提供合适的产品。

TD 银行的一个核心关注点包括让业务分析师能够从数据湖中提取数据，可用且可操作的能力，而无需数据科学家来亲自操控。 DosSantos表示:“我们正在让人们广泛使用这些数据集。”他补充道，TD Bank还尝试使用其分析平台来检测欺诈和其他渎职行为。

经验总结:过去几年来，TD Bank一直在重新构想其企业数据平台，筛选数十年来的客户交易和其他数据。TD银行没有过度依赖Hadoop，而是使用了Talend的软件来提取、转换原始数据并将其加载到可用于可操作商业智能的信息中。

DosSantos解释道:“Hadoop对于理解如何从A点到B点获取数据方面并不是很好。而Talend有一个元数据管理器和一个中央存储库来跟踪数据湖中的数据移动和转换。”

嘉吉公司正为虾农提供数据分析

嘉吉公司(Cargill)的动物营养部门开发了一款名为iQuatic的移动数据跟踪应用，帮助养虾人降低产量的死亡率。

嘉吉动物营养公司的CIO Tiffany说，该应用程序能够基于环境因素(如温度、pH值和营养)来预测虾池中的生物量，并与嘉吉公司的iQuatic自动喂虾系统协同工作。Snyder在8月的CIO 100研讨会上介绍了iQuatic系统。

只要农民将应用程序中的数据保存到云中，然后访问实时的操作仪表盘，便能够直观显示池塘的性能，提供关键的测量和预测分析，帮助他们更好地管理虾健康并提高产量。以前，农民是用传统的方式——用笔和纸来收集的这些数据。

经验总结:为了构建这个应用程序，嘉吉公司派遣了工程师和企业高管去厄瓜多尔的一个养虾场，了解农民是如何从池塘中获取数据的。“我们让农民成为了我们团队的一部分，”Snyder说。通过在敏捷、two-pizza的团队中快速工作，为在5个月内成功进行试点铺平了道路，并最终实现了产品发布。

让数据分析在默克公司发挥作用

全球医疗保健公司默克希望利用在ERP和核心系统中收集到的数据来进行生产执行和库存控制，以获得更多的商业见解。但是，由于它的工程师花费了60%到80%的精力去寻找、访问和获取每个项目的数据，以至于许多商业目标没有得到实现。默克公司的IT制造首席信息官Michelle D’alessandro表示:“我们没有把数据视为一种可行的、永久的、有价值的资产。我们希望建立一种文化，在这种文化中，我们可以尽量在移动和报告数据上少花时间，从而将更多的时间花在使用数据来实现有意义的业务成果上。”

默克公司创建了MANTIS(制造和分析智能)系统，这是一个über数据仓库系统，包括了内存数据库和开源工具，可以处理在结构化和非结构化系统中的数据，包括文本、视频和社交媒体。重要的是，该系统能够允许非技术业务分析师在可视化的软件中轻松的查看数据。而数据科学家可以通过复杂的模拟和建模工具访问信息。MANTIS系统已经使公司整体IT分析项目总业务量的时间和成本降低了45%。有形的业务成果包括平均提前期减少了30%，平均库存持有成本减少了50%。

经验总结:D'Alessandro表示，她成功的关键是在亚太地区的一家工厂中设立了一个“标杆”分析项目，默克将在那里获得最大的回报。而在那里展示了MANTIS的成功之后，它就为其他网站树立了榜样。她还学会了如何步步为营。D 'Alessandro说，她在一个早期的实验中使用了人工智能和机器学习来分析默克制造过程的成本，但她“做得过头了”。她说:“这并不是因为缺乏赞助或缺乏远见，我们只是无法让它发挥作用。

科学进步越来越多地由数据来推动，海量数据给数据分析既带来了机遇，也构成了新的挑战。大数据往往是利用众多技术和方法，综合源自多个渠道、不同时间的信息而获得的。究竟大数据技术的核心原理是哪几方面呢？

数据即价值是目前计算机领域极其推崇的观念。数据无论多少都被归结为大数据，数据分析越来越热门，资本也对贴有大数据标签的公司趋之若鹜。如同流动的数字货币一样被一再的评估、追崇。数据能告诉我们，每一个客户的消费倾向，他们想要什么，喜欢什么，每个人的需求有哪些区别，哪些又可以被集合到一起来进行分类。

数据核心原理：从“流程”核心转变为“数据”核心

大数据时代，计算模式也发生了转变，从“流程”核心转变为“数据”核心。Hadoop体系的分布式计算框架已经是“数据”为核心的范式。非结构化数据及分析需求，将改变IT系统的升级方式：从简单增量到架构变化。大数据下的新思维——计算模式的转变。

科学进步越来越多地由数据来推动，海量数据给数据分析既带来了机遇，也构成了新的挑战。大数据往往是利用众多技术和方法，综合源自多个渠道、不同时间的信息而获得的。为了应对大数据带来的挑战，我们需要新的统计思路和计算方法。

数据价值原理：有功能是价值转变为数据是价值

大数据真正有意思的是数据变得在线了，这个恰恰是互联网的特点。非互联网时期的产品，功能一定是它的价值，今天互联网的产品，数据一定是它的价值。

数据能告诉我们，每一个客户的消费倾向，他们想要什么，喜欢什么，每个人的需求有哪些区别，哪些又可以被集合到一起来进行分类。大数据是数据数量上的增加，以至于我们能够实现从量变到质变的过程。

全样本原理：从抽样转变为需要全部数据样本

需要全部数据样本而不是抽样，你不知道的事情比你知道的事情更重要，但如果现在数据足够多，它会让人能够看得见、摸得着规律。

数据这么大、这么多，所以人们觉得有足够的能力把握未来，对不确定状态的一种判断，从而做出自己的决定。这些东西我们听起来都是非常原始的，但是实际上背后的思维方式，和我们今天所讲的大数据是非常像的。

关注效率原理：由关注精确度转变为关注效率

关注效率而不是精确度，大数据标志着人类在寻求量化和认识世界的道路上前进了一大步，过去不可计量、存储、分析和共享的很多东西都被数据化了，拥有大量的数据和更多不那么精确的数据为我们理解世界打开了一扇新的大门。大数据能提高生产效率和销售效率，原因是大数据能够让我们知道市场的需要，人的消费需要。大数据让企业的决策更科学，由关注精确度转变为关注效率的提高，大数据分析能提高企业的效率。

竞争是企业的动力，而效率是企业的生命，效率低与效率高是衡量企来成败的关键。一般来讲，投入与产出比是效率，追求高效率也就是追求高价值。手工、机器、自动机器、智能机器之间效率是不同的，智能机器效率更高，已能代替人的思维劳动。智能机器核心是大数据制动，而大数据制动的速度更快。在快速变化的市场，快速预测、快速决策、快速创新、快速定制、快速生产、快速上市成为企业行动的准则，也就是说，速度就是价值，效率就是价值，而这一切离不开大数据思维。

关注相关性原理：由因果关系转变为关注相关性

关注相关性而不是因果关系，社会需要放弃它对因果关系的渴求，而仅需关注相关关系，也就是说只需要知道是什么，而不需要知道为什么。这就推翻了自古以来的惯例，而我们做决定和理解现实的最基本方式也将受到挑战。

在这个不确定的时代里面，等我们去找到准确的因果关系，再去办事的时候，这个事情早已经不值得办了。所以“大数据”时代的思维有点像回归了工业社会的这种机械思维——机械思维就是说按那个按钮，一定会出现相应的结果，是这样状态。而农业社会往前推，不需要找到中间非常紧密的、明确的因果关系，而只需要找到相关关系，只需要找到迹象就可以了。社会因此放弃了寻找因果关系的传统偏好，开始挖掘相关关系的好处。

非法在屋内打隔断的建筑物着火的可能性比其他建筑物高很多。纽约市每年接到2.5万宗有关房屋住得过于拥挤的投诉，但市里只有200名处理投诉的巡视员，市长办公室一个分析专家小组觉得大数据可以帮助解决这一需求与资源的落差。该小组建立了一个市内全部90万座建筑物的数据库，并在其中加入市里19个部门所收集到的数据：欠税扣押记录、水电使用异常、缴费拖欠、服务切断、救护车使用、当地犯罪率、鼠患投诉，诸如此类。

接下来，他们将这一数据库与过去5年中按严重程度排列的建筑物着火记录进行比较，希望找出相关性。果然，建筑物类型和建造年份是与火灾相关的因素。不过，一个没怎么预料到的结果是，获得外砖墙施工许可的建筑物与较低的严重火灾发生率之间存在相关性。利用所有这些数据，该小组建立了一个可以帮助他们确定哪些住房拥挤投诉需要紧急处理的系统。他们所记录的建筑物的各种特征数据都不是导致火灾的原因，但这些数据与火灾隐患的增加或降低存在相关性。这种知识被证明是极具价值的：过去房屋巡视员出现场时签发房屋腾空令的比例只有13%，在采用新办法之后，这个比例上升到了70%——效率大大提高了。

全世界的商界人士都在高呼大数据时代来临的优势：一家超市如何从一个17岁女孩的购物清单中，发现了她已怀孕的事实；或者将啤酒与尿不湿放在一起销售，神奇地提高了双方的销售额。大数据透露出来的信息有时确实会起颠覆。比如，腾讯一项针对社交网络的统计显示，爱看家庭剧的男人是女性的两倍还多；最关心金价的是中国大妈，但紧随其后的却是90后。而在过去一年，支付宝中无线支付比例排名前十的竟然全部在青海、西藏和内蒙古地区。

预测原理：从不能预测转变为可以预测

大数据的核心就是预测，大数据能够预测体现在很多方面。大数据不是要教机器像人一样思考，相反，它是把数学算法运用到海量的数据上来预测事情发生的可能性。正因为在大数据规律面前，每个人的行为都跟别人一样，没有本质变化，所以商家会比消费者更了消费者的行为。

此外，随着系统接收到的数据越来越多，通过记录找到的最好的预测与模式，可以对系统进行改进。它通常被视为人工智能的一部分，或者更确切地说，被视为一种机器学习。真正的革命并不在于分析数据的机器，而在于数据本身和我们如何运用数据。一旦把统计学和现在大规模的数据融合在一起，将会颠覆很多我们原来的思维。所以现在能够变成数据的东西越来越多，计算和处理数据的能力越来越强，所以大家突然发现这个东西很有意思。所以，大数据能干啥？能干很多很有意思的事情。

互联网、移动互联网和云计算机保证了大数据实时预测的可能性，也为企业和用户提供了实时预测的信息，相关性预测的信息，让企业和用户抢占先机。由于大数据的全样本性，人和人都是一样的，所以云计算机软件预测的效率和准确性大大提高，有这种迹象，就有这种结果。

信息找人原理：从人找信息，转变为信息找人

互联网和大数据的发展，是一个从人找信息，到信息找人的过程。先是人找信息，人找人，信息找信息，现在是信息找人的这样一个时代。信息找人的时代，就是说一方面我们回到了一种最初的，广播模式是信息找人，我们听收音机，我们看电视，它是信息推给我们的，但是有一个缺陷，不知道我们是谁，后来互联网反其道而行，提供搜索引擎技术,让我知道如何找到我所需要的信息，所以搜索引擎是一个很关键的技术。

大数据还改变了信息优势。按照循证医学，现在治病的第一件事情不是去研究病理学，而是拿过去的数据去研究，相同情况下是如何治疗的。这导致专家和普通人之间的信息优势没有了。原来我相信医生，因为医生知道的多，但现在我可以到谷歌上查一下，知道自己得了什么病。

谷歌有一个机器翻译的团队，最开始的时候翻译之后的文字根本看不懂，但是现在60%的内容都能读得懂。谷歌机器翻译团队里头有一个笑话，说从团队每离开一个语言学家，翻译质量就会提高。越是专家越搞不明白，但打破常规让数据说话，得到真理的速度反而更快。

机器懂人原理：由人懂机器转变为机器更懂人

不是让人更懂机器，而是让机器更懂人，或者说是能够在使用者很笨的情况下，仍然可以使用机器。甚至不是让人懂环境，而是让我们的环境来懂我们，环境来适应人，某种程度上自然环境不能这样讲，但是在数字化环境中已经是这样的一个趋势，就是我们所在的生活世界，越来越趋向于它更适应于我们，更懂我们。哪个企业能够真正做到让机器更懂人，让环境更懂人，让我们随身携带的整个的生活世界更懂得我们的话，那他一定是具有竞争力的了，而“大数据”技术能够助我们一臂之力。

大数据技术的其中一个核心目标是要从体量巨大、结构繁多的数据中挖掘出隐蔽在背后的规律，从而使数据发挥最大化的价值。由计算机代替人去挖掘信息，获取知识。从各种各样的数据（包括结构化、半结构化和非结构化数据）中快速获取有价值信息的能力，就是大数据技术。大数据机器分析中，半监督学习、集成学习、概率模型等技术尤为重要。

电子商务智能原理：大数据改变了电子商务模式，让电子商务更智能

商务智能，在今天大数据时代它获得的重新的定义。例如：传统企业进入互联网，在掌握了“大数据”技术应用途径之后，会发现有一种豁然开朗的感觉，就像在黑屋子里面找东西，找不着，突然碰到了一个开关，发现那么费力的找东西，原来很容易找得到。大数据思维，事实上它不是一个全称的判断，只是对我们所处的时代某一个纬度的描述。

大数据时代不是说我们这个时代除了大数据什么都没有，哪怕是在互联网和IT领域，它也不是一切，只是说在我们的时代特征里面加上这么一道很明显的光，从而导致我们对以前的生存状态，以及我们个人的生活状态的一个差异化的一种表达。

当然，同样的技术也可以运用到疾病诊断、推荐治疗措施，甚至是识别潜在犯罪分子上。或者说，在你还不知道的情况下，体检公司、医院提醒你赶紧去做检查，可能会得某些病，商家比你更了解你自己，以及你这样的人在某种情况下会出现的可能变化。就像互联网通过给计算机添加通信功能而改变了世界，大数据也将改变我们生活中最重要的方面，因为它为我们的生活创造了前所未有的可量化的维度。

定制产品原理：由企业生产产品转变为由客户定制产品

下一波的改革是大规模定制，为大量客户定制产品和服务，成本低、又兼具个性化。比如消费者希望他买的车有红色、绿色，厂商有能力满足要求，但价格又不至于像手工制作那般让人无法承担。因此，在厂家可以负担得起大规模定制带去的高成本的前提下，要真正做到个性化产品和服务，就必须对客户需求有很好的了解，这背后就需要依靠大数据技术。

在互联网大数据的时代，商家最后很可能可以针对每一个顾客进行精准的价格歧视。我们现在很多的行为都是比较粗放的，航空公司会给我们里程卡，根据飞行公里数来累计里程，但其实不同顾客所飞行的不同里程对航空公司的利润贡献是不一样的。所以有一天某位顾客可能会收到一封信，“恭喜先生，您已经被我们选为幸运顾客，我们提前把您升级到白金卡。”这说明这个顾客对航空公司的贡献已经够多了。有一天银行说“恭喜您，您的额度又被提高了，”就说明钱花得已经太多了。

正因为在大数据规律面前，每个人的行为都跟别人一样，没有本质变化。所以商家会比消费者更了消费者的行为。也许你正在想，工作了一年很辛苦，要不要去哪里度假？打开e-Mail，就有航空公司、旅行社的邮件。

企业产品直接销售给用户，省去了中间商流通环节，使产品的价格可以以出厂价销售，让销费者获得了好处，网上产品便宜成为用户的信念，网购市场形成了。要让用户成为你的产品粉丝，就必须了解用户需要，定制产品成为用户的心愿，也就成为企业发展的新方向。

“

本账号提供最新物联网展会活动资讯，和多家物联网企业形成战略合作伙伴，带领用户与物联网行业大咖、各地物联网俱乐部共同来玩转物联网，为行业创造最酷的物联网线下体验和思想交流的平台。

IOTCOFFEE

大数据时代所分析的数据的最主要特征是“多源异构”，其分析过程是逐层抽象、降维、概括和解读的过程。从数据采集的源头进行划分，可将大数据时代分析处理的数据对象划分为以下几个类别：

（1）各网页中用户的浏览次数、点击率，各种社交网站、动态网站网页内容信息的变化，搜索引擎中关键词的搜索量、网络实时监控数据等互联网数据。

（2）可以用于分析用户行为、对系统的操作、以及系统运行状态的日志数据。

（3）在通信领域中的各种信号、信令数据，用户的个人信息以及通话位置、时长等数据。

（4）国民经济中各领域、各行业的统计分析数据。

对于这些数量庞大的，来自不同源头的非结构化数据。其分析模式的特点如下：对于互联网产生的数据，其最主要的应用是建立搜索引擎，通过搜索引擎进行数据检索、处理。

随着技术的不断发展，个性化推荐引擎以及大数据分析引擎的问世能够更加高效的在海量数据中分析得出更有价值的信息;

对于日志数据，可对用户点击浏览的行为日志和系统运行行为日志进行分析。使得系统能够根据实际情况产生出更加智能的结果。日志数据与网页数据的分析处理模式较为类似，都是通过细致分析从而探寻出数据中蕴藏的价值。

这种数据分析处理模式称为“离线批处理模式”;对于通信领域的数据分析，分析决策人员会对经过细致分析的数据进行统计归纳和查询，并且在最短的时间内获得最有价值的信息。

以此来确保系统的交互性并最大限度地提升用户体验。这种数据分析处理模式称为“查询式分析”模式;对于互联网以及国民经济中重要行业的数据进行实时监控，这种模式称为“实时数据分析处理“模式。

以上为依据时间特征划分的数据分析模式。而实现这些分析模式的主要方法有：分类、回归分析、聚类、关联规则、神经网络、WEB数据挖掘等。

要想从急剧增长的数据资源中挖掘分析出有价值的信息，需要先进的分析技术作支撑。从宏观上看，大数据分析技术发展所面临的问题均包含三个主要特征：

（1）数据量庞大并以惊人的速度增长;

（2）数据种类与结构多样化，并以半结构化和非结构化的数据为主;

（3）需要具备及时快速的分析速度，即实时分析。这些特征使得传统的数据分析技术无法满足要求，更加先进的数据分析平台才是大数据时代更好的选择。

为了有效应对大数据时代数据分析问题的三个主要特征以及满足大数据分析的基本需求，当前以及未来一段时期内将主要通过分布式数据库或者分布式计算集群来对存储于其内的海量数据进行由浅入深的分析和分类汇总。

例如，为满足实时分析的需求通常会采用Qracle的Exadata 和EMC的GreenPlum。而目前分析处理大数据的应用最广泛的核心技术为Hadoop。

Hadoop是由Apache基金会所开发的一个基于Java的分布式数据处理和分析的软件基础架构。

在这种架构下，用户可以在不了解分布式底层细节的情况下，开发分布式程序。Hadoop能够将数量庞大的数据分解成规模较小、易访问的数据集并发送到多台服务器上进行分析，以此获得高效的分析速率。

该架构主要由文件系统以及数据处理两部分功能模块组成

一 数据分析处理需求分类

1 事务型处理

在我们实际生活中，事务型数据处理需求非常常见，例如：淘宝网站交易系统、12306网站火车票交易系统、超市POS系统等都属于事务型数据处理系统。

这类系统数据处理特点包括以下几点：

一是事务处理型操作都是细粒度操作，每次事务处理涉及数据量都很小。

二是计算相对简单，一般只有少数几步操作组成，比如修改某行的某列;

三是事务型处理操作涉及数据的增、删、改、查，对事务完整性和数据一致性要求非常高。

四是事务性操作都是实时交互式操作，至少能在几秒内执行完成;

五是基于以上特点，索引是支撑事务型处理一个非常重要的技术。

在数据量和并发交易量不大情况下，一般依托单机版关系型数据库，例如ORACLE、MYSQL、SQLSERVER，再加数据复制(DataGurad、 RMAN、MySQL数据复制等)等高可用措施即可满足业务需求。

在数据量和并发交易量增加情况下，一般可以采用ORALCE RAC集群方式或者是通过硬件升级(采用小型机、大型机等，如银行系统、运营商计费系统、证卷系统)来支撑。

事务型操作在淘宝、12306等互联网企业中，由于数据量大、访问并发量高，必然采用分布式技术来应对，这样就带来了分布式事务处理问题，而分布式事务处理很难做到高效，因此一般采用根据业务应用特点来开发专用的系统来解决本问题。

2 数据统计分析

数据统计主要是被各类企业通过分析自己的销售记录等企业日常的运营数据，以辅助企业管理层来进行运营决策。典型的使用场景有：周报表、月报表等固定时间提供给领导的各类统计报表;市场营销部门，通过各种维度组合进行统计分析，以制定相应的营销策略等。

数据统计分析特点包括以下几点：

一是数据统计一般涉及大量数据的聚合运算，每次统计涉及数据量会比较大。

二是数据统计分析计算相对复杂，例如会涉及大量goupby、 子查询、嵌套查询、窗口函数、聚合函数、排序等;有些复杂统计可能需要编写SQL脚本才能实现。

三是数据统计分析实时性相对没有事务型操作要求高。但除固定报表外，目前越来越多的用户希望能做做到交互式实时统计;

传统的数据统计分析主要采用基于MPP并行数据库的数据仓库技术。主要采用维度模型，通过预计算等方法，把数据整理成适合统计分析的结构来实现高性能的数据统计分析，以支持可以通过下钻和上卷操作，实现各种维度组合以及各种粒度的统计分析。

另外目前在数据统计分析领域，为了满足交互式统计分析需求，基于内存计算的数据库仓库系统也成为一个发展趋势，例如SAP的HANA平台。

3 数据挖掘

数据挖掘主要是根据商业目标，采用数据挖掘算法自动从海量数据中发现隐含在海量数据中的规律和知识。

数据挖掘主要过程是：根据分析挖掘目标，从数据库中把数据提取出来，然后经过ETL组织成适合分析挖掘算法使用宽表，然后利用数据挖掘软件进行挖掘。传统的数据挖掘软件，一般只能支持在单机上进行小规模数据处理,受此限制传统数据分析挖掘一般会采用抽样方式来减少数据分析规模。

数据挖掘的计算复杂度和灵活度远远超过前两类需求。一是由于数据挖掘问题开放性，导致数据挖掘会涉及大量衍生变量计算，衍生变量多变导致数据预处理计算复杂性;二是很多数据挖掘算法本身就比较复杂，计算量就很大，特别是大量机器学习算法，都是迭代计算，需要通过多次迭代来求最优解，例如K-means聚类算法、PageRank算法等。

因此总体来讲，数据分析挖掘的特点是:

1、数据挖掘的整个计算更复杂，一般是由多个步骤组成计算流，多个计算步骤之间存在数据交换，也就是会产生大量中间结果，难以用一条sql语句来表达。

2、计算应该能够非常灵活表达，很多需要利用高级语言编程实现。

二 大数据背景下事务型处理系统相关技术

在google、facebook、taobao等大互联网公司出现之后，这些公司注册和在线用户数量都非长大，因此该公司交易系统需要解决“海量数据+高并发+数据一致性+高可用性”的问题。

为了解决该问题，从目前资料来看，其实没有一个通用的解决方案，各大公司都会根据自己业务特点定制开发相应的系统,但是常用的思路主要包括以下几点：

(1)数据库分片，结合业务和数据特点将数据分布在多台机器上。

(2)利用缓存等机制，尽量利用内存，解决高并发时遇到的随机IO效率问题。

(3)结合数据复制等技术实现读写分离，以及提高系统可用性。

(4)大量采用异步处理机制，对应高并发冲击。

(5)根据实际业务需求，尽量避免分布式事务。

1相关系统介绍

1) 阿里CORBAR系统

阿里COBAR系统是一个基于MYSQL数据库的分布式数据库系统，属于基于分布式数据库中间件的分布式数据库系统。该系统是前身是陈思儒开发的“变形虫”系统(以前调研过)，由于陈思儒离开阿里去了盛大，阿里当心“变形虫”稳定性等问题，重新开发该项目。

该系统主要采用数据库分片思路，实现了：数据拆分、读写分离、复制等功能。由于此系统由于只需要满足事务型操作即可，因此相对真正并行数据库集群(例如TeraData等)，此类系统提供操作没有也不需要提供一些复杂跨库处理，因此该系统存在以下限制：

(1)不支持跨库的join、分页、排序、子查询。

(2)insert等变更语句必须包括拆分字段等。

(3)应该不支持跨机事务(以前变形虫不支持)。

说白了此类系统不具备并行计算能力,基本上相当于数据库路由器!

另外此类系统的在实际应用的关键问题是，根据什么对数据进行切分，因为切分不好会导致分布式的事务问题。

2) 阿里OceanBase系统

该系统也是淘宝为了解决高并发、大数据环境下事务型处理而定制开发的一个系统。该系统主要思路和特点如下：

(1)他们发现在实际生成环境中，每天更新的数据只占总体数据的1%不到，因此他们把数据分为：基线数据和增量更新数据。

(2)基线数据是静态数据，采用分布式存储方式进行存储。

(3)只在一台服务器上存储和处理增量更新数据，并且是在内存中存储和处理更新数据。

(4)在系统负载轻的时候，把增量更新批量合并到基线数据中。

(5)数据访问时同时访问基线数据和增量更新数据并合并。

因此这样好处是：

(1)读事务和写事务分离

(2)通过牺牲一点扩展性(写是一个单点)，来避免分布式事务处理。

说明：该系统虽然能处理高并发的事务型处理，号称很牛逼，但其实也只是根据电商的事务处理来定制开发的专用系统，个人认为其技术难度小于oracle等通用型的数据库。该系统无法应用到银行或者12306等，因为其事务处理的逻辑远远比电商商品买卖处理逻辑复杂。

在目前的大数据时代，一定是基于应用定制才能找到好的解决方案!

3) 基于Hbase的交易系统

在hadoop平台下，HBASE数据库是一个分布式KV数据库，属于实时数据库范畴。支付宝目前支付记录就是存储在HBASE数据库中。

HBASE数据库接口是非SQL接口，而是KV操作接口(基于Key的访问和基于key范围的scan操作)，因此HBASE数据库虽然可扩展性非常好，但是由于其接口限制导致该数据库能支持上层应用很窄。基于HBASE应用的设计中，关键点是key的设计，要根据需要支持的应用来设计key的组成。

可以认为HBASE数据库只支持作为KEY的这一列的索引。虽然目前HBASE有支持二级索引的方案，二级索引维护将会比较麻烦。

2并发和并行区别

并发是指同时执行通常不相关的各种任务，例如交易型系统典型属于高并发系统。

并行是通过将一个很大的计算任务，划分为多个小的计算任务，然后多个小计算任务的并行执行，来缩短该计算任务计算时间。

两者主要区别在于：

(1)通讯与协调方面：在并行计算中，由于多个小任务同属一个大的计算任务，因此小任务之间存在依赖关系，小任务之间需要大量通讯和协调;相反，并发中的多个任务之间基本相互独立，任务与任务之间相关性很小。

(2)容错处理方面：由于并发任务之间相互独立，某个任务执行失败并不会影响其它的任务。但是并行计算中的多个任务属于一个大任务，因此某个子任务的失败，如果不能恢复(粗粒度容错与细粒度容错)，则整个任务都会失败。

3本章总结

数据量大不一定需要并行计算，虽然数据量大，数据是分布存储，但是如果每次操作基本上还是针对少量数据，因此每次操作基本上都是在一台服务器上完成，不涉及并行计算。只是需要通过数据复制、数据缓存、异步处理等方式来支撑高并发访问量

三 大数据背景下数据统计分析技术介绍

随数据量变大，和事务处理不同的是，单个统计分析涉及数据量会非常大，单个统计分析任务涉及数据会分散在多台服务器上，且由于计算量大，采用单台服务器进行计算，会导致计算时间非常长，单个统计分析任务必须采用并行计算方式来加快单个统计分析任务执行速度。

1并行查询与并行计算技术介绍

在大数据背景下的数据统计分析技术门类很多，常见的有：

n MPP并行数据库 : TeraData、GreenPlum、Vertica等。

n 基于MapReduce并行计算框架的数据仓库：

HIVE(Hadoop平台) 、Tenzing(Google公司)

n 基于Hbase的Phoenix系统

n HadoopDB系统

n EMC公司的hapt系统

n MPP分布式查询引擎： Dremel、Impala、Presto、Shard query、Citusdb。

n 基于SPARK的Shark、基于Dryad的SCOPE、基于Tez的stinger。

n 基于hadoop+index的JethroData系统

n 基于内存计算的Druid系统

这些系统都解决了海量数据下的数据统计分析的问题，并且这些系统另外一个共同特点是都提供了SQL或者类SQL接口。

为了能够较好研究这些系统，我们需要对并行查询与并行计算的相关技术做一个简要的介绍。

首先所有的系统都可以分为三个层次: 语义层、并行计算引擎层、分布式存储层。语义层提供一个编程接口让用户表达所需要计算，并负责把该计算翻译成底层并行计算引擎可以执行的执行计划，并由并行计算引擎来执行，最下面一层是分布式存储层。

对于提供类SQL接口并行计算系统，语义层可以认为是SQL解析层。

1) 语义层

SQL语言是一种声名式语言，SQL只是表达了要做什么，而没有表达怎么做。为此，SQL解析层主要作用是：将用户提交的基于SQL的统计分析请求，转化为底层计算引擎层可以执行的执行计划。也就是解决“怎么做”的问题。

SQL解析层工作主要包括两个大方面:

(1) 通过语法分析技术来理解要做什么。在关系数据库中，一般会把SQL语言分析后，形成树型结构的执行计划。

(2) 在语法分析技术上，利用各种优化技术和算法，找出一种最经济物理执行计划。

优化可以分为两个方面：一是逻辑层面优化、二是物理执行层面优化。

(1) 逻辑层优化

逻辑层面个人认为主要是因为同样表达一个分析请求，有的人SQL写的好，有的人SQL写的烂，因此在逻辑层面可以通过一些等价关系代数变换，实现查询重写，将写的比较烂的sql变换为好的写法。

比较典型优化是：“把投影和过滤下沉，先执行过滤和投影操作”，减少中间结果。

(2) 物理层优化

物理层面优化是在逻辑优化后，结合实际物理执行过程，找出最优的物理执行计划。生成物理查询计划的工作包括:

ü 增加一些操作符： 包括扫描和排序等。

ü 确定各个操作符实现算法。例如扫描是全表扫描还是利用索引;Join是采用HASH连接、索引连接、合并排序等实现算法中的那一种。

ü 确定操作符之间的数据流转方法：物化还是流水线方式。

ü 采用基于代价估算方法确定最优的物理执行计划，目前代价估算主要是以估算该物理计划需要的IO量。另外对于并行数据库，则还要考虑通讯代价，即尽量减少数据在各个机器之间的传递。

在物理层优化的代价估算过程中，代价估算需要依靠很多统计信息，如表有多大，表中相关列的值分布是什么样子等。传统数据库在数据Load过程中会事先计算好这些统计信息。并行计算中还需要考虑通讯代价。

需要指出是，由于imapla、Presto、HIVE等系统只是一个查询引擎，它们可以直接查询以普通文件方式存储在HDFS系统上的文件，因此这些系统一般无法使用索引和各种统计信息来进行物理执行计划的优化，这些系统一般只能在逻辑层进行一些基于规则静态优化。根据SHARK论文，SHARK系统支持根据前面一些节点计算获得的信息，来动态优化后面执行计划。

(3) 物化与流水线执行方法

一条SQL语句对开发人员而言，感觉只是一次调用，但是实际上在数据库内部，一条SQL语句执行其实是有多个操作符组合而成的的树型结构计算流。如下图：

针对该计算流有两种执行方式：一是基于物化或者是实体化执行方式，另外一种是基于数据流的执行方式。

第一种方法的过程是： 把各个操作运算排序，并把每个操作运算的输出的中间结果存储在磁盘上，直到被另外一个操作运算所...

“本文作者 陈睿 ，优知学院创始人新技术、新趋势往往趋之若鹜却又很难说的透彻，希望这篇文章能让大家完整的理解什么是大数据:该篇包含：大数据、技术、场景应用以及大数据的岗位。

什么是大数据

说起大数据，估计大家都觉得只听过概念，但是具体是什么东西，怎么定义，没有一个标准的东西，因为在我们的印象中好像很多公司都叫大数据公司，业务形态则有几百种，感觉不是很好理解，所以我建议还是从字面上来理解大数据，在维克托迈尔-舍恩伯格及肯尼斯库克耶编写的《大数据时代》提到了大数据的4个特征：

一个是数量大一个是价值大一个是速度快一个是多样性第一个是数量比较大，只有数据体量达到了PB级别以上，才能被称为大数据。1PB等于1024TB，1TB等于1024G，那么1PB等于1024*1024个G的数据。

第二个是价值大，你如果有1PB以上的全国所有20-35年轻人的上网数据的时候，那么它自然就有了商业价值，比如通过分析这些数据，我们就知道这些人的爱好，进而指导产品的发展方向等等。如果有了全国几百万病人的数据，根据这些数据进行分析就能预测疾病的发生，这些都是大数据的价值。

第三个就是多样性，如果只有单一的数据，那么这些数据就没有了价值，比如只有单一的个人数据，或者单一的用户提交数据，这些数据还不能称为大数据，所以说大数据还需要是多样性的，比如当前的上网用户中，年龄，学历，爱好，性格等等每个人的特征都不一样，这个也就是大数据的多样性，当然了如果扩展到全国，那么数据的多样性会更强，每个地区，每个时间段，都会存在各种各样的数据多样性。

第四个是速度快，就是通过算法对数据的逻辑处理速度非常快，1秒定律，可从各种类型的数据中快速获得高价值的信息，这一点也是和传统的数据挖掘技术有着本质的不同。

大数据的行业应用

大数据无处不在，大数据应用于各个行业，包括金融、汽车、餐饮、电信、能源、体能和娱乐等在内的社会各行各业都已经融入了大数据的印迹。

制造业，利用工业大数据提升制造业水平，包括产品故障诊断与预测、分析工艺流程、改进生产工艺，优化生产过程能耗、工业供应链分析与优化、生产计划与排程。

金融行业，大数据在高频交易、社交情绪分析和信贷风险分析三大金融创新领域发挥重大作用。

汽车行业，利用大数据和物联网技术的无人驾驶汽车，在不远的未来将走入我们的日常生活。

互联网行业，借助于大数据技术，可以分析客户行为，进行商品推荐和针对性广告投放。

电信行业，利用大数据技术实现客户离网分析，及时掌握客户离网倾向，出台客户挽留措施。

能源行业，随着智能电网的发展，电力公司可以掌握海量的用户用电信息，利用大数据技术分析用户用电模式，可以改进电网运行，合理设计电力需求响应系统，确保电网运行安全。

物流行业，利用大数据优化物流网络，提高物流效率，降低物流成本。

城市管理，可以利用大数据实现智能交通、环保监测、城市规划和智能安防。

生物医学，大数据可以帮助我们实现流行病预测、智慧医疗、健康管理，同时还可以帮助我们解读DNA,了解更多的生命奥秘。

体育娱乐，大数据可以帮助我们训练球队，决定投拍哪种题财的影视作品，以及预测比赛结果。

安全领域，政府可以利用大数据技术构建起强大的国家安全保障体系，企业可以利用大数据抵御网络攻击，警察可以借助大数据来预防犯罪。

个人生活， 大数据还可以应用于个人生活，利用与每个人相关联的“个人大数据”，分析个人生活行为习惯，为其提供更加周到的个性化服务。

大数据的价值，远远不止于此，大数据对各行各业的渗透，大大推动了社会生产和生活，未来必将产生重大而深远的影响。

大数据使用的技术

说起大数据，大数据有三个层数据采集、存储、计算三层。

第一个是数据采集层，以App、saas为代表的服务。

大数据基础阶段需掌握的技术有：Linux、Docker、KVM、MySQL基础、Oracle基础、MongoDB、redis以及hadoopmapreduce hdfs yarn等。

第二个数据存储层，比如云存储，需掌握的技术有：hbase、hive、sqoop等。

比如：Hadoop作为一个开源的框架，专为离线和大规模数据分析而设计，HDFS作为其核心的存储引擎，已被广泛用于数据存储。HBase，是一个分布式的、面向列的开源数据库，可以认为是hdfs的封装，本质是数据存储、NoSQL数据库。

HBase是一种Key/Value系统，部署在hdfs上，克服了hdfs在随机读写这个方面的缺点，与hadoop一样，Hbase目标主要依靠横向扩展，通过不断增加廉价的商用服务器，来增加计算和存储能力。

第三个是数据计算应用层，以数据为基础，为将来的移动社交、交通、教育，金融进行服务，涉及到大数据架构设计阶段需掌握的技术有：Flume分布式、Zookeeper、Kafka等，以及大数据实时计算阶段需掌握的技术有：Mahout、Spark、storm。

大数据的岗位

1.数据分析师Data analyst

指熟悉相关业务，熟练搭建数据分析框架，掌握和使用相关的分析常用工具和基本的分析方法，进行数据搜集、整理、分析，针对数据分析结论给管理销售运营提供指导意义的分析意见。

2.数据架构师Data architect

对Hadoop解决方案的整个生命周期进行引导，包括需求分析，平台选择，技术架构设计，应用设计和开发，测试和部署。深入掌握如何编写MapReduce的作业及作业流的管理完成对数据的计算，并能够使用Hadoop提供的通用算法， 熟练掌握Hadoop整个生态系统的组件如： Yarn，HBase、Hive、Pig等重要组件，能够实现对平台监控、辅助运维系统的开发。

3.大数据工程师Big DataEngineer

收集和处理大规模的原始数据（包括脚本编写，网页获取，调用APIs，编写SQL查询等）；将非结构化数据处理成适合分析的一种形式，然后进行分析；根据所需要的和专案分析商业决策。

4.数据仓库管理员

Data warehousemanager：指定并实施信息管理策略；协调和管理的信息管理解决方案；多个项目的范围，计划和优先顺序安排；管理仓库的各个方面，比如数据外包，移动，质量，设计和实施。

5.数据库管理员Database manager

提高数据库工具和服务的有效性；确保所有的数据符合法律规定；确保信息得到保护和备份；做定期报告；监控数据库性能；改善使用的技术；建立新的数据库；检测数据录入程序；故障排除。

6.商业智能分析员Businessintelligence analyst

就工具，报告或者元数据增强来进行传播信息；进行或协调测试，以确保情报的定义与需求相一致；使用商业智能工具来识别或监测现有和潜在的客户；综合目前的商业只能和趋势数据，来支持采取行动的建议；维护或更新的商业智能工具，数据库，仪表板，系统或方法；及时的管理用户流量的商业情报。