大数据技术指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

1、Avro与Protobuf

Avro与Protobuf均是数据序列化系统，可以提供丰富的数据结构类型，十分适合做数据存储，还可进行不同语言之间相互通信的数据交换格式，学习大数据，需掌握其具体用法。

2、Cassandra

Apache Cassandra是一个高性能，可扩展性和高线性可用的数据库，可以运行在服务器或云基础设施上，为关键任务数据提供完美的平台，。 Cassandra支持多个数据中心之间复制是同类产品中最好，为用户提供更低的延迟，甚至不惧怕停电。 Cassandra的数据模型提供了便利的列索引，高性能试图和强大的内置缓存。

3、Kafka

Kafka是一种高吞吐量的分布式发布订阅消息系统，其在大数据开发应用上的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。大数据开发需掌握Kafka架构原理及各组件的作用和使用方法及相关功能的实现！

4、Chukwa

是一个开源大型分布式系统的数据采集监视系统。它是建立在Hadoop分布式文件系统（HDFS）和Map/ Reduce框架之上，并继承了Hadoop的可伸缩性和健壮性。 Chukwa还包括一个灵活而强大的工具包，用于显示，监测和分析结果，以便做出最佳地使用所收集的数据。

5、Flume

Flume是一款高可用、高可靠、分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。大数据开发需掌握其安装、配置以及相关使用方法。返回搜狐，查看更多

石油公司壳牌通过分析数据以预测机器故障

很少有行业能比能源行业产生更多的数据了。但多年来，石油巨头壳牌甚至不知道其在世界各地的各种设施中的零件都位于哪里;它不知道什么时候需要再进货;直到部件开始出现故障，它才知道什么时候出现了维护问题。由于机器停机每天给公司造成了数百万美元的损失，于是壳牌决定收集数据以避免这些问题。

壳牌卓越数据科学中心的总经理Daniel Jeavons表示，壳牌基于多家供应商的软件建立了一个分析平台，运行预测模型，以预测3000多种不同的石油钻井机的部件何时会出现故障。

其中一个名为Databricks的工具通过Apache Spark来捕获流数据。壳牌使用这个工具来更好地计划什么时候购买机器部件，保存多长时间，以及在哪里存放库存物品。

该工具托管在微软Azure的云中，帮助壳牌将库存分析从超过48小时减少到不到45分钟，每年减少数百万美元的库存转移和重新分配成本。

经验总结:避免机器故障需要很多工具。Jeavons表示，壳牌的平台包括了来自Databricks、Alteryx、C3、SAP和其他供应商的软件，所有的这些软件共同帮助了他的数据科学家来产生商业见解。最终，首席信息官必须正确评估这些工具，并在进行大额购买之前了解哪些才是有效的。

ARC启用了新的数据管理工具

数据是航空报告公司( ARC )的生命线，该公司每年结算航空公司之间价值超过880亿美元的机票交易，包括德尔塔航空公司、美国航空公司、英国航空公司、阿拉斯加航空公司以及Expedia等旅行社。航空公司付费获取ARC在这些交易中收集的数据，以了解更多的关于旅行者的目的地、旅行时间以及在此过程中每年为超过22亿次航班支付的费用的信息。

ARC捕获数据，将其输入分析引擎，对其进行细化，并为其客户构建定制的报告。ARC 的CIO Dickie Oliver表示，该公司正从Teradata的数据仓库迁移到Snowflake的云软件中，这将帮助ARC更快地将数据产品推向市场，并提供更大的可伸缩性和性能，这得益于其在AWS上的业务。Oliver表示，Snowflake是为了将计算资源与数据存储分开而设计的，它使ARC能够为客户快速构建新的定制报告。Oliver补充说，多亏了这个项目，ARC将能够为考虑新数据形式的客户量身定制新的产品。

经验总结:迁移到一个新的数据平台通常是令人畏惧的，不仅仅是因为技术的转变;变更管理是其中真正的麻烦所在。Oliver说，让人们“从一开始就专注于改变，并让他们经历改变过程是这个过程中最具挑战性的部分”，他补充说，他正全力培训员工，包括让他们通过认证，并引进顾问，如让Slalom来帮助我们进行变更管理。

TD银行在数据湖方面的天赋

TD银行的数据分析团队花了几年时间来更新数据基础设施，以满足当前和未来的需求，并创建了一个企业Hadoop数据湖。

TD银行企业信息高级副总裁Joe DosSantos表示，我们使用了基于Cloudera的数据湖用来培养对客户的洞察力，包括从跟踪员工的流失率，到为客户提供合适的产品。

TD 银行的一个核心关注点包括让业务分析师能够从数据湖中提取数据，可用且可操作的能力，而无需数据科学家来亲自操控。 DosSantos表示:“我们正在让人们广泛使用这些数据集。”他补充道，TD Bank还尝试使用其分析平台来检测欺诈和其他渎职行为。

经验总结:过去几年来，TD Bank一直在重新构想其企业数据平台，筛选数十年来的客户交易和其他数据。TD银行没有过度依赖Hadoop，而是使用了Talend的软件来提取、转换原始数据并将其加载到可用于可操作商业智能的信息中。

DosSantos解释道:“Hadoop对于理解如何从A点到B点获取数据方面并不是很好。而Talend有一个元数据管理器和一个中央存储库来跟踪数据湖中的数据移动和转换。”

嘉吉公司正为虾农提供数据分析

嘉吉公司(Cargill)的动物营养部门开发了一款名为iQuatic的移动数据跟踪应用，帮助养虾人降低产量的死亡率。

嘉吉动物营养公司的CIO Tiffany说，该应用程序能够基于环境因素(如温度、pH值和营养)来预测虾池中的生物量，并与嘉吉公司的iQuatic自动喂虾系统协同工作。Snyder在8月的CIO 100研讨会上介绍了iQuatic系统。

只要农民将应用程序中的数据保存到云中，然后访问实时的操作仪表盘，便能够直观显示池塘的性能，提供关键的测量和预测分析，帮助他们更好地管理虾健康并提高产量。以前，农民是用传统的方式——用笔和纸来收集的这些数据。

经验总结:为了构建这个应用程序，嘉吉公司派遣了工程师和企业高管去厄瓜多尔的一个养虾场，了解农民是如何从池塘中获取数据的。“我们让农民成为了我们团队的一部分，”Snyder说。通过在敏捷、two-pizza的团队中快速工作，为在5个月内成功进行试点铺平了道路，并最终实现了产品发布。

让数据分析在默克公司发挥作用

全球医疗保健公司默克希望利用在ERP和核心系统中收集到的数据来进行生产执行和库存控制，以获得更多的商业见解。但是，由于它的工程师花费了60%到80%的精力去寻找、访问和获取每个项目的数据，以至于许多商业目标没有得到实现。默克公司的IT制造首席信息官Michelle D’alessandro表示:“我们没有把数据视为一种可行的、永久的、有价值的资产。我们希望建立一种文化，在这种文化中，我们可以尽量在移动和报告数据上少花时间，从而将更多的时间花在使用数据来实现有意义的业务成果上。”

默克公司创建了MANTIS(制造和分析智能)系统，这是一个über数据仓库系统，包括了内存数据库和开源工具，可以处理在结构化和非结构化系统中的数据，包括文本、视频和社交媒体。重要的是，该系统能够允许非技术业务分析师在可视化的软件中轻松的查看数据。而数据科学家可以通过复杂的模拟和建模工具访问信息。MANTIS系统已经使公司整体IT分析项目总业务量的时间和成本降低了45%。有形的业务成果包括平均提前期减少了30%，平均库存持有成本减少了50%。

经验总结:D'Alessandro表示，她成功的关键是在亚太地区的一家工厂中设立了一个“标杆”分析项目，默克将在那里获得最大的回报。而在那里展示了MANTIS的成功之后，它就为其他网站树立了榜样。她还学会了如何步步为营。D 'Alessandro说，她在一个早期的实验中使用了人工智能和机器学习来分析默克制造过程的成本，但她“做得过头了”。她说:“这并不是因为缺乏赞助或缺乏远见，我们只是无法让它发挥作用。

伴随着数字化转型的推进，DT时代正在全面到来。对于这一大趋势，业界已经形成了共识。

不过，对于眼下正火热的大数据市场，大家的观点却似乎出现了明显分歧——有人认为忽悠成份大，也有人认为前景一片光明。

虽然听起来有点儿两极分化，但其实两个观点都有道理。目前大数据还处于市场启动期，大家谈论更多的是数据本身，而真正落地的应用的确不够多，但大数据市场的发展前景绝对值得看好——这中间就是现实与未来的差距。

导致这一落差的很大原因是，缺乏真正有效的大数据分析工具，也就不能够为企业的业务决策提供服务，而这才是大数据真正的价值所在。

所有分析功能汇聚于同一平台

从国内市场情况来看，大数据生态系统涉及到数据采集、数据传输、数据存储、数据备份、数据整理、数据分析、数据挖掘、数据呈现等很多环节，每个单一环节都有不少企业涉足，但缺乏具备整体综合能力的服务商。这导致很多想做大数据落地应用的行业客户，无法得到强有力的支持。

当然，不是大数据服务商不想成为综合服务商，而是能力方面有欠缺——需要下有数据处理工具、上有行业认知，中间则是核心的数据分析、挖掘和可视化等服务能力。

或许正是因为看到了巨大的市场落差和客户需求，SAP在中国市场推出了新一代分析云服务——SAP Analytics Cloud（SAC）。SAC的最大特点就是把所有分析功能汇聚于同一个平台，并且以云的方式交付给客户。

SAP分析云产品研发中心副总裁Ty Miller

SAP分析云产品研发中心副总裁Ty Miller介绍说，One|Simple|Cloud是SAC的主要特点。其中的One指的就是用一款产品覆盖所有服务，包括计划管理、机遇发现、数据可视化、预测分析等功能，同时还包含丰富的行业和业务线知识库，当然还包括SAP Digital Boardroom，以及今后合作伙伴基于SAC平台提供的应用；Simple则是要让数据分析变得简单易用，这有助于解决本文开头提到的问题，使大数据应用变得更容易落地；Cloud则突出了这是一个云平台，以云服务的形式交付。

值得注意的是，SAC并不只有公有云一种部署模式，同样也支持本地部署；更为难得的是，无论客户是本地部署还是云端部署，都可以通过同一个许可证完成，这样不仅方便定价，也使客户可以灵活在不同部署方式之间迁移，而不需要重新签署购买合同。

让分析云服务惠及所有客户

应该说，SAP涉足分析云服务具有得天独厚的优势。SAP HANA已经成为市场上最流行的内存计算平台，为大数据分析提供了强有力的支撑。同时，SAP一直在管理软件市场处于领导地位，熟悉各个行业客户的需求，这非常有利于带动大数据在行业应用的落地。

SAP副总裁、大中华区商务分析总经理徐哲说，SAP分析云服务可以为所有的企业提供服务，不分行业、不分大小，尤其是给中小企业提供了一个很好的机会，使它们能够以很低的价格享受到以前大企业才能拥有的解决方案。

SAP副总裁、大中华区商务分析总经理徐哲

SAP的分析云服务还能够与SAP的其他解决方案集成在一起，为企业的数字化转型提供全面支持。这其中包括物联网、机器学习、区块链等最新技术，当然也包括以SAP S/4 HANA为代表的数字化核心系统和SAP Leonardo这一数字化创新系统。

SAC所支持的混合云部署模式，也能够最大程度地满足不同客户的需要。出于对数据安全等方面的顾虑，国内很多大企业还不愿意把核心数据上云，SAC可以让客户先把非敏感数据放在云上，而把核心数据放在本地，然后再逐步向云端迁移。目前，SAC已经在全球拥有8个数据中心，其中包括在中国的一个。

搭建分析云生态联盟

谈到SAC的定位，徐哲表示，SAC只是一个基础平台，为客户提供知识资本工具。虽然SAC本身也可以以SaaS的形式直接向客户交付，但对于一些特定应用，包括各行业和业务领域的应用，都需要合作伙伴来提供专门的解决方案。因此，SAC并不只是SAP一家的，而是需要整个生态联盟共同合作。

据介绍，SAC的合作伙伴分为分销型、解决方案型和联合创新型三大类。其中分销型合作伙伴，是通过销售价差来赚得利润，可以销售SAP或者合作伙伴的产品和解决方案。解决方案型合作伙伴，则负责为行业客户提供行业解决方案的构建服务或SAP分析类产品的实施服务。创新型合作伙伴，则是把其自有产品与SAC平台相结合，打包成整体解决方案，与SAP共同推向市场。

对于SAP来说，合作伙伴帮助SAC实现了从平台到应用的转变，能够直接交付客户价值。而对于合作伙伴来说，SAC提供了一个很好的平台，从而能够高起点地开发自己的应用，直接服务于行业客户，为他们带来业务价值。

为了支持合作伙伴的联合开发和联合创新，SAP为合作伙伴提供了很多扶持政策，比如开展骇客训练营等培训活动，通过应用商店对合作伙伴的产品进行推广，技术人员亲身参与合作伙伴的第一第二个项目等。

2017影响IT生态的十大事件

据说，2017中国公有云运营商生态的画风是这样的

干货 | 四位方案商“大佬”对中国云计算的思考

2017中国云计算500强（Cloud500）榜单

这几天IT界最热的新闻无非就是顺丰和菜鸟物流的互掐。

当然这还得先提到丰巢（它才是导火索！）

菜鸟与丰巢的合作始于2016年，今年3月双方合作到期。经过近两个月的沟通谈判，双方无法就信息安全所需要的数据连接达成共识，遂中止了合同协议。丰巢2015年6月6日由顺丰、申通、中通、韵达、普洛斯领航共同投资创建，主业为研发运营智能快递柜，旨在破解快递最后100米难题，服务快递行业末端快件运营。5月27日，菜鸟邮件告知顺丰将停用丰巢接口。5月31日晚上6点，顺丰向菜鸟发出数据接口暂停告知。6月1日凌晨，顺丰关闭了自提柜的数据信息回传。但目前双方对两个问题莫衷一是：6月1日上午10点，顺丰是否又进一步关闭了整个淘宝平台物流信息的回传？菜鸟是否要求顺丰提供非淘系数据？两家都对关键问题讳莫如深，对第二个问题尤其敏感。从无法就信息安全所需要的数据连接达成共识、到相互关闭数据接口，这背后显示的，是目前物流领域两大巨头对数据的争夺。丰巢和菜鸟的合作内容，包括向菜鸟提供消费者手机号信息给丰巢，丰巢反馈快递出入柜信息、丰巢网点推送等相关快递柜物流信息给菜鸟。顺丰称菜鸟在续约中，提出所有丰巢快递柜信息的触发必须通过菜鸟裹裹，取件码信息无条件给到菜鸟，丰巢需要返回所有包裹信息给菜鸟（包括非淘系订单）。这意味着，顺丰凡是使用丰巢快递柜的物流数据都将向菜鸟彻底开放。顺丰方面称，丰巢难以接受以上合作条款。而菜鸟则在今日的回应中表示，菜鸟从未要求顺丰提供非淘系数据。反而是在过去的合作中，顺丰大量查询和使用丰巢当中非顺丰的数据，远远超出了正常使用范围。菜鸟担心这将进一步带来信息泄露和数据滥用的风险。

文中始终围绕着一个关键词，细心的读友可能就发现了，没错就是“数据”，这次两家互怼的就是“数据”的开放及其一系列问题。那么问题来了，数据为什么那么重要，不就是看个信息而已吗，至于吗！

不！大错特错了，数据很重要，特别对于顺丰这种物流企业，数据简直是命根子。

为什么大数据很重要？

大数据可帮助企业利用数据并利用数据来识别新的机会。这反过来又会导致更智能的业务动作，更高效的运营，更高的利润和更快乐的客户。还有以下几点价值。

降低成本。诸如Hadoop和基于云的分析之类的大数据技术在存储大量数据方面带来了显着的成本优势，加上他们可以识别更有效的业务方式。更快，更好的决策。凭借Hadoop和内存分析的速度，加上分析新数据源的能力，企业可以立即分析信息，并根据他们所学到的知识做出决策。新产品和服务。通过分析来衡量客户需求和满意度的能力，有能力为客户提供他们想要的。达文波特指出，通过大数据分析，更多的公司正在创造新产品以满足客户的需求。

现在”大数据”的流行度甚高，大家也许会认为大数据的价值与其数量成正比，即：拥有的数据越多越好。毫无疑问，大数据为了解我们周围的世界和预测人们的行为提供了新的方法，并且正在改变我们的经商方式、被治理的方式、照顾自己的方式以至学习的方式。

然而，大数据的价值不在于”大”，或是积累更多的数据，而在于人们使用大数据解答的问题，而这些答案将改善业务。

大数据的真正价值不在于简单的为了收集数据而收集数据，而在于如何更巧妙地使用已经拥有的数据。

海量数据

那么什么是大数据？大数据的重要性又何在？

我们生活在一个不断产生海量数据的世界。根据IBM的研究，90%以上的现存数据是在过去两年产生的。IBM估计，现在日产数据量达百万的三次方字节—相当于每24小时生成约10亿千兆字节，或相当于每日生成一大堆硬盘驱动器。

数据生成的方式多种多样。每一次按键、每一次购买和每一次传感器激活均生成数据。而且数据不是简单的数值。数据也可在社交媒体上发布的评论、Tweet以及照片共享中提取，将消费者的情绪转化成可量化和可测量的有用信息。

每个孤立的数据本身价值不大。但同其它数据连接以后，看似毫无价值的数据变成了洞察人类行为、影射企业自身及竞争对手的商业环境的宝贵数据。

就商业而言，理解大数据意味着什么比定义大数据更重要。大数据不是一种颠覆性的技术。有了大数据也不能立即提高业务表现。

事实上，大数据不是什么新生事物。在我们感觉可以管理或消费的数据生成之前，科技进步已催生出大量数据。历史上，这种例子不胜枚举。

如今，人类只是利用了越来越多的可视化工具，才得以实现累计的大量数据带来的好处。 通过在一个简单的表格上移动，QlikView、SAP可视化智能和其它工具能为我们提供大数据的动态可视化，呈现信息背后无数的链接和互连。

在将非结构化的大数据转换为我们所称的”可操作的商业智能”的过程中，这是关键的一步。

商业发现

通过拍摄复杂的、实时的和不断变化的商业图片并将其转换成易懂的视觉效果图，这些工具能够帮助我们获取多层次数据，理解这些数据之间的联系并开启新的理解和商业机会。 通过这种”商业发现”的过程，企业可以看到新的、更加完整和更加全面的商业模式。

随着科技的进步和更多的数据生成，在越来越多的领域创造可操作的商业智能的可能性将提高。

比如，零售商可以从客户忠诚卡中搜集数据，并将这些数据与来自他们的消费者社会关系网络的数据连接起来。通过此类商业智能，零售商可以更好地了解现有客户是谁以及现有客户对其它现有客户或潜在客户的影响。通过更好地定向营销，可以实现对这些商业智能的操作，从而使商业智能更加富有实效，更好地预测购买行为。

让我们看另一个关于可操作的商业智能的假设的例子。某人走在新加坡的街上，由于其心脏起搏器已经停止而昏厥。救护车立即赶赴现场。几分钟前，某女士发tweet留言，称其看到某人刚刚昏厥。15分钟前，监控摄像头扑捉到该行人因心脏起搏器失灵看起来正在困惑的画面。另外，过去的几小时其心脏起搏器显示失灵。如果我们把这些数据联系起来，急救医生可以早已采取好预防措施，改善对该病人的治疗效果。

上述情景也许听起来有点不着边际，但想一想我们现在认为理所当然的事几年前听起来也同样的不着边际。

如今投资者无须借助大型计算机系统便可即时跟踪数千支股票。现在，我们行走时通过掌上操作便可实现这一点。现在生产企业可以通过计算机实时监测世界上任一地点任一工厂的每条生产线的表现。如今，任何企业资源计划（ERP）系统都可以实现这一点。30年前我们认为的”大数据”现已不再复杂和具有挑战性。30年后，今天的大数据也将变得很简单。

提高业务结果

关键在于工具、人和流程的结合。通过此”能力集合”，我们可以捕捉和处理数据，及时得出可操作的商业智能，从而改善业务结果。

速度至关重要。毕竟，只有以足够快的速度使用商业智能，才能实现商业智能的真实价值。

下一代商业领导者正在使用大数据，并培养实现更高水平的可操作的商业智能的能力。通过从社交媒体的情绪、经手机软件跟踪的客户动向，以及实时的资源位置等复杂的大容量渠道中获得数据，他们可以即时决定未来最佳的业务结果，从而提高业务规划的精确性和企业总体表现。

上述能力可以使某些企业抓住其它企业无法抓住的机遇。同时，未能利用自己的大数据得出可操作的商业智能的企业会失去节省大量资金的机会，并且容易屈服于其竞争对手和当前的市场力量。

可以通过最近的一个例子来证明上述理论。工业巨头通用电气称其认为，通过更智能的方式使用业已存在的数据，公用事业行业可以因提高潜在效率而获利约1500亿美元。

通过使用其称为”身临其境”的数据可视化，通用电气的Grid IQ软件可以帮助公用事业行业更好地监测其基础设施，使用数据流获得商业智能，从而使这些企业快速、及时地应对商业变化，改善业务结果。

对任何企业而言，这一结论都是显而易见的：建立更加全面的商业模式和增加企业竞争力的关键在于，通过智能的方式使用数据解决企业面临的主要问题。

于此同时，那些尚未开始可操作的商业智能的能力建设的企业面临着被淘汰的风险。

大数据如此重要，菜鸟和顺丰不怼才怪呢！

人们必不可少的生活状态离不开衣食住行。随着国内人民生活水平的提高，消费能力的不断攀升也使得国内食品行业蓬勃发展，近些年来移动互联网的飞速发展，也使得食品企业越做越大的同时遇到了行业瓶颈与机遇， 如何站在风口，赢得先机，成为食品企业应对行业挑战的契机。

目前食品行业存在的难题

1. 食品行业能否快速传递市场声音，并及时洞察响应市场需求，决定着企业的生死；不过传统食品企业内部往往缺乏高效扁平的沟通渠道与强悍的执行机制，导致企业发展处处受限，内部和运营往往沟通协作不畅。

2. 食品行业从总部到终端，渠道涉及层级很多，且链条长、变动频繁，企业无法及时准确了解每个环节关键信息，政策无法及时送达，管理成本高，缺乏对营销细节的有效掌控。导致渠道管理成本高且效率低。

3. 食品行业从研发、生产、营销、物流等环节流程长，业务移动化程度低，企业运转效率低，难以快速响应市场，导致业务提升率低。

4.食品企业员工分散在全国各地，绝大部分时间都在外勤工作，导致战略与文化传播不及时、触达率低、传播效果差，导致企业文化和工作氛围交流不够充分。

SAP食品行业ERP解决方案

作为国内发展最快的SAP Business One金牌代理商合作伙伴，佑硕企业管理（苏州）有限公司及时向中小型企业（SME）提供复杂、简单、集成的业务管理解决方案而享有盛誉。接下来小编详细为大家介绍一下针对食品行业做出的SAP ERP解决方案。

SAP食品加工行业解决方案围绕销售、生产、采购、财务、质量管理等，充分利用企业资源，保证供应链的一致性。SAP食品行业ERP解决方案将为企业建立起覆盖全方位的采购管理、生产管理、成本管控、质量追溯、价格管理、销售管理、业务流程体系及即时的数据统计分析平台，帮助提升在市场中的整体竞争力。

将食品采购、生产、财务、库存、质检、销售等诸多环节有效整合统一的标准和内控体系支撑跨公司、跨区域的集团化管控通过可视化的业务流程系统，实现对业务关键点的管控完整实时的供应链管理体系和追溯系统保障食品安全实时、精准、多维度的商务智能分析及报表展现移动商务应用以缩短决策周期，加速对市场和客户的响应SAP稳定灵活的平台支持与第三方系统的无缝集成基于SAP Business One的食品行业解决方案帮食品行业企业实现

1.跟踪产品的整个流程

通过SAP Business One灵活的批次管理，企业可以轻松跟踪各个产品从采购到销售的整个流程，清晰地了解到货物的实时库存情况，包括数量、批次、保质期等信息，从而轻松进行下单、配货、和管理统筹等工作。

2.突破信息孤岛，各部门信息及时沟通，提高工作效率

SAP Business One系统一体化的优势，把原来的各个信息孤岛串联在一起，各个部门业务人员通过一个系统进行信息沟通，提高工作效率。

3.数据实时收集分析

通过基于SAP Business One 解决方案的统一平台和丰富的报表功能，企业领导层可以实时监控企业销售，库存、财务等运行情况，依靠实时的数据报表及时做出经营决策。

4.管理人员的观念和职能发生了转变

通过透明的管理流程，使问题在前端就能清晰的被发现并杜绝，内部协调的管理工作较多地由信息系统来承担，管理人员的职能全面转向业务发展。

5.二次开发满足不同食品类型行业企业的特殊需求

每个企业的产品不同，生产流程不同从而导致需求不同。SAP Business One灵活拓展性提供的二次开发平台，SAP B1的标准配置下为企业特殊业务流程进行二次开发配置，满足行业细化的解决方案要求，比肩国际食品大企业的科学管理模式。

BI即商业智能，国外已基本普及，国内也逐渐发展并且开始不断应用大数据和云技术。从全球使用情况来看，BI工具的应用以国外产品为主，包括Oracle、IBM、Cognos、MSTR、Qlikview、Tableau等等，国内工具以润乾、亿信华辰、用友等BI为主。

下面我们就将对比一下国内外BI产品分别有哪些优劣势：

一、国外传统BI

IBM

主要产品：DB2、Cogons、SPSS

优势：覆盖BI和数据挖掘领域，拥有强大的数据库平台。产品Cogons8商业智能是第一个在单一的、已证的体系结构上提供所有BI功能的BI产品，支持主流的UNIX和Windows，在各个平台上的功能没有任何区别。

Oracle

主要产品：BIEE、Hyperion

优势：覆盖BI，数据挖掘领域有待加强，同Oracle其他产品绑定，在处理海量数据时稳定性好。

Microsoft

主要产品：SQL server

优势：覆盖BI，适合中小型企业，性价比高。SQL server能提供超大型系统所需的数据库服务，具有使用方便可伸缩性好与相关软件集成度高等优点。

MicroStrategy

主要产品：MicroStrategy

优势：覆盖BI，移动平台很友好。具有一套全面的商业智能，可为数据仓储、数据分析和生成报表提供了一套可伸缩的数据平台，并让最终用户通过强大、直观的工具来访问和分析商业信息。

SAP

主要产品：Business Objects、Cystal Reports

优势：主要是OLAP和报表领域，功能模块多。

小结：

1、上述五家企业中，IBM、Oracle、MicroStrategy、SAP四家公司都具有部署周期长和价格偏高的劣势。这其实是传统BI的先天不足。传统BI解决方案基本是两种思路，一种是大数据一体机，另外一种是分布式数据仓库。但是大数据一体机、分布式数据仓库都需要较高成本，这就使得大部分传统BI产品的价格偏高。相比之下Microsoft在部署周期和价格方面就要优秀一些。

2、Microsoft平台在支持方面要差一些，支持Windows平台。

3、五家BI厂商服务都较差，原因是主要依靠代理商提供服务，缺少专业化负责大陆地区售后服务支持团队，如急需服务则需要更高额的服务费。另外，几乎没有定制化服务。

4、五家厂商都有较高的安全性，支持中文、英文等多种语言，性能较好。

二、国外敏捷BI

QlikTech

主要产品：QlikTech

优势：覆盖BI和单节点数据集市，数据可视化较好。数据最多支持GB级别。能够在经营场所，云计算平台、笔记本电脑或者移动装置部署的产品。适用于单个用户乃至大型企业。

Tableau

主要产品：Tableau

优势：覆盖BI和单节点数据集市，数据可视化较好。数据最多支持GB级别。是桌面系统中最简单的商业智能工具软件，控制台灵活，具有高度的动态性，程序很容易上手。

TIBCO

主要产品：Spotfire

优势：覆盖BI，数据可视化不错。采用内存处理模式和独特的形象化互动性数据分析手段。可以直观的反应信息结果。便于用户查看理解。

思达BI

主要产品：Style Intelligence 、Style Scope 、Style Report

优势：覆盖BI和大数据，敏捷BI，自服务BI，侧重探索式BI，性价比高。产品易学易用、高可扩展性以及高可靠性等特点，能为企业各级人员提供最适合的解决方案。

小结：

1、与传统BI相比，敏捷BI的投入成本更低、更加平民化，更容易操作，部署周期更短，让更多的企业客户能以较低的投入享受到最专业的大数据服务。

2、服务方面，QlikTech、Tableau、TIBCO只依靠代理商提供服务。思达BI在中国大陆有技术团队，可为企业提供BI技术培训。

3、QlikTech、Tableau只支持Windows平台，TIBCO、思达BI支持多种平台。

4、四家厂商安全性及产品性能都不错，并且支持多种语言。

国内BI

用友华表

主要产品：Cellsoft

优势：主要是OLAP和报表领域，偏重财务分析（内置）。了解中国用户操作行管，易用性好。

润乾

主要产品：润乾报表

优势：主要是报表领域，具有自主独创的数据模型。

思迈特

主要产品：Smart BI

优势：覆盖BI，功能较全面

亿信华辰

主要产品：亿信BI、i@Report

优势：覆盖BI及大数据可视化。亿信BI作为国内自主知识产权的商务智能工具，内置成熟的OLAP联机分析处理引擎，在填报、集成性、易用性上也非常全面。

关键因素对比

小结：

1、国内越来越多报表厂商投入BI研发，但基本都还停留在报表阶段，真正到商业智能层面的基本只有亿信华辰一家。

2、国内厂商的BI产品价格相对便宜，服务及时，安全性好，产品也更加符合中国用户的习惯，在解决方案，尤其是分析模型方面更加适应中国用户需求。

1、为什么要用Qlik嵌入分析？

在软件中嵌入分析可能是一项具有挑战性的任务，充满了风险和不确定性。仅仅因为开发人员擅长为特定行业创建软件并不意味着相同的开发人员擅长编写高度交互式的分析和可视化软件。 使用Qlik嵌入分析可以通过使用已知的良好分析和可视化软件来降低项目风险。

我们的业务是分析和可视化，这就是我们每天都在做的事情。 在过去的十年中，Qlik一直与全球各地的OEM合作伙伴合作，提供快速，完整的嵌入式分析。 在本文中，我们将说明Qlik的产品如何用于分析和可视化。我们首先概述可用的功能，解释如何嵌入软件，最后提供与Qlik一起工作的感觉。

2、Qlik View和Qlik Sense

Qlik有两种用于嵌入分析的产品：QlikView和Qlik Sense。 QlikView是我们的成熟产品，提供成功的OEM部署的长期和成熟记录。 Qlik Sense是我们的新产品，提供最新的可视化技术。 在本文中，这两种产品都可以为企业嵌入分析。

3、数据交互和可视化

QlikView和Qlik Sense提供开箱即用的各种图表可视化，包括条形图，表格，折线图，仪表，散点图，饼图，数据透视表等。 当然，有时需要自定义图表类型（例如，Sankey图表），在这些情况下，开发人员使用我们的扩展API来创建自己的自定义图表类型。 其中一些可视化显示在下面的屏幕截图中（麻烦上网找一下图~~~thk）。

默认情况下，QlikView和Qlik Sense图表是交互式和链接的。 在一个图表上选择数据会自动更新所有其他图表以使用所选数据。 例如，通过在图表上单击并拖动鼠标，用户可能只选择销售与时间线图表中的最新季度。 应用程序中的其他图表将更新为仅显示选定的季度，例如，区域饼图，产品条形图和销售统计信息文本框可能都会更新。 所有图表都提供这种级别的互动; 用户可以通过表格，饼图，条形图或其他图表选择数据。 这种交互式和链接的行为是内置的 - 不涉及编码。

4、数据源

处理底层数据源是开发数据处理应用程序的挑战之一。 连接到数据库，阅读电子表格数据以及从Web提取数据可能是一项复杂，缓慢和笨拙的任务。 QlikView和Qlik Sense提供自动化数据连接过程的向导和连接器。 通过Qlik直接提供的连接器，您可以连接到50多个数据源，包括：Excel，Oracle，Salesforce，SAP，Teradata等等。 使用第三方提供的连接器，此列表增加到100多个数据源。 当然，许多OEM合作伙伴都有自己的自定义数据源，Qlik通过我们的QVX技术为其提供支持，这使得OEM合作伙伴能够构建自定义数据连接器。

5、产品集成

如何将我们的软件嵌入到您的软件中取决于您的平台。 对于基于Web的项目，我们通过JavaScript提供集成。 对于基于Windows的桌面应用程序，我们通过.NET为Qlik Sense和OCX for QlikView提供集成。

6、Web应用程序集成

我们的大多数OEM合作伙伴都使用JavaScript集成。 这使得将交互式可视化嵌入到网页中变得容易。 使用Qlik Sense或QlikView JavaScript API的应用程序还可以与其他基于Web的API和服务集成以创建mashup。 例如，使用Qlik Sense的Web应用程序也可以使用jQuery，Google Maps和其他供应商提供的API。

基于Web的应用程序必须解决安全性，性能和可伸缩性问题，而基于Qlik的应用程序也不例外。 QlikView和Qlik Sense拥有满足这些需求的成熟技术。 事实上，我们在医疗保健和金融领域拥有许多成功的合作伙伴，这两个行业都是这些问题的成败应用。 如果您想了解更多有关我们网络技术的信息，我们会发表一些文章，详细讨论这些主题; 联系我们获取更多信息。

7、windows 桌面集成

生产Windows桌面软件的OEM合作伙伴正在使用QlikView OCX控件嵌入QlikView，并使用Qlik Sense .NET SDK嵌入Qlik Sense。 QlikView或Qlik Sense可视化可嵌入以任何使用OCX或.NET的语言编写的软件中，例如C＃，C ++或Visual Basic。

8、自定义

OEM合作伙伴希望以他们想要的方式构建外观和行为的应用程序，这意味着控制颜色，字体和布局等。开发人员可以自定义Qlik应用程序以匹配他们正在集成的应用程序的外观。 最终结果是一个无缝的应用程序，用户可能不知道他或她已从主机应用程序移动到嵌入式QlikView或Qlik Sense分析。 上面的屏幕截图示例显示了Qlik产品在视觉上的集成程度。 不清楚哪些可视化是应用程序，哪些是Qlik。

9、Qlik开发需要多长时间？

Qlik的产品是快速的应用程序开发环境。 开发人员可以使用最少量的代码构建应用程序，从而产生更快的开发过程和更可靠的开发过程。 可以在几周内构建发布质量的应用程序。 我们的许多OEM客户都选择了Qlik的产品，因为与其他供应商相比，我们缩短了产品上市时间并实现了自己的解决方案。

10、我该如何开始？

自2005年以来，慧都科技一直与OEM合作伙伴合作，因此我们的技术，销售和营销支持框架是全球性的，成熟的，经过验证的。每个OEM合作伙伴都服务于一个独特的市场，每个市场都有自己的购买特征。我们意识到一种尺寸并不适合所有尺寸，所以我们的方法很灵活。无论您是销售包含分析的一体化解决方案，还是利用分析作为增量销售机会，慧都都将与您合作，协商定制互利的商业模式。

选择合作伙伴的公司不仅仅是技术，还涉及商业伙伴关系。以下是慧都为支持客户项目实施做出的一些努力：

战略技术建议编码建议用户培训业务咨询如您有BI业务分析方向需求，欢迎与我们沟通交流！

您可能已经认识到数据可视化智能分析对于企业的业务价值：利用直观的智能数据可视化探索和交互式的自治分析，来透视企业的业务绩效，从而有机会快速地对业务展开持续的洞察、改善和创新。

简单、快速、智能、可视的数据分析让业务用户终于可以脱离限制、全面、连贯、自主地进行高级分析和决策、进行业务优化、降本增效和创新。

时间

10月27日1:30开始-16:00

地点

上海市黄浦区天津路155号名人商业大厦12层

议程

基于机器学习的智能数据分析发展现状Oracle自治的智能数据分析演示智能数据分析应用场景探讨和案例介绍，智能数据分析实践操作（自带电脑）

嘉宾

Roger Chai

Oracle资深数据专家

毕业于复旦大学MBA，南京大学计算机应用，意大利博科尼大学时尚及奢侈品产业管理。

目前就职于Oracle甲骨文大数据和分析部门任资深数据专家，负责制造、零售和分销行业的大数据和分析业务支持，参与过天虹百货、摩拜单车、科勒卫浴、九阳、华帝等大数据分析项目。

曾任职于SAP公司资深行业专家负责化工、钢铁、采矿、轧制品行业业务。

Jenny Jin

上海索羽数据分析业务负责人

华东计算技术研究所计算机科学硕士学历

曾长期任职于国际顶尖IT公司Oracle, 微软，中间件厂商BEA等，专注于拓展前沿数据分析技术在行业领域的应用推广，提高企业的生产力和创新能力。参与过星巴克、百胜集团、东风汽车、浦发银行等知名项目，熟悉Oracle、微软等一流的数据分软件。拥有Oracle原厂12年资深专家背景。

专注营销，不止于百度

关注“百度营销中心”

“人人都在谈论大数据，可大数据究竟是一个噱头还是能够实实在在提供价值的珍贵资源？

前不久腾讯云和中国电信先后在厦门及辽阳的政务信息云系统投标中，以0.01元的价格中标预算数百万元的项目引发了热烈的讨论，有分析认为腾讯与电信是希望通过价格优势顺利拿到项目，从而接触到具备更高价值的民生与政务大数据及其算法，而我们认为通过免费模式先入局，再通过增值服务获取长期合作下的利益，这种互联网公司惯用的方法，对于那些想快速获取大量数据的科技巨头来说非常实用，比如他们的对手阿里云就早已经免费向12306网站提供技术协助了。

国内大数据资源的争夺已经在具备前瞻眼光的巨头们之间展开，围绕大数据的庞大产业链条也在逐渐发展成熟，然而大数据能够带来的价值远非百万级别可以衡量，而且不得不承认，相比于国外市场，国内在大数据资源的运营及价值提取方面依然有一定的差距，因此我们与星河研究院此次对海外的大数据公司做了一次系统性的盘点，希望能够从数据分析方法、商业模式、应用案例等角度阐述出一个海外大数据产业的全景图，提供给这一行业的创业者、投资人，及大数据行业的爱好者一个客观全面的参考，并期待能够带给大家一些启发。

大数据行业的整体生态结构

第一大数据的技术基础

早在1980年，著名未来学家托夫勒在其所著的《第三次浪潮》中就热情地将“大数据”称颂为 “第三次浪潮的华彩乐章”，这标志着人们首次对海量数据所能够产生的价值有了初步的了解。

但由于连接方式的局限，长期以来人们对于数据的应用大多以企业内部的商业智能为主，随着互联网、移动互联网的普及，企业终于能够直接与用户产生链接并获得大量的用户行为与消费等数据，大数据产业应用的轮廓才渐渐清晰。

2000年初Google为了实现对大量网页的信息抓取、存储，并完成索引的建立及排序功能，同时又希望降低硬件采购成本而逐渐摸索出了利用普通物理机实现的分布式存储、计算体系。这一技术以MapReduce及GFS而为人所熟知，借此大数据得以分布存储在多个数据库中，并进行大规模并发处理，解决了以往单一计算机存储能力不够，计算时间过长而不具备实用性的问题。

依据2003年底Google所发布的论文，前雅虎工程师开发出了类似的分布式存储计算技术Hadoop，随后围绕Hadoop产生了庞大的生态体系，逐渐使大数据基础架构日臻完善。

Hadoop功能包括从数据采集、存储、分析、转运、再到页面展示，完整涵盖了整个流程。例如HDFS实现了数据的分布式存储，HBase负责实现数据库的功能，Flume执行对数据的收集，Sqoop能够对数据进行转移、治理， MapReduce可以通过算法实现分布式计算，Hive则做数据仓库，Pig做数据流处理，Zookeeper实现了各节点间的反馈收集与负载平衡服务，Ambari能够让管理员了解架构整体的工作运行情况。

Hadoop生态技术架构

而随着技术的发展，一些适应独特应用场景的数据库、计算处理等软件也越发丰富，例如非结构化数据库MongoDB就因为其较为强大的条件查询功能以及灵活的数据结构获得了广泛的应用；Spark则将Hadoop中的存储介质替换为闪存，而获得了百倍处理速度的增长，Databricks Cloud就是这一架构下的产品化服务。

除此之外大数据生态中还存在着很多的技术发展路径，其中MPP技术主要还是以关系型数据库为主和Hadoop技术目标类似，都为了将数据切分、独立计算后再汇总。相对于SQL on Hadoop，MPP具有数据优化程度高、计算速度快，擅长被用于进行交叉分析等优点，适合企业进行数据分析使用，但其扩展性相对Hadoop来说较弱，一般在10个节点以上便丧失了计算优势，并且由于非开源架构导致其对特定硬件依赖程度较高。

采用MPP存储模式的表性公司有Teradata，能够通过进行企业数据分析帮助员工减轻大数据处理的精力消耗与费用成本，使企业能够更加专注于业务运营。在传统数据库公司与意图进入数据库市场的企业服务公司（例如SAP）掀起的收购热潮中，Teradata是目前市场仅存的几家大型独立数据分析公司之一。

第二大数据的数据来源

2011年麦肯锡发布了一份题为“Big Data: The Next Frontier for Innovation, Competition and Productivity”的报告，里面提到美国拥有1000人以上规模的公司平均存储了超过200T的数据，如果对数据进行价值挖掘将激发很多行业及公司的潜力，这一报告标志了商业领域大数据热潮的开端，也使企业服务软件成为了大数据最初的数据源。

随着存储及计算能力的加强和国内大数据产业的兴起，部分从业者在看到行业巨大前景的同时也意识到了国内数据资源的缺乏，由于民生、电信、交通、电力等具有很高价值的数据都掌握在政府及大型国企中并不开放，如何获取数据源成为了比如何提升数据处理方法更大的问题。

目前国内能够进行脱敏并使用的市场数据的来源主要还是集中在手机、PC等单一渠道与场景中，TalkingData、友盟，以及艾瑞、易观等数据分析及咨询机构很大程度上依赖着这些资源，却也被这些资源所局限。而由于政府数据的敏感性，仅有少数机构能够对接政府数据资源。因此预计随着对数据需求的日益强烈以及数据资源价值被渐渐接受，政府数据资源将会成为数据源的重要组成部分。

而更大范围的数据采集工作将会依托于物联网领域。我们在《即将被281亿个传感器包围，你却还没弄懂物联网技术？》中曾讲到，预计2020年我们将会被281亿个传感器包围，本月27号中国联通也宣布截至目前其物联网联通数量已超过5000万个。可以预见的是，在消费者视角内，未来衣食住行等方方面面都将会配备物联网设备实时采集数据，而采集来的数据将会让商家提供更优质、甚至是定制化的服务，形成双赢。而在工业领域，物联网所采集的大数据也将发挥很大的作用，形成良性循环。

同样随着数据样本与采集渠道的丰富，针对数据采集过程、数据转换与传送和数据存储环节的服务也已经有了很大的发展，Informatica及Mulesoft就是多渠道数据的集成与数据治理行业中的代表性企业。

第三大数据的分析及可视化

在有了足够的存储与计算能力，并获得了大量的数据后，数据分析产业的发展水到渠成。目前通用性的数据分析行业，主要有数据分析、数据分析可视化、大数据检索，以及延伸出的数据服务平台、商业智能分析及大数据预测与咨询这6大类业务。

数据分析的内容将会在第二及第三篇文章中详细介绍，今天仅介绍一下数据分析的整体情况，及未来可能的发展方向。

大数据分析的出现，对企业而言最大的价值就是能够将大量沉淀的用户行为数据、消费数据、企业服务软件中的数据进行整合，并通过对这些数据的分析来优化产品设计、价格的制定和销售方法的提升，同时降低企业内部运转的成本提高运营效率，例如Pentho通过抓取企业服务软件（主要为SAP）中的各类数据并挖掘及分析，最终能够帮助企业节约大量的报表制作时间，并让管理者能够实时看到企业的运行情况。

同样对于电信、电力以及交通等专业领域的企业来说，通过收集用户数据，可以分析并预测未来的需求，提前对价格进行实时智能调节，并合理分配负载，从而实现利润的最大化并保证运行的安全。

而对舆情数据的分析能够帮助企业及时了解市场情绪，并快速迭代自己的产品与服务，对于金融企业来说也可以快速获知最新动态避免因为信息不对称而暴露于风险中。例如Datameer提供的数据分析引擎就能够实时监测公共消息，检测其语言和传播方式，使用户能够早于媒体报道获得最新资讯，并通过可视化的方式使用户轻松快速上手。

大数据可视化，则是建立在大数据分析之上的，让人们能够更加便捷的理解数据分析结果的手段。大多数提供数据可视化业务的公司都将其作为对数据分析的延伸业务，例如Bottlenose 在进行数据分析自动化业务的同时，提供对社交媒体分析的“声纳图”，能够让用户对复杂的关系及逻辑线条一目了然，提升了用户对其数据分析业务的采纳程度。

预计随着数据分析手段与方法的不断升级，数据的可视化工作将成为重点方向，将日益复杂化的数据分析结果与人相连接将会面临技术不断的挑战。

第四大数据的行业应用

大数据技术已经被视为了未来经济生活中的基础设施，这意味着几乎全部行业都能够在大数据分析技术之上获得经济效率的提升。星河研究院此次将大数据应用的研究范围覆盖到了20多个行业，包含电子商务、媒体营销、物流、企业服务、教育、汽车、金融科技等诸多产业，这一部分行业与公司的介绍将会放在第四到第七篇文章中。

在销售行业中，通过输入客户的性格、穿搭习惯、所处行业及历史销售数据等信息，销售员将会被大数据分析告知，何时给哪一位客户打电话获得订单的概率最高；在品牌形象建立中，Persado能够依据市场情绪的分析，写出与用户能够产生共鸣的文案从而获取消费者好感；法律行业中Ravel能够“阅读”过去数十万判决案例，针对用户输入的案件给出判决概率预测，帮助律师制定辩护策略，而长期来看法律大数据企业很有可能取代大部分初级律师；同样在零售、广告、医疗等诸多领域，大数据技术都能通过分析数据内在的关系而帮助用户实现购买预测、受众精准投放以及病情辅助判断等功能。大数据的行业应用精彩纷呈，远不止上文所提到的这些，接下来的文章中我们会逐一展现大数据应用的神奇。

第五大数据成为AI产业的燃料

人工智能技术一直是科学家与技术人员的追求，但其发展并不是一帆风顺。例如最初的自然语言识别技术中，科学家希望通过语法规则使计算机理解语义从而实现智能化，但显示证明这一路径并不可行，其后依据大量数据样本的统计方法才有效的提升了自然语言处理的准确度并逐渐达到可用水平。

如今随着计算技术与数据量的提升，大数据能够带给我们的福利已经不仅限于资料的查找，识别语言、视觉的AI技术提供给我们的，除了经常看到的“个人助理”和动态美颜等功能外，仿照大脑结构进行写作、自动记录会议纪要、情绪识别与性格分析，甚至是视频内容的搜索等功能都能够对商业及产业起到较大的推动作用。

聚焦于大数据的分析、可视化及BI领域

虽然这三个领域在功能及应用范围上各有千秋，但实质上可以说是相辅相成：通过大数据的基础分析工具，研究人员可以获得数据内部的逻辑及结果表现，但通常这些结果过于复杂并缺乏合理的表达形式，使数据科学家及企业的管理者无法快速领会并对经营活动进行调整。

因此大数据的可视化方案应运而生，多数可视化方案都作为数据分析工具的延伸而存在，但也有少部分公司另辟蹊径，采用非传统方式将数据的可视化更加贴近需求。BI则是大数据分析和可视化与业务场景的结合，作为企业内部管理工具，使企业的价值有了极大的增长，成为了大数据应用领域重要的一环。

第一大数据分析领域，在朝向易用、简单化发展

大部分大数据分析企业的现状，可以说是将数据的分析、可视化及数据的采集、治理、集成进行了一体化，以大数据的分析平台形式存在。例如Fractal Analytics除了具备数据分析功能外，还提供自动化数据清理及验证服务，能够返回标准化的结构化数据； Voyager Labs则能够实时采集、分析遍布世界各地的数十亿个数据点，帮助用户进行预测。

上述典型公司主要面向大型企业进行定制化全流程服务，客单价有时高达千万美元级别，例如Fractal Analytics的客户就包括飞利浦、金佰利等大型公司，其高昂的价格及服务令小型企业望尘莫及。

但随着大数据技术的逐渐普及，SaaS化的大数据分析服务将是一个明确的发展方向，而其使用门槛也将大幅降低，从而将大数据分析的能力逐步赋予给中小企业，以真正的实现其基础资源的价值。同时确保企业数据安全的数据脱敏、数据保护市场也会随着SaaS化的到来而逐步拓展出新的市场空间。

目前大数据技术简化、低成本、易用的趋势已经在部分公司的产品策略上有所体现，例如大数据分析公司Domino的产品让数据科学家只需专注于自己的分析工作，而不用关注软硬件基础设施的建立及维护，Datameer更进一步开发出的产品屏蔽了复杂的大数据分析底层技术，通过类似电子表格的可视化数据分析用户界面，让企业的员工能够快速上手使用，RapidMiner Studio可零代码操作客户端，实现机器学习、数据挖掘、文本挖掘、预测性分析等功能。

在大数据分析能力普及的同时，提升数据分析性能、优化数据分析结果的技术研发也在快速进展中。例如SigOpt通过自主开发的贝叶斯优化（Bayesian Optimization）算法来调整模型的参数，获得了比常见的网格搜索(grid searching technique)解决方案更快、更稳定、更易于使用的结果，目前SigOpt 的产品不仅可以让用户测试不同变量，还能够提供下一步的测试建议，以帮助用户持续优化改善数据分析结果。

令人感到欣喜�...

大数据技术指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

1、Avro与Protobuf

Avro与Protobuf均是数据序列化系统，可以提供丰富的数据结构类型，十分适合做数据存储，还可进行不同语言之间相互通信的数据交换格式，学习大数据，需掌握其具体用法。

2、Cassandra

Apache Cassandra是一个高性能，可扩展性和高线性可用的数据库，可以运行在服务器或云基础设施上，为关键任务数据提供完美的平台，。 Cassandra支持多个数据中心之间复制是同类产品中最好，为用户提供更低的延迟，甚至不惧怕停电。 Cassandra的数据模型提供了便利的列索引，高性能试图和强大的内置缓存。

3、Kafka

Kafka是一种高吞吐量的分布式发布订阅消息系统，其在大数据开发应用上的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。大数据开发需掌握Kafka架构原理及各组件的作用和使用方法及相关功能的实现！

4、Chukwa

是一个开源大型分布式系统的数据采集监视系统。它是建立在Hadoop分布式文件系统（HDFS）和Map/ Reduce框架之上，并继承了Hadoop的可伸缩性和健壮性。 Chukwa还包括一个灵活而强大的工具包，用于显示，监测和分析结果，以便做出最佳地使用所收集的数据。

5、Flume

Flume是一款高可用、高可靠、分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。大数据开发需掌握其安装、配置以及相关使用方法。返回搜狐，查看更多

石油公司壳牌通过分析数据以预测机器故障

很少有行业能比能源行业产生更多的数据了。但多年来，石油巨头壳牌甚至不知道其在世界各地的各种设施中的零件都位于哪里;它不知道什么时候需要再进货;直到部件开始出现故障，它才知道什么时候出现了维护问题。由于机器停机每天给公司造成了数百万美元的损失，于是壳牌决定收集数据以避免这些问题。

壳牌卓越数据科学中心的总经理Daniel Jeavons表示，壳牌基于多家供应商的软件建立了一个分析平台，运行预测模型，以预测3000多种不同的石油钻井机的部件何时会出现故障。

其中一个名为Databricks的工具通过Apache Spark来捕获流数据。壳牌使用这个工具来更好地计划什么时候购买机器部件，保存多长时间，以及在哪里存放库存物品。

该工具托管在微软Azure的云中，帮助壳牌将库存分析从超过48小时减少到不到45分钟，每年减少数百万美元的库存转移和重新分配成本。

经验总结:避免机器故障需要很多工具。Jeavons表示，壳牌的平台包括了来自Databricks、Alteryx、C3、SAP和其他供应商的软件，所有的这些软件共同帮助了他的数据科学家来产生商业见解。最终，首席信息官必须正确评估这些工具，并在进行大额购买之前了解哪些才是有效的。

ARC启用了新的数据管理工具

数据是航空报告公司( ARC )的生命线，该公司每年结算航空公司之间价值超过880亿美元的机票交易，包括德尔塔航空公司、美国航空公司、英国航空公司、阿拉斯加航空公司以及Expedia等旅行社。航空公司付费获取ARC在这些交易中收集的数据，以了解更多的关于旅行者的目的地、旅行时间以及在此过程中每年为超过22亿次航班支付的费用的信息。

ARC捕获数据，将其输入分析引擎，对其进行细化，并为其客户构建定制的报告。ARC 的CIO Dickie Oliver表示，该公司正从Teradata的数据仓库迁移到Snowflake的云软件中，这将帮助ARC更快地将数据产品推向市场，并提供更大的可伸缩性和性能，这得益于其在AWS上的业务。Oliver表示，Snowflake是为了将计算资源与数据存储分开而设计的，它使ARC能够为客户快速构建新的定制报告。Oliver补充说，多亏了这个项目，ARC将能够为考虑新数据形式的客户量身定制新的产品。

经验总结:迁移到一个新的数据平台通常是令人畏惧的，不仅仅是因为技术的转变;变更管理是其中真正的麻烦所在。Oliver说，让人们“从一开始就专注于改变，并让他们经历改变过程是这个过程中最具挑战性的部分”，他补充说，他正全力培训员工，包括让他们通过认证，并引进顾问，如让Slalom来帮助我们进行变更管理。

TD银行在数据湖方面的天赋

TD银行的数据分析团队花了几年时间来更新数据基础设施，以满足当前和未来的需求，并创建了一个企业Hadoop数据湖。

TD银行企业信息高级副总裁Joe DosSantos表示，我们使用了基于Cloudera的数据湖用来培养对客户的洞察力，包括从跟踪员工的流失率，到为客户提供合适的产品。

TD 银行的一个核心关注点包括让业务分析师能够从数据湖中提取数据，可用且可操作的能力，而无需数据科学家来亲自操控。 DosSantos表示:“我们正在让人们广泛使用这些数据集。”他补充道，TD Bank还尝试使用其分析平台来检测欺诈和其他渎职行为。

经验总结:过去几年来，TD Bank一直在重新构想其企业数据平台，筛选数十年来的客户交易和其他数据。TD银行没有过度依赖Hadoop，而是使用了Talend的软件来提取、转换原始数据并将其加载到可用于可操作商业智能的信息中。

DosSantos解释道:“Hadoop对于理解如何从A点到B点获取数据方面并不是很好。而Talend有一个元数据管理器和一个中央存储库来跟踪数据湖中的数据移动和转换。”

嘉吉公司正为虾农提供数据分析

嘉吉公司(Cargill)的动物营养部门开发了一款名为iQuatic的移动数据跟踪应用，帮助养虾人降低产量的死亡率。

嘉吉动物营养公司的CIO Tiffany说，该应用程序能够基于环境因素(如温度、pH值和营养)来预测虾池中的生物量，并与嘉吉公司的iQuatic自动喂虾系统协同工作。Snyder在8月的CIO 100研讨会上介绍了iQuatic系统。

只要农民将应用程序中的数据保存到云中，然后访问实时的操作仪表盘，便能够直观显示池塘的性能，提供关键的测量和预测分析，帮助他们更好地管理虾健康并提高产量。以前，农民是用传统的方式——用笔和纸来收集的这些数据。

经验总结:为了构建这个应用程序，嘉吉公司派遣了工程师和企业高管去厄瓜多尔的一个养虾场，了解农民是如何从池塘中获取数据的。“我们让农民成为了我们团队的一部分，”Snyder说。通过在敏捷、two-pizza的团队中快速工作，为在5个月内成功进行试点铺平了道路，并最终实现了产品发布。

让数据分析在默克公司发挥作用

全球医疗保健公司默克希望利用在ERP和核心系统中收集到的数据来进行生产执行和库存控制，以获得更多的商业见解。但是，由于它的工程师花费了60%到80%的精力去寻找、访问和获取每个项目的数据，以至于许多商业目标没有得到实现。默克公司的IT制造首席信息官Michelle D’alessandro表示:“我们没有把数据视为一种可行的、永久的、有价值的资产。我们希望建立一种文化，在这种文化中，我们可以尽量在移动和报告数据上少花时间，从而将更多的时间花在使用数据来实现有意义的业务成果上。”

默克公司创建了MANTIS(制造和分析智能)系统，这是一个über数据仓库系统，包括了内存数据库和开源工具，可以处理在结构化和非结构化系统中的数据，包括文本、视频和社交媒体。重要的是，该系统能够允许非技术业务分析师在可视化的软件中轻松的查看数据。而数据科学家可以通过复杂的模拟和建模工具访问信息。MANTIS系统已经使公司整体IT分析项目总业务量的时间和成本降低了45%。有形的业务成果包括平均提前期减少了30%，平均库存持有成本减少了50%。

经验总结:D'Alessandro表示，她成功的关键是在亚太地区的一家工厂中设立了一个“标杆”分析项目，默克将在那里获得最大的回报。而在那里展示了MANTIS的成功之后，它就为其他网站树立了榜样。她还学会了如何步步为营。D 'Alessandro说，她在一个早期的实验中使用了人工智能和机器学习来分析默克制造过程的成本，但她“做得过头了”。她说:“这并不是因为缺乏赞助或缺乏远见，我们只是无法让它发挥作用。

伴随着数字化转型的推进，DT时代正在全面到来。对于这一大趋势，业界已经形成了共识。

不过，对于眼下正火热的大数据市场，大家的观点却似乎出现了明显分歧——有人认为忽悠成份大，也有人认为前景一片光明。

虽然听起来有点儿两极分化，但其实两个观点都有道理。目前大数据还处于市场启动期，大家谈论更多的是数据本身，而真正落地的应用的确不够多，但大数据市场的发展前景绝对值得看好——这中间就是现实与未来的差距。

导致这一落差的很大原因是，缺乏真正有效的大数据分析工具，也就不能够为企业的业务决策提供服务，而这才是大数据真正的价值所在。

所有分析功能汇聚于同一平台

从国内市场情况来看，大数据生态系统涉及到数据采集、数据传输、数据存储、数据备份、数据整理、数据分析、数据挖掘、数据呈现等很多环节，每个单一环节都有不少企业涉足，但缺乏具备整体综合能力的服务商。这导致很多想做大数据落地应用的行业客户，无法得到强有力的支持。

当然，不是大数据服务商不想成为综合服务商，而是能力方面有欠缺——需要下有数据处理工具、上有行业认知，中间则是核心的数据分析、挖掘和可视化等服务能力。

或许正是因为看到了巨大的市场落差和客户需求，SAP在中国市场推出了新一代分析云服务——SAP Analytics Cloud（SAC）。SAC的最大特点就是把所有分析功能汇聚于同一个平台，并且以云的方式交付给客户。

SAP分析云产品研发中心副总裁Ty Miller

SAP分析云产品研发中心副总裁Ty Miller介绍说，One|Simple|Cloud是SAC的主要特点。其中的One指的就是用一款产品覆盖所有服务，包括计划管理、机遇发现、数据可视化、预测分析等功能，同时还包含丰富的行业和业务线知识库，当然还包括SAP Digital Boardroom，以及今后合作伙伴基于SAC平台提供的应用；Simple则是要让数据分析变得简单易用，这有助于解决本文开头提到的问题，使大数据应用变得更容易落地；Cloud则突出了这是一个云平台，以云服务的形式交付。

值得注意的是，SAC并不只有公有云一种部署模式，同样也支持本地部署；更为难得的是，无论客户是本地部署还是云端部署，都可以通过同一个许可证完成，这样不仅方便定价，也使客户可以灵活在不同部署方式之间迁移，而不需要重新签署购买合同。

让分析云服务惠及所有客户

应该说，SAP涉足分析云服务具有得天独厚的优势。SAP HANA已经成为市场上最流行的内存计算平台，为大数据分析提供了强有力的支撑。同时，SAP一直在管理软件市场处于领导地位，熟悉各个行业客户的需求，这非常有利于带动大数据在行业应用的落地。

SAP副总裁、大中华区商务分析总经理徐哲说，SAP分析云服务可以为所有的企业提供服务，不分行业、不分大小，尤其是给中小企业提供了一个很好的机会，使它们能够以很低的价格享受到以前大企业才能拥有的解决方案。

SAP副总裁、大中华区商务分析总经理徐哲

SAP的分析云服务还能够与SAP的其他解决方案集成在一起，为企业的数字化转型提供全面支持。这其中包括物联网、机器学习、区块链等最新技术，当然也包括以SAP S/4 HANA为代表的数字化核心系统和SAP Leonardo这一数字化创新系统。

SAC所支持的混合云部署模式，也能够最大程度地满足不同客户的需要。出于对数据安全等方面的顾虑，国内很多大企业还不愿意把核心数据上云，SAC可以让客户先把非敏感数据放在云上，而把核心数据放在本地，然后再逐步向云端迁移。目前，SAC已经在全球拥有8个数据中心，其中包括在中国的一个。

搭建分析云生态联盟

谈到SAC的定位，徐哲表示，SAC只是一个基础平台，为客户提供知识资本工具。虽然SAC本身也可以以SaaS的形式直接向客户交付，但对于一些特定应用，包括各行业和业务领域的应用，都需要合作伙伴来提供专门的解决方案。因此，SAC并不只是SAP一家的，而是需要整个生态联盟共同合作。

据介绍，SAC的合作伙伴分为分销型、解决方案型和联合创新型三大类。其中分销型合作伙伴，是通过销售价差来赚得利润，可以销售SAP或者合作伙伴的产品和解决方案。解决方案型合作伙伴，则负责为行业客户提供行业解决方案的构建服务或SAP分析类产品的实施服务。创新型合作伙伴，则是把其自有产品与SAC平台相结合，打包成整体解决方案，与SAP共同推向市场。

对于SAP来说，合作伙伴帮助SAC实现了从平台到应用的转变，能够直接交付客户价值。而对于合作伙伴来说，SAC提供了一个很好的平台，从而能够高起点地开发自己的应用，直接服务于行业客户，为他们带来业务价值。

为了支持合作伙伴的联合开发和联合创新，SAP为合作伙伴提供了很多扶持政策，比如开展骇客训练营等培训活动，通过应用商店对合作伙伴的产品进行推广，技术人员亲身参与合作伙伴的第一第二个项目等。

2017影响IT生态的十大事件

据说，2017中国公有云运营商生态的画风是这样的

干货 | 四位方案商“大佬”对中国云计算的思考

2017中国云计算500强（Cloud500）榜单