中企动力 > 商学院 > 大数据云计算软件
  • ?

    云计算和大数据哪个发展前景好?

    凯文

    展开

    云计算和大数据哪个发展前景好?

    说实在话,二者之间都是未来的发展趋势,没有说那种好或者不好,根据你的兴趣,你未来的发展方向,来判断你想走那条路!

    大数据相当于海量数据的“数据库”,而且通观大数据领域的发展也能看出,当前的大数据处理一直在向着近似于传统数据库体验的方向发展,Hadoop的产生使我们能够用普通机器建立稳定的处理TB级数据的集群,把传统而昂贵的并行计算等概念一下就拉到了我们的面前,但是其不适合数据分析人员使用(因为MapReduce开发复杂),所以PigLatin和Hive出现了(分别是Yahoo!和facebook发起的项目,说到这补充一下,在大数据领域Google、facebook、twitter等前沿的互联网公司作出了很积极和强大的贡献),为我们带来了类SQL的操作,到这里操作方式像SQL了,但是处理效率很慢,绝对和传统的数据库的处理效率有天壤之别,所以人们又在想怎样在大数据处理上不只是操作方式类SQL,而处理速度也能“类SQL”,Google为我们带来了Dremel/PowerDrill等技术,Cloudera(Hadoop商业化最强的公司,Hadoop之父cutting就在这里负责技术领导)的Impala也出现了。

    整体来看,未来的趋势是,云计算作为计算资源的底层,支撑着上层的大数据处理,而大数据的发展趋势是,实时交互式的查询效率和分析能力,借用Google一篇技术论文中的话,“动一下鼠标就可以在秒级操作PB级别的数据”难道不让人兴奋吗?

    在谈大数据的时候,首先谈到的就是大数据的4V特性,即类型复杂,海量,快速和价值。IBM原来谈大数据的时候谈3V,没有价值这个V。而实际我们来看4V更加恰当,价值才是大数据问题解决的最终目标,其它3V都是为价值目标服务。在有了4V的概念后,就很容易简化的来理解大数据的核心,即大数据的总体架构包括三层,数据存储,数据处理和数据分析。类型复杂和海量由数据存储层解决,快速和时效性要求由数据处理层解决,价值由数据分析层解决。

    数据先要通过存储层存储下来,然后根据数据需求和目标来建立相应的数据模型和数据分析指标体系对数据进行分析产生价值。而中间的时效性又通过中间数据处理层提供的强大的并行计算和分布式计算能力来完成。三层相互配合,让大数据最终产生价值。

    传统的BI分析通过大量的ETL数据抽取和集中化,形成一个完整的数据仓库,而基于大数据的BI分析,可能并没有一个集中化的数据仓库,或者将数据仓库本身也是分布式的了,BI分析的基本方法和思路并没有变化,但是落地到执行的数据存储和数据处理方法却发生了大变化。

    谈了这么多,核心还是想说明大数据两大核心为云技术和BI,离开云技术大数据没有根基和落地可能,离开BI和价值,大数据又变化为舍本逐末,丢弃关键目标。简单总结就是大数据目标驱动是BI,大数据实施落地式云技术。

  • ?

    大数据和云计算的机遇和挑战!

    青雪

    展开

    大数据是一个通用术语,用来指当前业务领域中存在的各种数据。从医疗机构的数字数据和记录到政府机构的大量文件,人们把这些文件存档供将来参考,技术为我们提供了一个面向服务的架构来分析这些信息。

    大数据是永远不可能被归档到在个描述或定义下。关于信息技术的神器之处在于,它始终在不断发展,并且可供愿意接受信息技术的公司使用。另一方面,云计算的发展使得商业企业更容易获得可负担得起的软件包。云计算的使用大大降低了存储公司信息的成本,这也带来了小型企业可以利用的多个应用程序。自互联网诞生以来,随着云计算的不断发展,互联网上广泛的信息爆炸式增长。标准用户和数字营销人员现在可以每天使用社交媒体营销平台来生成大量关于消费者的信息。有时,对于机构和企业来说,管理每天生成和存储的数据量就是一项相当艰巨的任务。例如,每天创建2.5万亿字节的数据,这可能会给云计算带来存储和排序挑战。

    这正是大数据用来管理海量数据如何通过云计算存储的地方。总而言之,这两种技术形式提供的解决方案既适应业务分析、也适用于大数据。在这篇文章中,将重点介绍如何使用大数据和云计算来管理政府机构和商业机构日常生成的大量数据。可购性对于那些预算计划比较紧张,但又需要更新技术的企业或机构来说,云技术可能是解决燃眉之需的一大利器。用于管理大数据的成本资源,即使是小公司,也在预算之内,而且在市场上也很容易找到合适的产品。在云计算出现之前,商业机构和政府机构花费大笔资金建立信息技术部门来管理数据,甚至花更多的时间来更新这些IT系统。今天,由于技术的进步,企业可以把他们的大数据托管在异地的服务器上,或者按需支付。敏捷性

    替换高清大图

    传统的数据存储和管理方法正变得越来越难以管理,因为数据存储和管理非常慢,需要公司花费大量时间从中检索信息。有时,安装和运行服务器可能需要几周甚至几个月的时间。云计算的出现有可能为企业或机构提供所需的全部存储需求。一个基于云计算的公司数据库可以在几分钟内完成安装,并将数据存储在数千个虚拟服务器中,在这些服务器中,只有一台计算机或移动设备和互联网连接的人可以很轻松访问它。

    替换高清大图

    数据处理海量数据的爆炸式增长带来了管理数据的挑战。例如,社交媒体会产生大量的数据,这对于在推文、帖子、博客或照片等类别中进行处理来说是具有挑战性的。对于大数据,有一些分析平台,比如Apache Hadoop,可以在将非结构化数据存储到云中之前处理这些数据。

  • ?

    2017大数据版图:大数据、云计算、AI

    曲半芹

    展开

    请点击输入图片描述

    2017年大数据开始进入部署阶段,大数据的炒作逐渐散去,它的应用却正在蓬勃发展,代表成熟度的标志性IPO也正在出现。而大数据在几年前经历的泡沫正在无可争议地转移到人工智能身上,过去几个月AI所经历的共同意识“大爆炸”与大数据当年相比甚至有过之而无不及。

    从2013开始制作大数据版图的Matt Turck刚刚发布了最新的2017年大数据版图,我们一起来看看在这个领域有哪些最新趋势和玩家的分布情况。

    高层趋势

    大数据+AI=新栈

    2016年无疑是机器学习之年,任何目睹过众多pitch的VC都应该能感受到这一点,那就是每一家初创企业都成为了“机器学习公司”,“.ai”变成了必备域名,而“等等,可是我们是用机器学习做到这个的”也成为了pitch deck的必备幻灯片。机器学习正在迅速成为许多应用的关键建构块。

    相应地,一个新兴的技术栈正在出现,在这个技术栈里面,大数据被用于处理核心的数据工程挑战,而机器学习则用于以分析洞察或者行动的形式从数据中析取出价值。

    换言之,大数据提供管道,AI提供智能。当然,这种共生关系已经出现多年,只是能实现这个的目前还不多而已。

    但是,现在这些技术开始大众化的普及。“大数据+AI”正在成为众多现代应用(不管是消费者型还是企业型)的默认技术栈。无论是初创企业还是一些财富1000强公司都在利用这一新的技术栈。而且在云巨头的努力下,这个技术栈往往还有云计算这个更基础的建构块的加入,以机器学习云的形式出现。

    但是AI的大众化是否就意味着这种技术在短期内能实现商品化呢?现实是AI在技术上仍然非常困难。尽管许多工程师都在争先培养AI技能,但全球这方面的领域专家仍然十分稀缺。

    不过这股大众化的趋势已经不可逆转,而机器学习早晚都要从竞争优势演变成桌面筹码。

    这对初创企业和大公司都会产生影响。对于初创企业来说,除非你把AI软件做成自己的最终产品,否则的话自我标榜为“机器学习公司”将变得毫无意义。对于大公司来说,如果现在你不积极推进大数据+AI的战略,就会有变得过时的风险。AI已经是下一个风口了。

    企业预算:一切向钱看

    从2016年的情况来看,财富1000强公司已经在纷纷增加预算用于升级核心基础设施以及分析,其关键的关注点正是大数据技术。分析机构IDC预计大数据和分析市场将从2016年的1300亿美元增长到2020年的超过2030亿美元。

    而且财富1000强公司里面的许多买家在大数据技术方面正在变得越来越娴熟、越来越目光敏锐。这些公司过去几年做了很多功课,正在进入全面部署阶段。这种情况不仅发生在技术导向型的公司,在很多行业都是如此。

    在大公司每隔几年就要发生的旧技术替代自然周期的推动下,这种情况得到进一步加速。大数据遭遇的环境也从逆风变成了顺风。当然,很多大公司仍然处在大数据部署的早期阶段,但是情况似乎在快速演变。

    企业数据向云端迁移

    直到几年前,把企业数据迁移到公有云上面对于大公司CIO来说还是不可想象的事情,顶多是在开发环境下或者拿非关键的、面向外部的应用来尝试一下。但现在画风开始有所变化,大家对此的态度似乎变得更加开放了,比方说你会听到这样的说法“不管怎么说我们的客户数据已经放到Salesforce云上面了”,或者“在网络安全方面我们永远也不会有像AWS那么多的预算”。但目前里大多数企业都向公有云迁移还远得很,这部分是因为遗留系统和管制方面的原因。不过云供应商正在竭尽全力来加速这一趋势的转变。比如说AWS甚至可以开卡车来运你的硬盘到云端。

    2017年大数据版图

    作为对比我们先看看2016年版本:

    请点击输入图片描述

    2017年版本:

    请点击输入图片描述

    整合要来了吗?

    从上图可看出,这张图已经变得越来越拥挤,那么一个显然的问题来了:行业是否濒临大规模整合的边缘了呢?

    似乎还没有。至少目前如此。

    首先VC仍然继续乐于给新老公司提供资金扶持。2017年的第一季度成长阶段的大数据初创企业拿到了不少的可观融资,其中包括:Looker(8100万美元D轮),InsideSales (5000万美元F轮),DataRobot (5400万美元C轮),Confluent (5000万美元C轮),Collibra (5000万美元C轮),Uptake (4000万美元C轮),WorkFusion (35M00万美元D轮) and MapD (3500万美元B轮)等。去年12月DataBricks也拿到了6000万美元的C轮。

    2016年,大数据初创企业的总融资达到了148亿美元,占到了全球技术风险投资的10%。

    其次,自去年的大数据版图推出以来,本领域的并购活动一直在稳步推进,但不是特别显著,其中部分原因也许是未上市公司的估值仍然高企。入选2016大数据版图的公司当中共有41家被收购(完整清单参见附注),这个节奏跟上一年是一致的。

    另一方面,2017年刚开始就发生了一些大型的并购事件,其中包括Mobileye(被英特尔以153亿美元收购),AppDynamics(被思科以37亿美元收购),以及Nimble Storage(被HPE以12亿美元收购)。

    去年还有一个显著的现象,那就是大型技术公司纷纷收购AI初创企业,尤其是那些解决水平问题、有着很好团队的AI初创企业。其中包括Turi(苹果)、Magic Pony(Twitter)、Viv Labs(三星)、MetaMind(Salesforce)、Geometric Intelligence(Uber)、API.ai(Google)以及Wise.io(GE)。当然,这种现象未必能持续太久,因为对AI的需求太旺盛了,人才实在是不够用了。

    第三,一些较大的大数据初创企业羽翼渐丰,正在成为独立的上市公司。Snap无疑引领了技术公司IPO的复兴,但是目前为止是大数据公司借了这股东风。

    2016年只有Talend一家大数据公司上市,但2017年大数据公司已经呈现出爆发之势。其中Mulesoft和Alteryx已经上市并且表现不错,而Cloudera也即将上市,其最新估值(41亿美元)与收入(2.61亿美元)之间的差异将延至“独角兽”估值现象的成色。另外,MapR以及定位智能公司Yext也已经在排队等待了。

    下一个会是谁呢?也许是Palantir这个超级独角兽。这家多年以来保持神秘的公司已经公开表达了上市的兴趣。其最新估值达到了200亿美元,如果上市的话必将引起轰动。

    云大战

    虽然大规模并购尚未出现,但业界的另一股趋势值得注意,这就是“功能性整合”,这种现象在云端尤其显著。一些关键的玩家正在通过自研产品和开源计算引擎的实现逐步构建“大数据+AI”的基础构件,面向众多客户群提供其所期盼的“一站式”的服务。

    AWS在产品发布的速度和幅度方面继续给人留下深刻印象。目前AWS几乎提供了大数据和AI方面的所有服务,包括分析框架、实时分析、数据库(NoSQL、图谱等)、商业智能以及日益丰富的AI能力,尤其是深度学习方面的能力。按照这种速度发展下去,AWS产品几乎就要把大数据版图的所有的基础设施和分析细分领域都占据了。

    加入云大战稍晚的Google一直在积极开发广泛的大数据产品(BigQuery、DataFlow、Dataproc、Datalab以及Dataprep等),并且把AI视为跨越式发展的杀手锏。在AI方面Google去年做了很多事情,包括推出了新的翻译引擎,聘请了李飞飞和李佳领导新成立的Cloud AI and Machine Learning部门,推出了视频识别的机器学习API,并且收购了数据科学家社区Kaggle。

    其他大型的IT供应商,比如微软、IBM、SAP、Oracle以及Salesforce等也在努力推出大数据产品(包括云端和本地)。除了技术自研和进行收购以外,这些玩家还越来越重视通过合作来打造生态链,其合作的重点是手上有数据的公司以及有“头脑(AI)”的公司。IBM与Salesforce的合作以及SAP与Google的合作就是值得注意的案例。

    用企业IT的行业标准来看,云供应商还比较小,但是其不断膨胀的野心(其中包括从企业栈底层的IaaS向应用发展的企图)与企业数据逐渐向云端迁移的趋势结合,将打开庞大的企业技术市场大门,与传统IT供应商展开激战,而大数据和AI将是核心战场。

    2017数据生态体系概览

    基础设施

    去年的许多趋势今年仍将延续,比如流处理技术,这方面Spark目前是主宰,不过像Flink这样的有趣竞争者正在出现。此外,还有以下一些趋势:

    SQL正式回归

    在给NoSQL当了10年副手之后,曾经的霸主SQL数据库正式吹响了回归的号角。Google最近发布了Spanner数据库的云端版。Spanner和CockroachDB(Spanner的开源版)都提供了可行的、强一致性的、可伸缩的SQL数据库。Amaozn推出了Athena,跟Snowflake等产品类似,这是一款SQL数据引擎,可直接查询S3下的数据。Google BigQuery、SparkSQL以及Presto等在企业逐渐获得采用——这些都是SQL产品。

    数据可视化

    与公有云采用相关的一个有趣的趋势是数据可视化。旧的ETL处理需要转移大量的数据(而且往往要建立冗余数据集)并且建立数据仓库,而数据可视化可以在数据保持不动的情况对其进行分析,提高了速度和敏捷性。许多下一代的分析供应商现在都可以同时提供数据可视化和数据准备服务,并让客户可访问存储在云端的数据。

    数据治理与安全

    随着大数据在企业侧走向成熟,以及数据的多样性和体量的不断发展,像数据治理这样的主题也变得日益重要。许多公司已经选择了“数据湖”作为把所有数据收集起来的手段。但除非你知道里面有什么东西,并且能够访问到合适的数据进行分析,否则的话数据湖再大也没有意义。但是想让用户方便地找到想要的东西同时管理好权限并不容易。除了数据湖以外,治理的另一个集中的主题是以安全的、可审计的方式为任何人提供对可靠数据的便捷访问。Informatica、 Collibra、Alation等大小供应商提供了数据目录、参考数据管理、数据字典以及数据帮助台等服务。

    结论

    通过大数据与AI的黄金搭档,我们正在进入大数据技术的“收获”阶段。其潜能将非常巨大。随着核心基础设施不断走向成熟,以及在AI推动下应用侧的爆发,2017年的大数据(以及AI)生态体系将开足马力,驶向光明的未来。

  • ?

    12个顶级大数据工具

    泪染渍

    展开

    【VIP会员服务】小鸟云匠心打造完整的VIP会员服务体系,为国内国际用户提供7*24小时服务支持、0元快速备案、100倍故障赔偿、5天无理由退款等多种服务支持和服务保障让用户尊贵售后服务,让云端部署更轻松、更高效。

    如今,为了满足企业的主要需求,大数据工具正在迅速得到应用。在大数据技术作为概念和业务战略出现的十年中,涌现了执行各种任务和流程的数千种工具。而推出这些工具的提供商都承诺可以为企业节省时间和成本,并发现能够让企业获利的商业洞察力。显然,大数据分析工具的市场正在不断增长。

    许多大数据分析工具最初像大数据软件框架Hadoop一样都是开源项目,但商业实体迅速涌现,为开源产品提供了新工具或商业的支持和开发。

    而在这些工具中选择是一个挑战,特别是许多大数据工具只具有单一用途,而企业需要使用大数据完成许多不同的任务,因此企业的分析工具箱会变得过于充实。根据这个行业领域的专家顾问的建议,以下列出一系列主要的大数据分析工具,并列出三个主要类别。

    如上所述,大数据工具都倾向于单一使用类别,并且有多种使用大数据的方式。所以可以按类别分类,然后分析每个分析工具。

    大数据工具:数据存储和管理

    大数据都是从数据存储开始。这意味着从大数据框架Hadoop开始。它是由Apache Foundation开发的开源软件框架,用在计算机集群上分布式存储非常大的数据集。

    显然,存储对于大数据所需的大量信息至关重要。但更重要的是,需要有一种方式来将所有这些数据集中到某种形成/管理结构中,以产生洞察力。因此,大数据存储和管理是真正的基础,而没有这样的分析平台是行不通的。在某些情况下,这些解决方案包括员工培训。

    而这个领域的主要的大数据工具有:

    1. Cloudera

    基本上,Hadoop增加了一些额外的服务,企业将需要这些服务,因为大数据并不是一个简单的练习。 Cloudera的服务团队不仅可以帮助企业构建大数据集群,还可以帮助培训员工更好地访问数据。

    2. MongoDB

    MongoDB是最流行的大数据数据库,因为它适用于管理大数据经常出现的非结构化数据或频繁更改的数据。

    3. Talend

    作为一家提供广泛解决方案的公司,Talend的产品是围绕集成平台构建的,该平台结合了大数据、云计算、应用程序,以及实时数据集成、数据准备和主数据管理。

    Talend大数据集成包括数据质量和治理功能。

    大数据工具:数据清理

    在企业真正处理大量数据以获取洞察信息之前,先需要对其进行清理、转换并将其转变为可远程检索的内容。大数据集往往是非结构化和无组织的,因此需要进行某种清理或转换。

    在这个时代,数据的清理变得更加必要,因为数据可以来自任何地方:移动网络、物联网、社交媒体。并不是所有这些数据都容易被“清理”,以产生其见解,因此一个良好的数据清理工具可以改变所有的差异。事实上,在未来的几年中,将有效清理的数据视为是一种可接受的大数据系统与真正出色的数据系统之间的竞争优势。

    4. OpenRefine

    OpenRefine是一款易于使用的开源工具,通过删除重复项、空白字段和其他错误来清理凌乱的数据。它是开源的软件,但它有一个可以提供帮助的大型社区。

    5. DataCleaner

    与OpenRefine类似,DataCleaner将半结构化数据集转换为数据可视化工具可读取的干净可读的数据集。该公司还提供数据仓库和数据管理服务。

    6. Microsoft Excel

    人们可以从各种数据源导入数据。Excel对手动数据输入和复制/粘贴操作特别有用。它可以消除重复、查找、替换,拼写检查以及用于转换数据的许多公式。但它很快陷入困境,并不适用于大数据集。

    大数据工具:数据挖掘

    一旦数据被清理并准备好进行检查,就可以通过数据挖掘开始搜索过程。这就是企业进行实际发现、决策和预测的过程。

    数据挖掘在很多方面都是大数据流程的真正核心。数据挖掘解决方案通常非常复杂,但力求提供一个令人关注和用户友好的用户界面,这说起来容易做起来难。数据挖掘工具面临的另一个挑战是:它们的确需要工作人员开发查询,所以数据挖掘工具的能力并不比使用它的专业人员强。

    7. RapidMiner

    RapidMiner是一款易于使用的预测分析工具,具有非常用户友好的可视化界面,这意味着企业无需编写代码,即可运行分析产品。

    8. IBM SPSS Modeler

    IBM SPSS Modeler是一套适用于企业级的高级分析的产品,用于数据挖掘。而IBM的服务和咨询无疑是首屈一指的。

    9. Teradata

    Teradata为数据仓库、大数据和分析以及市场营销应用提供端到端解决方案。这一切意味着企业的业务可以真正成为一个数据驱动的业务,并提供商业服务、咨询、培训和支持。

    像许多当前的大数据工具一样,RapidMiner解决方案也包含云计算解决方案

    大数据工具:数据可视化

    数据可视化是企业的数据以可读的格式显示的方式。这是企业查看图表和图形以及将数据放入透视图中的方法。

    数据的可视化与科学一样,是一种艺术形式。而大数据公司将拥有越来越多的数据科学家和高级管理人员,很重要的一点是可以为员工提供更加广泛的可视化服务。销售代表、IT支持、中层管理等这些团队中的每一个成员都需要理解它,因此重点在于可用性。但是,易于阅读的可视化有时与深度特征集的读取不一致,这成为了数据可视化工具的一个主要挑战。

    10. Tableau

    作为这一领域的领导者之一,其数据可视化工具专注于商业智能,无需编程即可创建各种地图、图表、图形等等。Tableau总共有五款产品,其中有一个名为Tableau Public的免费版本供潜在客户试用。

    11. Silk

    Silk是一种简单版本的Tableau,Silk可让企业将数据可视化为地图和图表,而无需任何编程。它甚至会尝试在第一次加载时自动将数据可视化。它还使得在线发布结果变得容易。

    12. Chartio

    Chartio使用自己的可视化查询语言,只需点击几下即可创建功能强大的仪表板,而无需了解SQL或其他建模语言。与其他不同的是,企业直接连接到数据库,因此不需要数据仓库。

    13. IBM Watson Analytics

    IBM Watson Analytics是机器学习(ML)和人工智能(AI)的结合,可帮助提供智能数据科学助理,为业务分析师和数据科学家提供广泛的数据科学技能集的用户指南。

    三层大数据工具

    普华永道移动数据和分析计划首席技术官Ritesh Ramesh说,就精密程度和市场战略而言,大数据工具分解为三层。

    第一层:也是最大的一层,是一系列开源工具。每家公司都以这种方式开始,像Cloudera和Hortonworks。除了基本的基础设施。服务器和存储之外,价值非常小。大多数云计算厂商已经将这一层实现商品化。

    第二层:这是大多数这些供应商已经意识到需要增加他们的市场份额的地方,他们必须在开放源代码工具之上构建一些专有应用程序,从而与其他供应商区分开。例如,Cloudera公司构建了一些类似于Hadoop内核中的数据科学平台。

    第三层:这些是垂直专用的应用程序。这些公司大多与普华永道、Cognizant或埃森哲等系统集成商合作。这就是真正的价值所在,而且这也是大数据工具制造商非常有效的竞争策略。

    Ramesh说,除了基本功能之外,还有三个工具需求领域。首先是数据处理工具。他说,“数据学习工具是客户进行数据质量和性能分析的工具包中的重要工具,可处理5000万行数据,以发现洞察力。”

  • ?

    互联网大数据云计算如此厉害,计划经济会卷土重来么?

    青烟散

    展开

    这件事起源于2016年11月,马云在浙商大会提出了一个很惊人的观点,那就是”未来计划经济将会越来越强大”,他认为未来三十年内,市场经济和计划经济将会被重新定义。很快吴敬琏、刘胜军、陈志武、钱颖一、张维迎等重量级经济学家都没有点名的对马云的这一观点予以反驳。

    我们坚信,中国目前的繁荣盛况是离不开改革开放和市场经济的,但随着科技的发展,互联网大数据以及人工智能等技术的日益成熟,仿佛也给了我们更大的勇气和信心在经济领域有所作为。

    现在有一种很超前的观点,认为在大数据时代,经济集体和个体之间的联系更加密切,人们对数据进行计算和再加工的能力也远远超出了以前,而且对世界的认识水平也会有全新的提升,这也意味着,大数据技术能够让我们对经济领域的事物进行更加科学准确地评估,在这种情况下,市场经济的优势可能并不能超越计划经济。

    计划经济体系的缺陷在于,在一个人口众多的社会,没有一个中枢机构可以准确获知的每个行为主体随时变化的精神和物质需求,并按需生产和分配,个体需求必然会被压抑,不会被及时满足,票凭经济就是一个很好的体现。

    市场经济体系的巨大缺陷在于,个体需求无法通过市场机制汇聚成整体,供求必然出现极大偏差,导致资源浪费。

    事实上,在上世纪七十年代,苏联在研究计划经济方面已到了相当的高度,苏联经济学家康托罗维奇曾因为《生产组织与计划管理中的数学方法》,对资源最优分配理论做出了卓越贡献,获得1975年诺贝尔经济学奖。理论上,康氏的研究可以实现全社会范围的资源最优分配和利用,即在现有资源条件下,全社会能够以最小的劳动消耗,获得最大限度的生产量,由此得出的生产计划叫最优计划。

    1990年,笔者第一次赴苏联,那时候苏联尚未解体,还不叫俄罗斯。第一次在饭堂吃饭的时候,特意观察过他们的餐具,印证了老前辈所讲过的苏联计划经济典型案例,苏联对民用工业产品有一种变态的价格限制,一般商品上面都铭刻着价格。记得钢制的汤勺是2戈比,玻璃杯5戈比,一个官窑的瓷盘子只要8戈比。

    不过,苏联式的计划经济最后还是失败了。苏联在第十个五年计划(1976-1981年)期间,每年要报废10-20%的工业品,积压库存30-40亿卢布以上的残次消费品。在随后的第十一个和第十二个五年计划,苏联的计划经济显示出巨大的缺陷,到了80年代末,苏联形成了极度的军工经济特征,军品占机器制造业的80%以上,军事支出占国民总产值28%。经济结构失衡,工业技术工艺落后,苏联人民饱受食品和生活物资短缺的痛苦,经济接近崩溃。

    苏联的失败表明,以上世纪的组织和技术能力,要对整个国民经济进行精确的指令性计划管理,就是超大型计算机可能也无能为力。

    但是,进入新世纪以后,由于人类的计算能力以几何速度递增,一切美好的计划都开始变的可能起来。

    近些年,由于计算机、软件和网络技术的进步,出现大数据,共享数据,云统计,云计算。人们可以对订单、消费和物流进行精确统计和安排,这样可以用计算机化的比较精确的计划经济来整体安排社会产出和消费。这只是企业基于市场预测的生产计划,而不是政府指令性计划。

    互联网、人工智能和大数据,解决了计划经济所需要的技术支持。有了互联网技术的大规模应用,使得人类社会在庞大复杂的微观经济领域也可以自然而然的进入计划经济时代。互联网经济的出现恰恰证明了马克思思想的前瞻和伟大。

    那么问题来了,在互联网大数据以及人工智能技术风起云涌的时代,计划经济真的可能卷土重来吗?

  • ?

    云计算跟大数据究竟有什么关系

    不尤

    展开

    随着科学技术的迅速发展,人类开始进入大数据时代,云计算、大数据、移动互联网已成为时代三大主题,正在推动着新经济时代的发展。在科学领域、经济领域及社会生活的方方面面,呈现出海量数据特征,在海量数据中蕴含着人类各种行为、心理信息。

    对此有网友表示称,常说的"大数据"和"云计算"应该当成动词。即"大数据"指大数据分析或大数据处理。"大数据"对应"小数据算法","云计算"对应"单个计算机的计算"。比如"1+1等于几"这个问题,我们可以通过小数据算法(口算),用单个计算机的计算(甚至计算器)完成计算。再想象一个复杂的问题,需要跨时间、跨空间计算的问题,比如"去年中国各行各业的生产总值,加上美国今年各行各业的生产总值是多少?"这个问题我们就需要通过大数据的分析或处理方法,用云计算完成。

    进一步说,要通过分析或处理各地各时段存储的各种数据资源,用互联网上(云)大量的计算机进行计算(计算)得出结果。这就是大数据、云计算。你可以通俗的理解为:大数据(分析或处理)是前台,云计算是后台。

    或者理解为:大数据(分析或处理)是软件方法,云计算是硬件设备资源。或者可以再直观的理解为:大数据就是人直接操作的界面(网页、软件或App),云计算就是这些网站、软件或App供应商提供的服务。

  • ?

    大数据、云计算、人工智能,谁才有更好的发展

    不见

    展开

    云计算、大数据、人工智能这三者的发展不能分开来讲,三者是有着紧密联系的,互相联系,互相依托的,脱离了谁都不能更好的发展,让我们具体来看一下!

    一、大数据

    大数据指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

    在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法(抽样调查)这样捷径,而采用所有数据进行分析处理。大数据的5V特点(IBM提出):Volume(大量)、Velocity(高速)、Variety(多样)、Value(低价值密度)、Veracity(真实性)。

    数据每天都在产生,各行各业都有,数据量也是相当之大,但如何整合数据,清洗数据,然后实现数据价值,这才是当今大数据行业的研究重点。大数据最后要实现的是数据超融合,应用到应用场景,大数据的价值才会体现出来。

    人工智能就是大数据应用的体现。

    二、云计算

    云计算(cloud computing)是基于互联网的相关服务的增加、使用和交付模式,通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比喻说法。过去在图中往往用云来表示电信网,后来也用来表示互联网和底层基础设施的抽象。因此,云计算甚至可以让你体验每秒10万亿次的运算能力,拥有这么强大的计算能力可以模拟核爆炸、预测气候变化和市场发展趋势。用户通过电脑、笔记本、手机等方式接入数据中心,按自己的需求进行运算。

    对云计算的定义有多种说法。对于到底什么是云计算,至少可以找到100种解释。现阶段广为接受的是美国国家标准与技术研究院(NIST)定义:云计算是一种按使用量付费的模式,这种模式提供可用的、便捷的、按需的网络访问, 进入可配置的计算资源共享池(资源包括网络,服务器,存储,应用软件,服务),这些资源能够被快速提供,只需投入很少的管理工作,或与服务供应商进行很少的交互。

    说白了,云计算计算的是什么?云存储存储的是什么?还是大数据!所以离开大数据谈云计算,离开云计算谈大数据,这都是不科学的。

    三、人工智能

    人工智能(Artificial Intelligence),英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是对人的意识、思维的信息过程的模拟。人工智能不是人的智能,但能像人那样思考、也可能超过人的智能。

    人工智能是一门极富挑战性的科学,从事这项工作的人必须懂得计算机知识,心理学和哲学。人工智能是包括十分广泛的科学,它由不同的领域组成,如机器学习,计算机视觉等等,总的说来,人工智能研究的一个主要目标是使机器能够胜任一些通常需要人类智能才能完成的复杂工作。但不同的时代、不同的人对这种复杂工作的理解是不同的。

    人工智能其实就是大数据、云计算的应用场景。

    现在已经比较火热的VR,沉浸式体验,就是依赖与大数据与云计算,让用户能够由更加真切的体验,并且VR技术是可以使用到各行各业的。

    人工智能不同于传统的机器人,传统机器人只是代替人类做一些已经输入好的指令工作,而人工智能则包含了机器学习,从被动到主动,从模式化实行指令,到自主判断根据情况实行不同的指令,这就是区别。

    大数据的概念在前几年已经炒得火热,但是也就是近两年才开始慢慢落地,依赖于云计算的发展,以及人们对人工智能的预期。

    说到底,云计算是大数据的底层架构,大数据依赖云计算来处理大数据,人工智能是大数据的场景应用。三者直接建立起一个体系,从而实现改变世界的目的。三者不能分开说,一定要紧密结合。

    互联网的下一个风口,也一定是大数据、云计算、人工智能的共同风口。

    本文来自IT培训网:cnitedu,转载请注明出处。

  • ?

    大数据与云计算分析

    白一德

    展开

    大数据:藏在啤酒和尿布背后的秘密; 云计算:物联网的隐形大脑

    我们提到物联网,就不得不把它与现在非常火热的另一个概念联系起来,那就是“大数据”。

    大数据是怎么一回事呢?有一个为人津津乐道经典案例,就是啤酒与尿布的例子。一家美国超市把尿布与啤酒这两种风马牛不相及的商品居然摆在一起,但这一奇怪的举措居然使尿布和啤酒的销量大幅增加了。原来,美国的妇女通常在家照顾孩子,所以她们经常会嘱咐丈夫在下班回家的路上为孩子买尿布,而丈夫在买尿布的同时又会顺手购买自己爱喝的啤酒。

    在这个案例里面,丈夫的行为被预测出来,其预测的依据是根据长期经验所得的。假定不在尿布旁边放啤酒,爱喝酒的丈夫可能也会去买,但嫌麻烦或者酒瘾不那么大的丈夫可能就只会买了尿布就走,而想不到去买啤酒。因而,大数据就此产生了经济价值。当然,这背后基本是一个零和游戏,这家超市的啤酒销售得多了,别家超市卖得就少了。

    腾讯的QQ我们都用过,它能够把我们久未联系的老同找出来,推荐给我们去联系,但也会把你的前女友推荐给你的未婚妻认识。而淘宝在我们买东西的时候会把相关产品推荐给我们,还会告诉我们诸如某省狮子座最败家、某省水瓶座最花心、某省天蝎座最抠门这样的信息。而百度则会对人们使用关键字搜索进行排名,从而让更多人知道最近大家的关注点在哪里。

    显然,这些数据或多或少已经开始影响我们的生活。而在未来,万物联网产生的数据量与现在人们通过互联网活动产生的数据量不可同日而语,开发的价值也会更加巨大。比如我们现在的手环、手表读取我们的心率、运动量等数据,仅仅是反馈给我们让我们管理自身健康。而未来随着大数据的分析能力增强,加上能够互动的设备增多,那么这些数据就变成了健康服务,甚至能提前预防疾病发生。

    反过来,大数据的处理能力能力会反过来帮助物联网实现智能控制和产品改进。比如,我们的智能家居的学习功能,可以看做是对用户一段时间的行为数据的收集,然后通过特定算法得出主人的喜好从而自己完成对家庭环境的控制。

    前面讲了大数据,那么还有另一个大数据的亲兄弟不得不讲,那就是云计算。从成本和实际效果来考虑,其实很多物联网设备并不需要太多的计算能力,只要能够取得数据并反馈给上层具有计算能力的数据处理中心就好了,多一点的还有能够通过从计算中心获取的指令完成某些活动就可以了。

    那么,这些数据谁谁在处理呢,他们又是怎么处理的呢,这里就要提到云计算的概念。云计算被认为是一种革命性的计算方法,是继大型计算机到客户端-服务器的大转变之后的又一关于计算方式的重大转变。

    举一个不那么恰当但比较好理解得例子。使用过QQ远程助手的朋友大概可以体验云计算,你在QQ提供的界面里面访问对方的电脑,使用对方的软件。云计算大概也可以看做这么种方式,不过对方的电脑变成了处理能力超强的云计算中心,而处理方式更加复杂一些。

    云计算给我们带来了全新的解决思路。由于通讯技术的不断发展,我们的计算不一定要在本地进行。比如,在远程操作的例子,哪怕你的电脑没有安装一个程序,你仍然能够获得这个程序的使用结果。而我们平时收发邮件,这些邮件存储在我们的邮箱里,而不是在我们的电脑上,这其实可以视作早期的云服务。这种理念,简单概括起来就是“网络即电脑”。只要有网络,我们就能获得更高的运算能力。

    目前云计算还处于基础阶段,现在的云计算被分为三层:基础设施即服务(IaaS),平台即服务(PaaS)和软件即服务(SaaS)。基础设施可以看做是我们的电脑主机,其实质是大规模的主机集群。平台的地位大致相当于我们的计算机系统,类似于windos,是开发和运行程序的基础。软件服务我们就明白多了,微信、游戏客户端、美图秀秀这样的都是软件。

    借助云计算,企业的管理成本将降低。由于云计算的作用,一些企业不用浪费金钱和精力建立自己的数据处理中心,而将自己的一些数据和企业管理软件放在公共的云服务器上;而另一些企业对于数据的安全性和专业性等要求较高,于是自建云服务器,于是有了公有云、私有云、的概念之别;有一些私有云并不能满足企业的运算需求,向公有云服务器寻求支持,于是就有了混合云的提法。

    同时,云计算中心能够根据实际需求来安排服务器的运算,让整个计算中心保持高效的运作,避免了运算资源的浪费。除此之外,云计算的好处在于按使用付费。这就是说,你可以按照实际需要的存储空间或者运算能力购买云服务。这是云服务诞生之初的“电厂模式阶段”就提出的理念,即把计算能力当做像水、电这样的产品来出售。现在基本已经变成现实,而在未来,个人用户也将慢慢感受到这种全新方式给生活带来的改变。

    讲了这么多云计算,那么云计算和物联网是是怎么结合起来的呢?前面我们已经提到,我们的物联网设备只需要能够联网,云计算就能够通过网络为我们的设备提供数据处理能力。其次,大数据的运用对物联网来说十分重要,而云计算和大数据分析就像一枚硬币的两面密不可分。

    比如智能家居系统,其一部分运算其实就是依托云服务器,因为我们的家里面的数据处理中心(电脑或手机)没有必要一直保持开机状态。而更多的诸如交通系统、工厂制造系统、社区服务系统等等都将依托于私有云或者公有云的服务。除了这些,我们前面提到云计算还是打通各种物联网标准的有效手段,两个采用不同技术标准的设备也具有了互相交换数据的可能,简单说来,就像你在网上和一个外国人聊天,哪怕你不懂他的语言,只要通过相应的翻译软件,就能够理解对方的意思了。

大数据云计算软件

所有视频需要登录后,才能观看

请先登录您的帐号,即可完整播放,如果您尚未注册帐号,请先点击注册。

img

在线咨询

建站在线咨询

img

微信咨询

扫一扫添加
动力姐姐微信

img
img

TOP