中企动力 > 商学院 > 什么是大数据大数据
  • ?

    拔刺 | 什么是大数据?大数据的定义又是什么?

    苛求

    展开

    --- 拔出你心中最困惑的刺!---

    在这个用过即弃的时代,不要让你的求知欲过期。

    今日拔刺:

    1、 什么是大数据?大数据的定义又是什么?

    2、 为什么人工智能的研究都是基于算法,而不是基于“硬件”?

    3、 中国航母可以用无人预警机代替吗?

    本文 | 1586字 阅读时间 | 4分钟

    什么是大数据? 大数据的定义又是什么?

    大数据,又称巨量资料,指的是所涉及的数据资料量规模巨大到无法通过人脑甚至主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。

    简而言之,大数据就是数据量非常大、数据种类繁多、无法用常规归类方法应用计算的数据集成。 大数据的收集、开发和利用,已经成为了当今社会的潮流之一,人们都认为,对于大数据的分析应用,对于政府和企业的决策是非常积极的,影响也是非常深远的。

    大数据的采集、发掘与处理

    大数据的采集与发掘与云计算是离不开的,与庞大的服务器空间也是分不开的。而现在的倾向就是租用云计算平台进行大数据的整理运用,简单快捷,还不占地方。

    大数据的应用

    一切皆可以运用大数据。

    将人们所收集的各种数据分类汇总,最终通过高精尖的平台运算,分析其中的规律所在,就是大数据的应用。如果数据收集得当,任何行业、任何事情都可以运用大数据寻找规律,最终做出最优的小抉择。无论从公司营销、政府决策、高速公路运营、农场管理、来年预算等等,大大小小的事情都可以应用大数据,并且从中获利。

    大数据的背景

    大数据的前景并不仅仅是某一个行业的前景,一句话以盖之——大数据时代已经来临,并将从根本影响人类的生活。

    为什么人工智能的研究都是基于算法 而不是基于“硬件”?

    首先,问题就有问题。

    人工智能 的研究既基于算法,又需要硬件。

    NVIDIA每年更新显卡都不只是更新gtx 680、gtx780…gtx1080这些游戏显卡。如果你对人工智能、支持向量机、卷积神经网络等有了解,那你应该知道每次NVIDIA发布新卡都会有丽台的卡,价格比游戏显卡昂贵,从丽台 p100到p4000到现在的丽台GV100。每一次更新其计算能力都发生了飞跃。

    那么问题来了,为啥研究人工智能就研究算法而不做硬件? 其实这两方面都有人做,各司其职,做算法的人研究如何运用卷积神经网络进行识别,面对爆炸的信息量如何最大化榨取处理器的计算能力。而做硬件的行业操心如何能让其核心拥有更强大的计算单元,更低的功耗。

    现在,人工智能面临的问题不是快和慢,而是有些事情做不到。

    根据现有的计算理论:即使把神经元近似的实现为一些计算芯片,即使用CMOS的方式搭出一个神经网络,它的计算能力和用软件写出来的卷积神经网络并没有本质的区别。

    目前,人工智能发展的困难不在于是否用硬件实现,而在于算法。

    举个不恰当的例子,要想让马儿跑,得先让马儿走起来再说,现在马儿连站都站不起来,谈何马儿跑。

    关于详细的如何选择,选择哪方面的研究,以及国内外领先的的课题组和相应的研究,这个论文调研需要自己动手做才更深刻。我的导师常跟我说:“授人以鱼不如授人以渔”。希望你能学到点什么。

    中国航母可以用无人预警机代替吗?

    首先,这个问题就可以做两点解读:

    一是大型预警机技术含量确实很高 ,但是中国的预警机是世界第一的,其水平甚至远超中国的高铁。目前的空警2000就是世界预警机的最高水平,相比美国的E3预警机,中国预警机的雷达体制整整领先了一代,所以 预警机技术含量不是主要问题 。

    二是 预警机和侦察机是有区别的 ,预警机是空中作战指挥部,不仅仅是侦查传回数据这么简单,其上会搭载各类人员,有工程师,空管人员,部队司令等等,如果预警机做到无人,这些人都只能在后方做工作,这无疑加大了战斗的难度。

    我们再来具体分析一下这个问题:

    一是预警机需要搭载的东西过多 ,即使是 无人机 ,它的重量也会在十吨以上,而美国最新的弹射起飞X47B的重量也只有7吨,而滑跃起飞这样的飞机目前全世界还没有过。所以预警机上航母,弹射质量上就会技术壁垒。

    二是预警机的功能不倾向于登上航母 ,众所周知,预警机的一个非常重要的功能是指挥战斗机战斗,如果是在陆地上空作战,完全可以让预警机在陆地机场起飞然后参加任务;如果是在海洋上空作战,离陆地近时同样可以派陆地预警机作战,如果是海上的空中作战,可以将航母作为临时指挥部,所以航母预警机的功能就不会特别的明显,所以也不是各国军队的发展重心。

    本文来自镁客网,创业家系授权发布,略经编辑修改,版权归作者所有,内容仅代表作者独立观点。

  • ?

    什么是大数据?这些你都清楚吗

    伍烨磊

    展开

    大数据,指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据相关的创业有其独特性,创业者如何结合其特点,推出具有生命力的创业项目。所谓大数据就是从海量的互联网信息中通过运用统计学、概率论的原理,去伪存真得出有用信息经过云计算成为指导有关部门的决策依据!当然必须分门别类的收集大数据,政治、军事、经济、文化、社会、各行各业等等均有所侧重!

    大数据目前实际发展中存在:数据化程度低,各阶段发展不平衡,利益主体多元,复杂未来趋势,先采集,后互联,整体慢慢改,局部可突破。难点:体制破局、教师改造。国外教育培训行业中数据技术应用的现状,基本面临同样的问题。最终动力只能依靠学习者本身的需求和习惯养成,以及新技术带来的真正便利。

    大数据是对大量信息资源的统称,比如在教育方面,第一,大数据是教育领域的大数据,是面向特定教育主题的多类型、多维度、多形态的数据集合;第二,教育大数据是面向教育全过程的数据,通过数据挖掘和学习分析支持教育决策和个性化学习;第三,教育大数据是一种分布式计算架构方式,通过数据共享的各种支持技术达到共建共享的思想。

    大数据绝大多数大数据是非结构性的,其种类十分复杂,我们现在的技术手段还没法对此进行处理;再次是速度,数据产生和传送的频率非常快;最后是价值,从大量的低质量、低价值的数据中获取知识,犹如从大海中捞针,获取数据成本很高,但有待挖掘价值大。

  • ?

    大数据起源,给你解析到底什么是大数据!

    庾笑柳

    展开

    大数据,英文名big data。因为传播已经成为习惯,我们并没有过多的去思考为什么用big data去描述,但是现在我们仔细回味一下,会发现大数据这个大为什么不用large为什么不用海量vast呢?归根结底我们可能就需要从语法上,来分析一下,它们三个之间的区别。big形容大小。更多的时候,是一种比较行为上的大,是种相对来说的感觉,而large和vast更多的时候形容的是的是一种形体上的巨大。

    那么现在来推敲一下big data这个词,大数据这个大其实是一种相对的说法是相对于传统的数据体量来说的,过去任何时候的数据相对于现在来说都显得太过于渺小,而现在我们所说的大数据是一种量变最后达到了质变的概念。

    数据这个词最早在媒体上风靡应该是2007年左右。往上追溯应该就是05年谷歌参加有美国官方举办的一个机器翻译大赛,最终由于使用了海量的相关数据而夺得第一,在那之后大数据这个概念渐渐的被业内人士所传播。那么到底什么是大数据呢?

    大数据顾名思义,最表象的特征就是数据量够大。但是仅仅数据量够大,并不能构成大数据整体的含义。如果是海量杂乱无章,互之间没有关联的数据,即便再怎么定义,它也算不上是大数据。就譬如一个人体内的基因图谱,详细的基因图谱数据如果记录出来是一个很大体量的,但是没有意义。

    大数据而且还有个概念,那就是多维度。在十年前,如果说国内哪一家公司最有资格说大数据的,那无疑是百度了。作为一个独占13亿用户专属的搜索公司来说,百度对于用户画像的记录,无疑是多维的。百度搜索,至今记录了无数用户每天在互联网上搜索的问题,或者说知识。在时间维度上用户对某些词汇搜索的频次高低这些都是数据。它可以通过对注册用户的甄别就可以知道搜索这个词汇或者是这个问题的用户是男生还是女生?年龄分布是是小孩、青年抑或是一个中年大叔?再到后来个人电脑开始普及,通过记录ip等信息,根据ip搜索的百度的问题的分类,可以判断中国各个区域,是南方富裕一点,还是北方富裕点?是江苏人更爱吃,还是闽南人更喜欢谈论吃?百度完全可以根据自己的数据生成得到国内各种关于此类的数据,普查之后所能得到的答案这就是因为百度所具有的数据是一个多维度的数据。他的数据收集过程,是一个长期的持续性的工作。

    除了百度之外,腾讯的qq确实每年都会有一个关于qq的城市报告。它会根据qq的用户数据,甚至于至于活跃地点。在一个大的范围内青年QQ用户的占比,最终可以得到中国城市年轻度排行榜。可以根据这些数据判断,哪一个城市是,年轻人毕业之后最愿意去的。可以判断哪一个城市的,年轻人毕业之后,是回归率最高的。也可以判断哪一个城市的人才流失率更低,更容易留住外来人才。这些都是大数据多维度的应用。

    大数据还有一个非常重要的特点,那就是全面性。经常在某些大型活动之前我们都会遇到。某些公司对于这件事情,会做出预测。然后最终的结果让我们大失所望。预测无疑是需要基于数据基础的预测,如果这个数据不够全面的话,最终的预测结果肯定相差甚大。

    关于数据全面性有一个最经典的案例这是12年美国大选大选事件。一个名叫斯威尔的年轻人,利用大数据预测。成功预测出了51个州的选举果,要知道这在之前是从来没有发生过的事情。美国大选在之前就一直有专业的预测机构做预测,但是就连这种长期做数据,分析的公司都从来没有如此成功的预测过。那是因为斯威尔将网上所有关于选举的数据,包括新闻稿,以及facebook和推特上面人们关于选举的言论,所有的数据都做了甄选处理。这份数据反映的是网民全面几乎没有遗漏的想法,最终得到了某种程度上来说,比较具有完备性的数据,所以能够如此成功的预测13年美国大选的结果。

    关于大数据的科普我们就到这里了,有任何问题可以留言咱一起交流,本文由玩机丧志原创,欢迎关注,带你一起长知识!

  • ?

    大数据基础必备,大数据是什么?

    孙绮梅

    展开

    随着互联网时代的到来,颠覆了传统行业的盈利模式,大家都把注意力集中在了互联网上。前几年大数据时代的来临,为各行各业提供了更加开阔的数据用作分析。

    百科对于大数据是这样解释的:麦肯锡全球研究所给出的定义是:一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。

    大数据大数据,核心仍然是‘数据’。在学习大数据技术前,我们首先应该明白大数据的‘数据的本质’。

    首先,不论是企业行为或是政府决策,亦或者个人文化和心智修养,判断世间万物,甚至包括洞察宏大的宇宙变化和时空转换,都可以也应该嵌入数据化去思考,若是无法理解这一点,那么就要思考自身是否适合往大数据方向发展。

    其次,研究并开发利用绝大部分数据大多是无用且有害的,这个过程既枯燥而且也不确定得来数据的价值。但是,可以利用一些好的办法和简单的规律,使数据活用起来,否则,学习发展大数据将失去本该有的意义。

    最后,从事大数据工作的各类人才在进行数据化思考时,一定要时刻想到、意识到‘关联’二字。关联一是要找出数据与数据之间的关联性,二是要处理好的数据从自动生成到传输存储,三是要加工挖掘再到形成有价值的东西流通交易,最后再回到对源数据生成及其采集流程的有针对性地再造。这一循环各环节缺一不可,以此建立人与人之间合作信任的长效可持续机制。

    大数据不是独奏,而是不断连接、无处不在的数据

    前几天有私信给我要大数据学习资料,我连夜整理了一些有深度的教程和参考资料,从入门到高级,文件已经上传好,正在学习大数据的可以免费下载学习,文件下载方式:

    首先把代码撸起来!首先把代码撸起来!首先把代码撸起来!哈哈!编程是们手艺活。什么意思?得练啊!

  • ?

    什么是大数据?大数据应用在哪些地方

    向颜

    展开

    大家好,今天带大家了解大数据。对于外行来说,大数据名词听起来很高端、大气。却很抽象,让人无法理解。但作为编程人员、数据库管理员,大数据是需要详细了解的。这将会成为你们未来的发展方向。

    首先简介一下大数据能干什么?大家都知道,我们在淘宝购物。需要注册帐号,然后选购商品、加入购物车、付款发货、货物的物流信息等等。这些信息在电脑里被称为数据。产生的数据都会存储到淘宝的服务器里。每天数以亿计的数据,被存储到淘宝服务器里。由于这些数据很庞大,所以被称为大数据。再根据基础大数据,在后台进行智能分析。就能分析出指定用户的购物喜好。某些产品的销售量等等信息。然后通过挖掘大数据的结果,向用户推送指定商品。这就是大数据时代,给你我带来的便利。

    由于大数据里有海量的数据,存储和分析这些数据最主要就是要解决效率的问题。如何快速存储和分析海量的数据?目前都采用了一些什么技术?带着这些问题。我来讲一下,需要充电学习的方面。首先java语言是必须精通掌握的基础,用于大数据开发。接下来必须了解网络编程,mysql等数据库。再进一步学习,就需要了解集群技术。因为海量的数据需要采用多个数据库来进行存储和处理。即分布式存储。目前解决的方案,是采用hadoop架构。Hadoop实现一个分布式存储,具有高容错性、高吞吐量来访问应用程序的数据,适合超大数据集的应用程序。Hadoop的高吞吐,海量数据处理的能力使人们可以方便地处理海量数据。但hadoop不擅长实时计算,另一项大数据技术storm由此而生。他具有实时的数据处理能力。比如你昨天在淘宝买了一双鞋,今天你想买一顶帽子。而大数据分析的结果还是昨天的,系统不断的在向你推荐鞋子。而不去考虑你今天的需求。使用了storm技术,就会实时的分析你的需求,系统就会根据结果,向你推荐帽子。大数据的另一项技术Apache spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架。用于配合hadoop和storm技术处理大数据。通过并行化地计算,加快的大数据的处理。

    大数据的另一方向就是机器学习,要想得到一个高效的机器学习系统。就需要先用少量的数据去训练它。在少量的数据下机器学习系统不出错。再加大学习量,最终就能通过反复测试上线。大数据下的机器学习需要很多学习样本,在大量的学习样本下。机器可以类似于人工一样筛选,分析处理得到有用的数据,最终将结果反馈给用户。机器学习要掌握R语言、python和mahout技术。机器学习应用前景很广,不只是大数据可以使用。可能会成为未来程序员必修的课程。

  • ?

    都说大数据,你知道到底什么是大数据吗?

    张效瑞

    展开

    俺黑君够黑,慎关注!

    究竟什么是大数据?如何对大数据进行定义?大数据有哪些特征?了解了这些才能更好的知道自己学习是怎样的一门技术,以及它的前景如何。本文达妹就带大家一起了解大数据。

    DT时代,人人言必称大数据,所有的新系统几乎都是基于大数据,有人认为用了MongoDB就是大数据,也有人用了Hadoop就是大数据,或者认为数据量大就是大数据。

    更有甚者,笔者看到一篇新闻报道,说某企业成功实施大数据项目,结果只是SQL-Server集群……天呐,这可是上世纪的技术了!

    说了这么多到底什么是大数据呢,其实大数据并没有教科书式的明确定义,但是却有比较公认的特性描述,符合这些特性的就可以称作大数据,即大数据的4个V。

    第一个V——高容量

    这个最好理解,数据量一定要大,才好意思称自己为大数据嘛。大到什么程度呢?依目前行情来看,至少也要到TB级,很多案例都是PB甚至更高。但如果是GB级,非说自己是大数据也不是不可以,就是有点无颜见江东父老啊……

    第二个V——多样化

    这个很关键了!是区别于以往海量数据挖掘的最主要特征。它有两层含义,一是数据来源多样化,系统数据、设备日志、传感器、文件系统等等来源。二是数据结构多样化,这是核心特征!要包含结构化数据、非结构数据(包括所谓半结构化数据)。

    总结起来就是,多源异构。这就是为什么有人认为使用NoSQL数据库(如MongoDB)就是大数据了,因为满足了多样化的特征,但其实还不够。

    第三个V——高速

    即时效性,基本上至少也要达到亿级数据一秒查询,做的比较好的可以达到千亿级数据一秒查询。这个特征几乎决定了传统技术架构无法满足要求,因此Hadoop架构的出现催化了大数据的发展,也是有人认为Hadoop就是大数据的原因。

    第四个V——价值

    这个很好理解,数据一定要有价值、而后才能产生价值。就好比存商品的叫才能仓库,存垃圾的叫垃圾填满坑一样。没价值的数据就像一个垃圾填满坑,这也是为什么数据治理在大数据实施中非常重要的原因之一。

    最后,也是最重要的,以上4个V是逻辑与的关系,即需同时、注意是同时满足上述四个特征,就可以放心的说自己是大数据了!

    文版权归原作者所有。转载文章仅为传播更多信息之目的,如有侵权请与我们联系,我们将及时处理。

  • ?

    所谓大数据,那到底什么才是大数据?

    月桂树

    展开

    世界包含的多得难以想象的数字化信息变得更多更快,从商业到科学,从政府到艺术,这种影响无处不在。科学家和计算机工程师们给这种现象创造了一个新名词:“大数据”。所谓大数据,那到底什么是大数据,他的来源在哪里,定义究竟是什么呢?

    一:大数据的定义。

    1、大数据,又称巨量资料,指的是所涉及的数据资料量规模巨大到无法通过人脑甚至主流软件工具,在合理时间内达到管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。

    2、大数据技术,是指从各种各样类型的大数据中,快速获得有价值信息的技术的能力,包括数据采集、存储、管理、分析挖掘、可视化等技术及其集成。

    3、大数据应用,是指对特定的大数据集合,集成应用大数据技术,获得有价值信息的行为。对于不同领域、不同企业的不同业务,甚至同一领域不同企业的相同业务来说,由于其业务需求、数据集合和分析挖掘目标存在差异,所运用的大数据技术和大数据信息系统也可能有着相当大的不同。

    二:大数据的类型和价值挖掘方法

    1、大数据的类型大致可分为三类:

    1)传统企业数据:包括消费者数据,传统的ERP数据,库存数据以及账目数据等。2)机器和传感器数据:包括呼叫记,智能仪表,设备日志,交易数据等。3)社交数据:包括用户行为记录,反馈数据等。2、大数据挖掘商业价值的方法主要分为四种:1)客户群体细分,然后为每个群体量定制特别的服务。2)模拟现实环境,发掘新的需求同时提高投资的回报率。3)加强部门联系,提高整条管理链条和产业链条的效率。4)降低服务成本,发现隐藏线索进行产品和服务的创新。

    三:大数据的特点

    具体来说,大数据具有4个基本特征:

    1、是数据体量巨大

    2、是数据类别大和类型多样3、是处理速度快4、是价值真实性高和密度低

    四:大数据的作用

    1、对大数据的处理分析正成为新一代信息技术融合应用的结点移动互联网、物联网、社交网络、数字家庭、电子商务等是新一代信息技术的应用形态,这些应用不断产生大数据。云计算为这些海量、多样化的大数据提供存储和运算平台。通过对不同来源数据的管理、处理、分析与优化,将结果反馈到上述应用中,将创造出巨大的经济和社会价值。2、大数据是信息产业持续高速增长的新引擎面向大数据市场的新技术、新产品、新服务、新业态会不断涌现。在软件与服务领域,大数据将引发数据快速处理分析、数据挖掘技术和软件产品的发展。3、大数据利用将成为提高核心竞争力的关键因素各行各业的决策正在从“业务驱动” 转变“数据驱动”。对大数据的分析可以使零售商实时掌握市场动态并迅速做出应对;可以为商家制定更加精准有效的营销策略提供决策支持;可以帮助企业为消费者提供更加及时和个性化的服务;4、大数据时代科学研究的方法手段将发生重大改变,抽样调查是社会科学的基本研究方法。在大数据时代,可通过实时监测、跟踪研究对象在互联网上产生的海量行为数据,进行挖掘分析,揭示出规律性的东西,提出研究结论和对策。

    五:大数据的商业价值

    1、对顾客群体细分

    2、模拟实境3、提高投入回报率4、数据存储空间出租5、管理客户关系6、个性化精准推荐7、数据搜索

    六:大数据对经济社会的重要影响

    1、能够推动实现巨大经济效益2、能够推动增强社会管理水平3、如果没有高性能的分析工具,大数据的价值就得不到释放

  • ?

    大数据是什么?大数据时代四个特点

    阿德格拉斯

    展开

    大数据是什么?其实很简单,大数据其实就是海量资料巨量资料,这些巨量资料来源于世界各地随时产生的数据,在大数据时代,任何微小的数据都可能产生不可思议的价值。大数据有4个特点,为别为:Volume(大量)、Variety(多样)、Velocity(高速)、Value(价值),一般我们称之为4V。

    大数据

    所谓4V,具体指如下4点:

    1.大量。大数据的特征首先就体现为“大”,从先Map3时代,一个小小的MB级别的Map3就可以满足很多人的需求,然而随着时间的推移,存储单位从过去的GB到TB,乃至现在的PB、EB级别。随着信息技术的高速发展,数据开始爆发性增长。社交网络(微博、推特、脸书)、移动网络、各种智能工具,服务工具等,都成为数据的来源。淘宝网近4亿的会员每天产生的商品交易数据约20TB;脸书约10亿的用户每天产生的日志数据超过300TB。迫切需要智能的算法、强大的数据处理平台和新的数据处理技术,来统计、分析、预测和实时处理如此大规模的数据。

    2.多样。广泛的数据来源,决定了大数据形式的多样性。任何形式的数据都可以产生作用,目前应用最广泛的就是推荐系统,如淘宝,网易云音乐、今日头条等,这些平台都会通过对用户的日志数据进行分析,从而进一步推荐用户喜欢的东西。日志数据是结构化明显的数据,还有一些数据结构化不明显,例如图片、音频、视频等,这些数据因果关系弱,就需要人工对其进行标注。

    大数据

    3.高速。大数据的产生非常迅速,主要通过互联网传输。生活中每个人都离不开互联网,也就是说每天个人每天都在向大数据提供大量的资料。并且这些数据是需要及时处理的,因为花费大量资本去存储作用较小的历史数据是非常不划算的,对于一个平台而言,也许保存的数据只有过去几天或者一个月之内,再远的数据就要及时清理,不然代价太大。基于这种情况,大数据对处理速度有非常严格的要求,服务器中大量的资源都用于处理和计算数据,很多平台都需要做到实时分析。数据无时无刻不在产生,谁的速度更快,谁就有优势。

    4.价值。这也是大数据的核心特征。现实世界所产生的数据中,有价值的数据所占比例很小。相比于传统的小数据,大数据最大的价值在于通过从大量不相关的各种类型的数据中,挖掘出对未来趋势与模式预测分析有价值的数据,并通过机器学习方法、人工智能方法或数据挖掘方法深度分析,发现新规律和新知识,并运用于农业、金融、医疗等各个领域,从而最终达到改善社会治理、提高生产效率、推进科学研究的效果。

    大数据

    在大数据时代,每个人都会享受到大数据所带来的便利。买东西可以足不出户;有急事出门可以不用再随缘等出租车;想了解天下事只需要动动手指。虽然大数据会产生个人隐私问题,但总的来说,大数据还是在不断的改善我们的生活,让生活更加方便

    若是对大数据是什么仍然还有疑问,可以留言或者关注私信一起交流。

  • ?

    什么是大数据和大数据平台?

    车含蕾

    展开

    “大数据”时下一个热门的词语,近几年来,关于大数据的著作和文章铺天盖地,似乎也在共同在传递一个信息:越来越多的行业、人士开始关注并实际探索大数据的应用,我们正在一起描绘着大数据巨大效用的蓝图,但在实践的路上,我们都孩子起步阶段小步前行。

    大数据根基于互联网,数据仓库、数据挖掘、云计算等互联网技术的发展为大数据应用奠定基础。对于任何一个大数据的从业者或初接触者,或者都会有个共同的感触:大数据很有用!但大数据是什么呢?

    今天就给大家讲解一下:

    对于大数据的定义,我们来引用3个比较差用的大数据定义:

    1)Gartner:需要信息处理模式才能具有更强的决策力,洞察发现力和流程优化能力的海量、高增长率很多样化的信息资产。

    2)IDC:海量的数据规模(Volunme)、快速的数据流转和数据体系(Velocity)、多样的数据类型(Variety)、巨大的数据价值(Value)。

    3)Wiki:或称巨量数据、海量数据、大资料,指所涉及的数据量规模巨大到无法通过人工,在合理时间内达到截取、管理、处理、并整理成为人类所能解读的信息。

    其他关于大数据的定义也大抵类型,我们可以用几个关键词对大数据做一个界定。

    首先,“大规模”,这种规模可以从两个维度来衡量,一是时间序列累积大量的数据,二是在深度上更加细化的数据。

    其次,“多样化”,可以是不同的数据格式,如文字、图片、视频等,可以是不同的数据类别,如入口数据,经济数据等,还可以有不同的数据来源,如互联网、传感器等。

    最后,“动态化”,数据是不停变化的,可以随着时间快速增加大量数据,也可以是在空间上不断移动变化的数据。

    这三 个关键词对大数据从形象上做了界定。

    但是还需要一个关键能力,就是“处理速度快”。如果这么大规模、多样化又动态变化的数据有了,但需要很长的时间去处理分析,那不叫大数据。从另一个角度,要实现这些数据快速处理,靠人工肯定是没办法实现的,因此,需要借助于机器实现。

    最终,我们借助机器,通过对这些数据进行快速的处理分析,获取想要的信息或者应用的整套体系,才能称为大数据。

    我们可以用下面的图示给大数据定义:

    这下,就知道什么是大数据了吧

  • ?

    什么样的数据才算大数据?——大数据的特性

    郝雅山

    展开

    什么是大数据?大数据就是指在一定时间范围内无法使用传统数据库工具对其进行捕捉、管理、计算、分析和处理的数据集合,大数据有以下四个特性:海量的数据规模(Volumn),数据类型繁多(Variety),数据流转速度极快(Velocity)以及价值密度较低(Value),我们就说说这四大特性。

    海量的数据规模

    我们接触最多最敏感的数据那就是我们手机所购买的流量,最常见的数据计量单位为K、M和G,他们的关系为1G=1024M,1M=1024KB。也许你也听过TB,1TB=1024G,这个数据单位对我们来世已经相当庞大了,我们的笔记本最大的容量也就在1TB这个级别,但是在大数据眼里最小的数据也得10TB起,比TB级还大的数据计量单位还有吗?有,而且还很多,1PB=1024TB,1EB=1024PB,1ZB=1024EB,1YB=1024ZB......我们已经无法感知这么大的数据量了。截止到2011 年,互联网用户数已达到20 亿; RFID 标签在2005 年的保有量仅有13亿个,但是到2010 年这个数字超过了300 亿;2006 年资本市场的数据比2003 年增长了17.5倍;日前新浪微博上每天上传的微博数超过1 亿条;Facebook 每天处理10TB 的数据;世界气象中心积累了220TB 的Web 数据,9PB 其他类型数据……

    极快的数据流转

    数据具有一定的时效性,是不停的变化的,可以随时间数据量逐渐增大,也可在空间上不断移动变化的数据。如果我们采集到的数据不经过流转,最终会过期作废。客户的体验在分秒级别,海量的数据,带来的第一个问题就是大大延长了各类报表生成时间,我们能否在极端的时间内提取最有价值的信心呢?数据在1秒内得不到流转处理,就会给客户带来较差的使用体验,若我们的数据处理软件达不到“秒”处理,所带来的商业价值就会大打折扣。

    价值密度低

    尽管大数据的数据量巨大,但是有价值的信息极少,我们要通过分析才能将大数据从数据到价值的转变,这些工作量极其庞大,所以云计算是一个很好的解决途径。以监控视频为例,一小时的视频,在不间断的监控过程中,可能有用的数据仅仅只有一两秒。

    数据种类繁多

    数据的格式是多样化的,如文字、图片、视频、音频、地理位置信息等,也可以是不同的数据类别,也可以有不容的来源,如传感器、互联网。首先用户是一个复杂的个体,单一的行为数据是不足以描述用户的各种行为,多元化的信息采集处理就像拼图一样,逐渐勾勒出我们身体的骨架,增添上我们的血肉。我们在淘宝、京东购物时,总会在下面的推荐区推荐我们想要的东西,比如我们去频繁的搜索浏览某件商品,这是他们就会采集我们浏览的数据,从中挖去有价值的信息,推送给我们。所以说这样的模式给一种体验,那就是这些app越来越懂我们的爱好和需求。

    大数据未来会渗透在很多领域,大数据与云计算,机器学习与人工智能,物联网,区块链等。

什么是大数据大数据

所有视频需要登录后,才能观看

请先登录您的帐号,即可完整播放,如果您尚未注册帐号,请先点击注册。

img

在线咨询

建站在线咨询

img

微信咨询

扫一扫添加
动力姐姐微信

img
img

TOP