中企动力 > 商学院 > 大数据质量
  • ?

    要加快制定大数据质量及公允价值评估标准

    惠冥

    展开

    何积丰院士

    上海开源大数据研究院理事长何积丰院士在“大数据高峰论坛”上指出:大数据作为一种新型的资源,大数据与人、财、物这三种传统意义上的资源有两个完全不同的特点:一个特点是每个单位(和个人)都既是大数据的使用者、又是生产者;另一个特点是缺少公允价值和合法的流通渠道。这两个特点表明各级政府部门科学地制定大数据资源公允价值的评估体系,在保障国家安全、保护个人(和单位)隐私的前提下,探讨建立大数据流通与共享的渠道,是迫在眉睫的任务。这方面国际上欧盟已先行一步,国内贵州省已处于领先地位,上海政府要迎头赶上,必须借助科研院所等外脑,而上海的现状是政府缺少这样的公益的智囊机构,上海开源大数据研究院将能承担起相应的责任:研究院的筹建团队经过几年的努力,已在这方面进行了很多前瞻性的研究, 打下了良好的基础,有信心、有能力为上海建立“大数据交易平台”提供可靠的数据质量评估、公允价值确定的方法和手段。

    大数据高峰科技收藏

  • ?

    大数据技术十大核心原理

    小鸡

    展开

    科学进步越来越多地由数据来推动,海量数据给数据分析既带来了机遇,也构成了新的挑战。大数据往往是利用众多技术和方法,综合源自多个渠道、不同时间的信息而获得的。究竟大数据技术的核心原理是哪几方面呢?

    数据即价值是目前计算机领域极其推崇的观念。数据无论多少都被归结为大数据,数据分析越来越热门,资本也对贴有大数据标签的公司趋之若鹜。如同流动的数字货币一样被一再的评估、追崇。数据能告诉我们,每一个客户的消费倾向,他们想要什么,喜欢什么,每个人的需求有哪些区别,哪些又可以被集合到一起来进行分类。

    数据核心原理:从“流程”核心转变为“数据”核心

    大数据时代,计算模式也发生了转变,从“流程”核心转变为“数据”核心。Hadoop体系的分布式计算框架已经是“数据”为核心的范式。非结构化数据及分析需求,将改变IT系统的升级方式:从简单增量到架构变化。大数据下的新思维——计算模式的转变。

    科学进步越来越多地由数据来推动,海量数据给数据分析既带来了机遇,也构成了新的挑战。大数据往往是利用众多技术和方法,综合源自多个渠道、不同时间的信息而获得的。为了应对大数据带来的挑战,我们需要新的统计思路和计算方法。

    数据价值原理:有功能是价值转变为数据是价值

    大数据真正有意思的是数据变得在线了,这个恰恰是互联网的特点。非互联网时期的产品,功能一定是它的价值,今天互联网的产品,数据一定是它的价值。

    数据能告诉我们,每一个客户的消费倾向,他们想要什么,喜欢什么,每个人的需求有哪些区别,哪些又可以被集合到一起来进行分类。大数据是数据数量上的增加,以至于我们能够实现从量变到质变的过程。

    全样本原理:从抽样转变为需要全部数据样本

    需要全部数据样本而不是抽样,你不知道的事情比你知道的事情更重要,但如果现在数据足够多,它会让人能够看得见、摸得着规律。

    数据这么大、这么多,所以人们觉得有足够的能力把握未来,对不确定状态的一种判断,从而做出自己的决定。这些东西我们听起来都是非常原始的,但是实际上背后的思维方式,和我们今天所讲的大数据是非常像的。

    关注效率原理:由关注精确度转变为关注效率

    关注效率而不是精确度,大数据标志着人类在寻求量化和认识世界的道路上前进了一大步,过去不可计量、存储、分析和共享的很多东西都被数据化了,拥有大量的数据和更多不那么精确的数据为我们理解世界打开了一扇新的大门。大数据能提高生产效率和销售效率,原因是大数据能够让我们知道市场的需要,人的消费需要。大数据让企业的决策更科学,由关注精确度转变为关注效率的提高,大数据分析能提高企业的效率。

    竞争是企业的动力,而效率是企业的生命,效率低与效率高是衡量企来成败的关键。一般来讲,投入与产出比是效率,追求高效率也就是追求高价值。手工、机器、自动机器、智能机器之间效率是不同的,智能机器效率更高,已能代替人的思维劳动。智能机器核心是大数据制动,而大数据制动的速度更快。在快速变化的市场,快速预测、快速决策、快速创新、快速定制、快速生产、快速上市成为企业行动的准则,也就是说,速度就是价值,效率就是价值,而这一切离不开大数据思维。

    关注相关性原理:由因果关系转变为关注相关性

    关注相关性而不是因果关系,社会需要放弃它对因果关系的渴求,而仅需关注相关关系,也就是说只需要知道是什么,而不需要知道为什么。这就推翻了自古以来的惯例,而我们做决定和理解现实的最基本方式也将受到挑战。

    在这个不确定的时代里面,等我们去找到准确的因果关系,再去办事的时候,这个事情早已经不值得办了。所以“大数据”时代的思维有点像回归了工业社会的这种机械思维——机械思维就是说按那个按钮,一定会出现相应的结果,是这样状态。而农业社会往前推,不需要找到中间非常紧密的、明确的因果关系,而只需要找到相关关系,只需要找到迹象就可以了。社会因此放弃了寻找因果关系的传统偏好,开始挖掘相关关系的好处。

    非法在屋内打隔断的建筑物着火的可能性比其他建筑物高很多。纽约市每年接到2.5万宗有关房屋住得过于拥挤的投诉,但市里只有200名处理投诉的巡视员,市长办公室一个分析专家小组觉得大数据可以帮助解决这一需求与资源的落差。该小组建立了一个市内全部90万座建筑物的数据库,并在其中加入市里19个部门所收集到的数据:欠税扣押记录、水电使用异常、缴费拖欠、服务切断、救护车使用、当地犯罪率、鼠患投诉,诸如此类。

    接下来,他们将这一数据库与过去5年中按严重程度排列的建筑物着火记录进行比较,希望找出相关性。果然,建筑物类型和建造年份是与火灾相关的因素。不过,一个没怎么预料到的结果是,获得外砖墙施工许可的建筑物与较低的严重火灾发生率之间存在相关性。利用所有这些数据,该小组建立了一个可以帮助他们确定哪些住房拥挤投诉需要紧急处理的系统。他们所记录的建筑物的各种特征数据都不是导致火灾的原因,但这些数据与火灾隐患的增加或降低存在相关性。这种知识被证明是极具价值的:过去房屋巡视员出现场时签发房屋腾空令的比例只有13%,在采用新办法之后,这个比例上升到了70%——效率大大提高了。

    全世界的商界人士都在高呼大数据时代来临的优势:一家超市如何从一个17岁女孩的购物清单中,发现了她已怀孕的事实;或者将啤酒与尿不湿放在一起销售,神奇地提高了双方的销售额。大数据透露出来的信息有时确实会起颠覆。比如,腾讯一项针对社交网络的统计显示,爱看家庭剧的男人是女性的两倍还多;最关心金价的是中国大妈,但紧随其后的却是90后。而在过去一年,支付宝中无线支付比例排名前十的竟然全部在青海、西藏和内蒙古地区。

    预测原理:从不能预测转变为可以预测

    大数据的核心就是预测,大数据能够预测体现在很多方面。大数据不是要教机器像人一样思考,相反,它是把数学算法运用到海量的数据上来预测事情发生的可能性。正因为在大数据规律面前,每个人的行为都跟别人一样,没有本质变化,所以商家会比消费者更了消费者的行为。

    此外,随着系统接收到的数据越来越多,通过记录找到的最好的预测与模式,可以对系统进行改进。它通常被视为人工智能的一部分,或者更确切地说,被视为一种机器学习。真正的革命并不在于分析数据的机器,而在于数据本身和我们如何运用数据。一旦把统计学和现在大规模的数据融合在一起,将会颠覆很多我们原来的思维。所以现在能够变成数据的东西越来越多,计算和处理数据的能力越来越强,所以大家突然发现这个东西很有意思。所以,大数据能干啥?能干很多很有意思的事情。

    互联网、移动互联网和云计算机保证了大数据实时预测的可能性,也为企业和用户提供了实时预测的信息,相关性预测的信息,让企业和用户抢占先机。由于大数据的全样本性,人和人都是一样的,所以云计算机软件预测的效率和准确性大大提高,有这种迹象,就有这种结果。

    信息找人原理:从人找信息,转变为信息找人

    互联网和大数据的发展,是一个从人找信息,到信息找人的过程。先是人找信息,人找人,信息找信息,现在是信息找人的这样一个时代。信息找人的时代,就是说一方面我们回到了一种最初的,广播模式是信息找人,我们听收音机,我们看电视,它是信息推给我们的,但是有一个缺陷,不知道我们是谁,后来互联网反其道而行,提供搜索引擎技术,让我知道如何找到我所需要的信息,所以搜索引擎是一个很关键的技术。

    大数据还改变了信息优势。按照循证医学,现在治病的第一件事情不是去研究病理学,而是拿过去的数据去研究,相同情况下是如何治疗的。这导致专家和普通人之间的信息优势没有了。原来我相信医生,因为医生知道的多,但现在我可以到谷歌上查一下,知道自己得了什么病。

    谷歌有一个机器翻译的团队,最开始的时候翻译之后的文字根本看不懂,但是现在60%的内容都能读得懂。谷歌机器翻译团队里头有一个笑话,说从团队每离开一个语言学家,翻译质量就会提高。越是专家越搞不明白,但打破常规让数据说话,得到真理的速度反而更快。

    机器懂人原理:由人懂机器转变为机器更懂人

    不是让人更懂机器,而是让机器更懂人,或者说是能够在使用者很笨的情况下,仍然可以使用机器。甚至不是让人懂环境,而是让我们的环境来懂我们,环境来适应人,某种程度上自然环境不能这样讲,但是在数字化环境中已经是这样的一个趋势,就是我们所在的生活世界,越来越趋向于它更适应于我们,更懂我们。哪个企业能够真正做到让机器更懂人,让环境更懂人,让我们随身携带的整个的生活世界更懂得我们的话,那他一定是具有竞争力的了,而“大数据”技术能够助我们一臂之力。

    大数据技术的其中一个核心目标是要从体量巨大、结构繁多的数据中挖掘出隐蔽在背后的规律,从而使数据发挥最大化的价值。由计算机代替人去挖掘信息,获取知识。从各种各样的数据(包括结构化、半结构化和非结构化数据)中快速获取有价值信息的能力,就是大数据技术。大数据机器分析中,半监督学习、集成学习、概率模型等技术尤为重要。

    电子商务智能原理:大数据改变了电子商务模式,让电子商务更智能

    商务智能,在今天大数据时代它获得的重新的定义。例如:传统企业进入互联网,在掌握了“大数据”技术应用途径之后,会发现有一种豁然开朗的感觉,就像在黑屋子里面找东西,找不着,突然碰到了一个开关,发现那么费力的找东西,原来很容易找得到。大数据思维,事实上它不是一个全称的判断,只是对我们所处的时代某一个纬度的描述。

    大数据时代不是说我们这个时代除了大数据什么都没有,哪怕是在互联网和IT领域,它也不是一切,只是说在我们的时代特征里面加上这么一道很明显的光,从而导致我们对以前的生存状态,以及我们个人的生活状态的一个差异化的一种表达。

    当然,同样的技术也可以运用到疾病诊断、推荐治疗措施,甚至是识别潜在犯罪分子上。或者说,在你还不知道的情况下,体检公司、医院提醒你赶紧去做检查,可能会得某些病,商家比你更了解你自己,以及你这样的人在某种情况下会出现的可能变化。就像互联网通过给计算机添加通信功能而改变了世界,大数据也将改变我们生活中最重要的方面,因为它为我们的生活创造了前所未有的可量化的维度。

    定制产品原理:由企业生产产品转变为由客户定制产品

    下一波的改革是大规模定制,为大量客户定制产品和服务,成本低、又兼具个性化。比如消费者希望他买的车有红色、绿色,厂商有能力满足要求,但价格又不至于像手工制作那般让人无法承担。因此,在厂家可以负担得起大规模定制带去的高成本的前提下,要真正做到个性化产品和服务,就必须对客户需求有很好的了解,这背后就需要依靠大数据技术。

    在互联网大数据的时代,商家最后很可能可以针对每一个顾客进行精准的价格歧视。我们现在很多的行为都是比较粗放的,航空公司会给我们里程卡,根据飞行公里数来累计里程,但其实不同顾客所飞行的不同里程对航空公司的利润贡献是不一样的。所以有一天某位顾客可能会收到一封信,“恭喜先生,您已经被我们选为幸运顾客,我们提前把您升级到白金卡。”这说明这个顾客对航空公司的贡献已经够多了。有一天银行说“恭喜您,您的额度又被提高了,”就说明钱花得已经太多了。

    正因为在大数据规律面前,每个人的行为都跟别人一样,没有本质变化。所以商家会比消费者更了消费者的行为。也许你正在想,工作了一年很辛苦,要不要去哪里度假?打开e-Mail,就有航空公司、旅行社的邮件。

    企业产品直接销售给用户,省去了中间商流通环节,使产品的价格可以以出厂价销售,让销费者获得了好处,网上产品便宜成为用户的信念,网购市场形成了。要让用户成为你的产品粉丝,就必须了解用户需要,定制产品成为用户的心愿,也就成为企业发展的新方向。

    “

    本账号提供最新物联网展会活动资讯,和多家物联网企业形成战略合作伙伴,带领用户与物联网行业大咖、各地物联网俱乐部共同来玩转物联网,为行业创造最酷的物联网线下体验和思想交流的平台。

    IOTCOFFEE

  • ?

    浙江将建立质量大数据平台,助推追溯体系建设

    荒谬

    展开

    浙江省将建立全省统一质量大数据平台

    推动企业严格落实质量首负责任制

    率先在食品药品、农产品等领域

    建立完善质量可追溯体系

    近日,浙江省政府最新发布的一份质量提升行动计划提出,将要建立全省统一的质量大数据平台,建立完善质量可追溯系统。

    根据浙江省政府办公厅近日印发的《浙江省质量提升三年行动计划(2017-2019)》规定,全省统一的质量大数据平台归集政府、企事业单位、其他社会组织、质量技术服务机构、公众在产品、工程、服务、生态等各领域的质量信息,实现互联互通。

    同时,充分运用物联网技术,率先在食品药品、农产品、重点消费品、特种设备、建设工程等涉及人身健康、安全等领域,建立完善质量可追溯系统,并逐步扩展到其他领域。

    浙江省政府指出,将制定质量安全追溯体系建设实施规划,建立质量安全追溯体系建设重点产品名录。推动企业严格落实质量首负责任制、产品“三包”、缺陷产品召回等质量安全责任。

  • ?

    将大数据打造成高质量党建的有力抓手

    阿强

    展开

    掌上春城讯 日前召开的全市组织工作会议向全市各级党组织和广大党员干部提出,要坚决落实新时代党的建设总要求和新时代党的组织路线,以高质量党建引领保障高质量发展,为加快区域性国际中心城市建设提供坚强组织保证。会议的要求,为全市上下进一步开拓创新、深化改革,用具体行动提升党建工作质量拟定了新的时代课题。近年来,嵩明县有关部门在大数据手段与党建工作有机结合方面的一系列探索,为我们如何在新时代主动运用新科技,不断提升党建工作质量提供了借鉴和启示。

    当前,以大数据为代表的信息技术已经渗透至各个领域,深刻地改变着人类的社会形态、生活习惯、组织方式和行为方式。与此同时,党的建设工作也面临前所未有的机遇和挑战。在这一时代背景下,党的建设工作也自然应当主动拥抱以大数据为代表的信息化时代浪潮,将信息技术有效融入党的建设中,提升服务质量和水平。可以说,嵩明县在大数据党建工作上的主动探索与实践,就来自于对时代发展客观要求的清晰认识,就来自于对不断提升党建质量、迎接党建工作新机遇与挑战的孜孜以求。

    通过嵩明有关部门的实践,我们能够看到,大数据手段确实在发现腐败苗头、优化党员质量、强化队伍建设等多个方面发挥了重要作用。它简便快捷地解决了许多过去难以解决的问题,让许多用人力无法发现的线索与隐患清晰地呈现在人们面前。其初步的成果不但为我们在新时代党建工作中主动引入新兴信息化手段提供了数据支持,也更加坚定了我们在更广泛范围和更深程度上使用大数据手段,推动全市党建工作深入坚实开展的信心与决心。

    将大数据打造成高质量党建的有力抓手,我们就必须勇于大胆实践,坚持问题导向,注重能力培养,致力长期积累。大数据是一个新的领域,其在党的建设方面的运用没有太多的先例参考,要运用好大数据,不但必须以开放的心态面对大数据,更要有敢为人先的勇气,把大数据运用与党的建设工作有机结合起来,先行先试,总结经验,寻求突破。要认真研究分析怎样把大数据运用到党建工作上,实现党建工作哪些功能,努力找准党建工作的问题在哪里,需求在哪里,有效发掘出大数据平台建设使用的“第一动力”,做到好钢用在刀刃上,精准发力,精准问效。广大党员干部尤其是领导干部,要在不断学习中着力提升自己将数据手段结合进具体工作的行动能力,培养自己依据数据分析结果作出部署的决策能力,以此练好数据时代基本功,运用好大数据夯实个人素质基础。同时,党建大数据应用,不能期望一开发就立刻产生飞跃突进的效益,必须依靠长期的不断累积。在数据上、技术上、组织上,都要“一张蓝图干到底”,盯住目标,久久为功。要坚持数据的长时间使用、收集和积累;坚持技术针对性的升级与完善;坚持党组织内的业务管理团队和技术开发团队一体化建设。

    我们相信,在大数据发展日新月异的今天,只要我们积极“审时度势、精心谋划、超前布局、力争主动”,就一定能发挥出大数据的应有动力,推动我市党建工作开创高质量的全新格局。

    昆明日报评论员

    责编:刘丽慧 一审:杨艳

  • ?

    大数据引领经济高质量发展

    幻梅

    展开

    我们两区会坚定不移推进大数据战略行动,全力推动大数据与实体经济、社会治理、党的建设深度融合,全力打造大数据2.0版,加快建设公平共享创新型中心城市示范区。”近日,高新区党工委书记、白云区委书记杨明晋在接受记者采访时,信心十足。

    2017年,贵阳高新区在全国147个国家级高新区中综合排名前移至第41位;白云区大数据“七大治理”扎实推进,社会治理和群众工作排名全市第一,群众安全感、满意度排名全省第二、全市第一……大数据已给两区经济社会发展、百姓生产生活带来深刻影响。

    “两区已是全省、全市大数据发展的主战场,大数据已然成为两区的特质和优势。”杨明晋说,“目前我国经济进入高质量发展阶段,两区更要以大数据为引领,抢占大数据理论创新、规则创新、标准创新、实践创新的制高点,坚持‘一二三四五六’思路,全力打造大数据引领高质量发展示范区、大数据实现高水平治理示范区、大数据助推全面从严治党示范区。”

    何为“一二三四五六”思路?杨明晋作出详细解释——

    “一”指围绕“一个核心”,即打造贵阳大数据走廊,建设大数据综合试验区核心区、“中国数谷”核心区。“二”指强化引领大数据技术创新、加快大数据产业集聚“两个关键”。“三”指抓好“三个环节”,即大数据聚、通、用,推动数据安全开放共享、开展大数据政用商用民用、发展云工程云产业。“四”指突出大数据生态、人工智能、物联网、区块链四个战略重点。“五”指强化园区、项目、人才、金融、环境“五个支撑”。“六”指推进“六个融合”,即互联网、大数据、云计算、人工智能、物联网、区块链与实体经济、社会治理、党的建设深度融合。

    杨明晋说,在全力打造大数据引领高质量发展示范区方面,高新区将重点发展大数据等“两大两高”产业,强力推进大数据创客公园、贵州科学城、贵州大数据城、沙文动力小镇等高质量发展产业园区建设;白云区将重点发展大数据等“六大两高”产业,强力推进贵州金融城·北城、铝厂片区、泉湖片区等大数据产业园区建设。在全力打造大数据实现高水平治理示范区方面,白云区将持续巩固提升“大数据+大诚信、大数据+大平安、大数据+大城管、大数据+大教育、大数据+大健康、大数据+大民生、大数据+大生态”七大治理应用场景,加快建设“数治白云”指挥中心,做好数据开放、共享、融合,推动实现实战化、实时化、自流程化,用大数据推动社会治理体系和治理能力现代化。同时,两区还将重点抓好大数据与选人用人、干部教育管理、作风建设、反腐倡廉等工作的融合,特别是加快推进“数智党建”“数据铁笼”,用大数据助推全面从严治党向纵深推进,全力打造大数据助推全面从严治党示范区。

    “在2017数博会上,两区的大数据与实体经济深度融合、大数据与社会治理深度融合的一些成果精彩亮相。2018数博会,我们也会争取展示一批大数据示范工程,推介一批大数据应用场景,努力引进一批大数据企业项目。”杨明晋说。

    杨明晋说,两区将按照“一个坚定不移”“四个强化”“四个融合”的要求,坚定不移推进大数据战略行动,大力实施数字经济、数字乡村、数字政务、数字民生“四大战略”,为贵阳建设公平共享创新型中心城市贡献高新白云的智慧和力量。

    版权声明:如涉及版权问题,请作者持权属证明与本网联系

    来源:贵阳日报

  • ?

    利用区块链技术保证大数据发展质量

    水心

    展开

    在5月18日刚刚结束的第二届世界智能大会上,首次出现了关于智能合约和产业区块链培训讲座,培训内容主要是针对当前区块链人才匮乏的情况进行的现场授课,旨在为区块链的人才培养储备蓄能,帮助区块链企业解决实际难题和挑战。这项大会独有的特色也吸引了众多与会专家的关注,由此可见区块链的火热程度。

    谈到区块链,作为互联网巨头的BAT早就展现了其超前的洞察力,用此次大会上阿里巴巴董事局马云的话来说:“在阿里巴巴刚开始投入区块链时,我那时根本没明白什么是区块链,但听说能够解决数据的安全和隐私,阿里巴巴就开始投入区块链......区块链必须是一个解决方案,是解决在进入数据时代的隐私和安全的解决方案。”BAT非常看好区块链,早早就开始了区块链的战略布局,抢占技术创新的制高点。

    紧随BAT之后,越来越多的企业都抓紧了区块链战略步伐,有数据显示:截至今年3月底,我国以区块链为主营业务的公司数量达到456家。那么区块链到底有什么魅力,能够吸引那么多人的关注与投入呢?

    引用浪潮集团董事长孙丕恕的话来说,“区块链技术可以保证大数据发展质量。”举例来说,“现在很多人能喝得起茅台,可是他们并不知道自己喝到的是不是真茅台,区块链技术能够推动中国工业质量的提升。”

    一个商品从生产到使用中间经历了一系列的环节,这中间不可确定性太多了,无法做到对一切的把握。然而利用区块链技术就能解决这样的难题,区块链从源头到终点的使用环节,把一切的数据“打通”,消费者就能知道产品的整个流程,确保产品的可靠性。

    来自德国的全球首个区块链应用项目ZPC,正是利用区块链技术致力于打造全新的工业制造生态系统。ZPC有望利用区块链技术,将工业制造关于原材料采购、生产、制造、流通、销售、使用等环节的区块数据都得以严谨地保留,再将每一个区块数据复制到所有的关联节点,并且前一个区块与后一个区块通过分布式记账,解决工业制造生态系统最根本的诚信问题。

    如今,越来越多的人力、物力和财力投入到区块链技术的开发中,相信区块链技术颠覆传统产业迎来无假货时代的这一天不会太久。

  • ?

    大数据助推高质量发展

    旧人归

    展开

    【记者观察】

    当4.7万名各界嘉宾云集会场,388家企业参展“亮宝”;当来自28个国家和地区的536名嘉宾积极到访,共同挖掘大数据的“金矿”,“爽爽的贵阳”因为大数据产业博览会的到来而鼓荡起了强劲的脉搏。

    大数据形塑新贵阳。从“欠发达山区”到“中国数谷”,这座城市在短短几年间蝶变为一个巨大的引力场。站在数博会会场,汹涌人潮中既有政商学研各界代表,也有扶老携幼的普通市民。每个人都能在大数据的宝藏中找到属于自己的珍宝。正如本届数博会的主题所述——“数化万物 智在融合”,以融合为最大特征的大数据,为人们提供了无限可能,打开了人类认识世界、改造世界的新大门。

    数据融入经济发展大脉络。在我国经济由高速增长阶段转向高质量发展阶段的关口,大数据与实体经济的深度融合成为时代选择。工信部副部长陈肇雄在数博会开幕式上介绍,近年来中国大数据产业发展取得了显著成效,预计到2020年,数据总量全球占比将达20%,成为数据量最大、数据类型最丰富的国家之一。大数据描绘出广阔未来,为中国提供了无限机遇。

    数据助力更具效率的社会治理。中国科学院院士梅宏在开幕式上表示,大数据治理体系是我国实施大数据战略的重要保障。 “党政科学决策支撑服务平台”“党建大数据平台”……一个个大数据平台拔地而起,为国家长治久安搭建起数据的“高速公路”;各种新技术、“黑科技”层出不穷,为社会治理夯实了数据基石。基于大数据的展示系统、调度中心、指挥平台更是遍布展区,将沉睡的数据有机串联起来,辅助政府决策、社会治理。“数据多跑路,群众少跑腿”正逐步成为日常。

    数据贯穿于民生福祉点滴改善。数博会上,“互联网+教育”体现为“教育行业大数据”“智慧教育”“AI教育”,“互联网+医疗”被“精准医学”“医疗云服务”“数化健康”等印证,“互联网+文化”孕育出了“版权云”“知识产权管理平台”……从奶牛健康状况管理到手机自拍背景虚化,从在线扶贫的精准施治到红绿灯的时长安排,大数据技术已经贯穿在生活的一点一滴之中,守护着人民群众的幸福生活。

    数据架设起互联互通国际桥梁。今年的数博会不仅有来自西方发达国家的互联网企业,也有印度、马来西亚等国积极参与。为此,会场专门设立了“一带一路”国际合作伙伴展区,探索建立“一带一路”数据国际合作机制,为全球大数据发展贡献中国智慧和中国方案,与世界各国共同推动构建人类命运共同体。

    随之而来的,是数据及网络安全重要性的日益凸显。在大规模数据流动成为常态的互联网时代,个人隐私安全、数据信息保护、信息法治健全等成为悬在每个人头上的达摩克利斯之剑。能够保护数据安全的,只有数据本身。主动防御的安全概念早在十余年前便已被提出,但只有基于大数据、通过机器学习、人工智能等技术核心来分析威胁、发出预警,才能封堵风险行为,确保数据本身的安全。这条路,任重道远,却势在必行。

    在贵阳感知数字中国。大数据助推高质量发展,提升民众获得感,描画出一个更加美好的明天。(光明日报记者 李克 王斯敏)

    《光明日报》( 2018年05月27日 05版)

    来源:光明网-《光明日报》

  • ?

    用大数据提高经济发展质量和效益

    LAbbe

    展开

    古希腊哲学家毕达哥拉斯曾经提出“数是万物的本源”的思想,认为世界万物归根结底都是由某种数量关系决定的。大数据是对网络数据痕迹进行捕捉、分析、挖掘的一种技术或服务。大数据具有高效的搜集和运算能力,以及数据收集和统计自动化特性。海量数据纵横交错、相互关联、相互印证,使得经济发展过程中的内外诱因和隐含引申的因素得以真实记录,通过智能化挖掘可以展现经济发展在时间和空间上的特性,反映出海量数据背后的特点和规律,进而在问题和对策间建立逻辑关系。大数据是一种思维和方法,这种思维和方法是基于信息的量化和互联。在经济发展中运用大数据,可以优化资源配置,更好把握经济发展规律,改善与加强宏观调控,提高经济发展的质量和效益。

    大数据主要用于解决复杂问题。无论多么复杂的经济问题都有规律可循。运用大数据在查找疑点、综合分析等方面的优势,通过数字化、公式化、模型化,可以迅速把握宏观经济发展态势,这是因为大数据的简单算法比小数据的复杂算法更有效。在宏观调控中应用大数据,将实现由片面向完整转变,由传统向现代转变,由数据整理向数据挖掘转变,由精准向高效转变,由单一结果向综合成果转变。

    运用大数据提高资源使用效率。大数据是与物质、能源一样重要的资源和要素,它可以改变资本和土地等传统要素在经济发展中的权重。大数据的本质是面向海量数据的开发应用,发现隐藏的知识和规律,为优化资源配置提供科学支撑。大数据有助于经济低成本、高效率、快速度、效益递增式的发展。根据美国麦肯锡公司的有关报告,运用大数据技术能使零售商提高利润率60%以上,使医疗保健行业降低成本8%。通过获取、收集、分析大数据,能够便捷地了解人们消费需求变化以及市场发展趋势,从而能提高生产效率和销售效率。大数据可形成基于规模化自动化的个性化,这使商品或服务大规模量身定制成为可能。

    大数据可以预测经济发展趋势。大数据还具有极强的预测能力,对经济发展过程中数量巨大、来源分散、格式多样的数据进行汇集和关联分析,可以从中找出经济发展的内在规律或发展趋势,有助于决策者作出宏观预测和前瞻性决策。大数据分析方法将网络科学和行为科学结合在一起,可以发现新市场、提升新能力、创造新价值。运用大数据思维,对管理理念和管理模式进行变革,建立用数据说话、用数据决策、用数据管理、用数据创新的管理机制,将极大地提高管理效率。这其中的关键是最大限度地采集和整合数据,有效利用和分析数据,更好开发和应用数据。

    大数据技术具有通用性渗透性。数据采集和分析涉及每一个行业,带有全局性和战略性。大数据渗透力极强,是典型的通用技术,各行各业都可以大数据化,比如电信业正在变成电信数据业,金融业变成金融数据业,医疗业也变成医疗数据业等。大数据的价值主要体现在它的驱动效应,通过构建数据库,对现有数据按主题进行深度整合解析,利用机器学习等先进分析技术,实现数据的深入挖掘,用数据反映和解决现实问题从而带动有关产业和技术发展,通过数据分析提高各行各业解决难题和增值的能力。大数据对经济的贡献主要在于效率、效益和质量的提高。

    开发大数据提升数据资源价值。为有效提高效率需要汇集多种来源的全面数据。事物的本质和规律隐藏在各种原始数据的相互关联之中。不同角度的数据可描述同一实体,每一种数据来源都有一定的局限性和片面性,只有融合、集成各方面的原始数据,才能更好反映事物的全貌。对同一个问题,不同的数据提供互补信息,可对问题有更深入的解剖。因此,在大数据分析中尽量汇集多种来源的数据是关键。为实现大数据的更大价值,要不断优化大数据开发方式,使大数据处理和分析从系统化、集成化向知识化、智能化发展,实现数据采集范围持续扩大,数据采集手段持续创新,信息安全管理持续加强,数据关联分析持续深化,数据挖掘深度持续增强,数据分析预测能力持续提升。

    构建以大数据管理为核心的现代管理新格局。数据就是事实,数据文化的本质是尊重规律的实事求是精神,这有利于转变我们传统定性思维的习惯。将大数据管理和尊重事实、注重理性、强调效率的文化理念相结合,完善数据采集、筛选、分析、应用机制,构建以深化数据应用为先导,以体系建设为基础,以绩效管理为抓手,以大数据管理为核心的现代管理新格局,形成用数据说话、用数据管理、用数据决策、用数据创新的文化氛围。

    总之,大数据以其数量巨大的优势而更接近事物的真相,解析大数据有利于发现客观规律。在经济发展中应用大数据,既可以改善资源配置,又可以提高资源利用效率,从而有助于转变增长方式以及提高经济发展的质量和效益。(陈庆修)

    (来源:中共中央网络安全和信息化委员会办公室)

    长按指纹

    一键关注

  • ?

    大数据系列之数据质量浅探

    诸梦秋

    展开

    先看一下数据质量管理的定义:

    数据质量管理(Data Quality Management),是指对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题,进行识别、度量、监控、预警等一系列管理活动,并通过改善和提高组织的管理水平使得数据质量获得进一步提高。

    再为了更好的了解数据质量管理,请软件测试从业者简单的问自己几个问题:

    1. 所在企业或团队或自己是否有意识的、或是无意识进行了数据质量保证工作?(例如是否有在管理上、流程上、技术上、目标上等维度进行考量)

    2. 在你的职业生涯中,是否有因数据问题导致线上环境出现长时间的中断、崩溃等等?

    3. 在你的职业成长规划中,你是否有规划或已经准备积累数据质量保证相关的知识和技术能力?

    对于很多软件测试从业者来讲,在工作中几乎时时刻刻要面对亿万记录的数据量,但大都未有意识的去考虑数据质量问题,但却又时时被坏、脏等数据带来的隐患、问题折磨

    数据质量的保证不简单的技术问题,必然涉及以下几个方面:

    码字不易,点点点下我,以示支持哈

    1. 首当其冲的是企业管理因素

    主要指企业对数据质量的重视程度、人员素质及管理机制等方面可能造成的数据质量问题、隐患等

    如果企业或团队压根就不重视,那一切都免谈了。

    2. 其次则是作业流程

    这里的作业流程既是指数据质量保证日常工作的作业流程,也是指数据处理作业流程。即既要规避人为的操作不当,亦要规定技术处理的流程以免因系统作业流程不当导致数据质量隐患、问题。

    3. 技术因素

    这里主要是在实际的数据处理各技术环节的异常所带来的数据质量问题,例如数据创建、获取、传输、装载、使用、维护、存储等等环节

    是软件测试从业者可以大发挥的地方,尤其是把技术与测试的结合,会产生无穷的力量

    4. 元数据或是说信息因素

    这里有两个大的方面,一是人对数据的理解,二是数据本身。即人对数据的理解的偏差会导致数据质量隐患问题。

    数据本身元属性的定义或变化频度异常等等导致的数据质量隐患问题。

    可以加入我的永久免费知识星球一起讨论各种姿势和技术

    顺手点点点底部的小广告支持下,免得在峡谷迷路^_^

    持续不断码字努力中

大数据质量

所有视频需要登录后,才能观看

请先登录您的帐号,即可完整播放,如果您尚未注册帐号,请先点击注册。

img

在线咨询

建站在线咨询

img

微信咨询

扫一扫添加
动力姐姐微信

img
img

TOP