中企动力 > 商学院 > 政府利用大数据分析可以什么
  • ?

    一篇文章详解大数据技术和应用场景

    景梦芝

    展开

    “本文作者 陈睿 ,优知学院创始人新技术、新趋势往往趋之若鹜却又很难说的透彻,希望这篇文章能让大家完整的理解什么是大数据:该篇包含:大数据、技术、场景应用以及大数据的岗位。

    什么是大数据

    说起大数据,估计大家都觉得只听过概念,但是具体是什么东西,怎么定义,没有一个标准的东西,因为在我们的印象中好像很多公司都叫大数据公司,业务形态则有几百种,感觉不是很好理解,所以我建议还是从字面上来理解大数据,在维克托迈尔-舍恩伯格及肯尼斯库克耶编写的《大数据时代》提到了大数据的4个特征:

    一个是数量大一个是价值大一个是速度快一个是多样性第一个是数量比较大,只有数据体量达到了PB级别以上,才能被称为大数据。1PB等于1024TB,1TB等于1024G,那么1PB等于1024*1024个G的数据。

    第二个是价值大,你如果有1PB以上的全国所有20-35年轻人的上网数据的时候,那么它自然就有了商业价值,比如通过分析这些数据,我们就知道这些人的爱好,进而指导产品的发展方向等等。如果有了全国几百万病人的数据,根据这些数据进行分析就能预测疾病的发生,这些都是大数据的价值。

    第三个就是多样性,如果只有单一的数据,那么这些数据就没有了价值,比如只有单一的个人数据,或者单一的用户提交数据,这些数据还不能称为大数据,所以说大数据还需要是多样性的,比如当前的上网用户中,年龄,学历,爱好,性格等等每个人的特征都不一样,这个也就是大数据的多样性,当然了如果扩展到全国,那么数据的多样性会更强,每个地区,每个时间段,都会存在各种各样的数据多样性。

    第四个是速度快,就是通过算法对数据的逻辑处理速度非常快,1秒定律,可从各种类型的数据中快速获得高价值的信息,这一点也是和传统的数据挖掘技术有着本质的不同。

    大数据的行业应用

    大数据无处不在,大数据应用于各个行业,包括金融、汽车、餐饮、电信、能源、体能和娱乐等在内的社会各行各业都已经融入了大数据的印迹。

    制造业,利用工业大数据提升制造业水平,包括产品故障诊断与预测、分析工艺流程、改进生产工艺,优化生产过程能耗、工业供应链分析与优化、生产计划与排程。

    金融行业,大数据在高频交易、社交情绪分析和信贷风险分析三大金融创新领域发挥重大作用。

    汽车行业,利用大数据和物联网技术的无人驾驶汽车,在不远的未来将走入我们的日常生活。

    互联网行业,借助于大数据技术,可以分析客户行为,进行商品推荐和针对性广告投放。

    电信行业,利用大数据技术实现客户离网分析,及时掌握客户离网倾向,出台客户挽留措施。

    能源行业,随着智能电网的发展,电力公司可以掌握海量的用户用电信息,利用大数据技术分析用户用电模式,可以改进电网运行,合理设计电力需求响应系统,确保电网运行安全。

    物流行业,利用大数据优化物流网络,提高物流效率,降低物流成本。

    城市管理,可以利用大数据实现智能交通、环保监测、城市规划和智能安防。

    生物医学,大数据可以帮助我们实现流行病预测、智慧医疗、健康管理,同时还可以帮助我们解读DNA,了解更多的生命奥秘。

    体育娱乐,大数据可以帮助我们训练球队,决定投拍哪种题财的影视作品,以及预测比赛结果。

    安全领域,政府可以利用大数据技术构建起强大的国家安全保障体系,企业可以利用大数据抵御网络攻击,警察可以借助大数据来预防犯罪。

    个人生活, 大数据还可以应用于个人生活,利用与每个人相关联的“个人大数据”,分析个人生活行为习惯,为其提供更加周到的个性化服务。

    大数据的价值,远远不止于此,大数据对各行各业的渗透,大大推动了社会生产和生活,未来必将产生重大而深远的影响。

    大数据使用的技术

    说起大数据,大数据有三个层数据采集、存储、计算三层。

    第一个是数据采集层,以App、saas为代表的服务。

    大数据基础阶段需掌握的技术有:Linux、Docker、KVM、MySQL基础、Oracle基础、MongoDB、redis以及hadoopmapreduce hdfs yarn等。

    第二个数据存储层,比如云存储,需掌握的技术有:hbase、hive、sqoop等。

    比如:Hadoop作为一个开源的框架,专为离线和大规模数据分析而设计,HDFS作为其核心的存储引擎,已被广泛用于数据存储。HBase,是一个分布式的、面向列的开源数据库,可以认为是hdfs的封装,本质是数据存储、NoSQL数据库。

    HBase是一种Key/Value系统,部署在hdfs上,克服了hdfs在随机读写这个方面的缺点,与hadoop一样,Hbase目标主要依靠横向扩展,通过不断增加廉价的商用服务器,来增加计算和存储能力。

    第三个是数据计算应用层,以数据为基础,为将来的移动社交、交通、教育,金融进行服务,涉及到大数据架构设计阶段需掌握的技术有:Flume分布式、Zookeeper、Kafka等,以及大数据实时计算阶段需掌握的技术有:Mahout、Spark、storm。

    大数据的岗位

    1.数据分析师Data analyst

    指熟悉相关业务,熟练搭建数据分析框架,掌握和使用相关的分析常用工具和基本的分析方法,进行数据搜集、整理、分析,针对数据分析结论给管理销售运营提供指导意义的分析意见。

    2.数据架构师Data architect

    对Hadoop解决方案的整个生命周期进行引导,包括需求分析,平台选择,技术架构设计,应用设计和开发,测试和部署。深入掌握如何编写MapReduce的作业及作业流的管理完成对数据的计算,并能够使用Hadoop提供的通用算法, 熟练掌握Hadoop整个生态系统的组件如: Yarn,HBase、Hive、Pig等重要组件,能够实现对平台监控、辅助运维系统的开发。

    3.大数据工程师Big DataEngineer

    收集和处理大规模的原始数据(包括脚本编写,网页获取,调用APIs,编写SQL查询等);将非结构化数据处理成适合分析的一种形式,然后进行分析;根据所需要的和专案分析商业决策。

    4.数据仓库管理员

    Data warehousemanager:指定并实施信息管理策略;协调和管理的信息管理解决方案;多个项目的范围,计划和优先顺序安排;管理仓库的各个方面,比如数据外包,移动,质量,设计和实施。

    5.数据库管理员Database manager

    提高数据库工具和服务的有效性;确保所有的数据符合法律规定;确保信息得到保护和备份;做定期报告;监控数据库性能;改善使用的技术;建立新的数据库;检测数据录入程序;故障排除。

    6.商业智能分析员Businessintelligence analyst

    就工具,报告或者元数据增强来进行传播信息;进行或协调测试,以确保情报的定义与需求相一致;使用商业智能工具来识别或监测现有和潜在的客户;综合目前的商业只能和趋势数据,来支持采取行动的建议;维护或更新的商业智能工具,数据库,仪表板,系统或方法;及时的管理用户流量的商业情报。

  • ?

    掀起政府大数据应用热潮的八个黄金案例

    销魂

    展开

    “深藏闺中”的政府数据资源是极大浪费,只有让数据流动起来,才能充分发挥数据价值,成为真正意义上的政府数据资产。

    “深藏闺中”的政府数据资源是极大浪费,只有让数据流动起来,才能充分发挥数据价值,成为真正意义上的政府数据资产。

    政府大数据可分为两类三层,两类即政府的数据和政务数据。三层是根据数据种类分为:红色,不可开放的政府数据;黄色,可协议开放的部分数据;蓝色,可开放的政务数据。

    随着各地方政府对政府数据价值和部分数据逐步开放的认识,政府大数据应用也更加多样化。苏州、丽江、济宁、青海、广东等省市走在数据共享利用、数据资产运营和大数据应用的的前列,为激活政府数据资产价值提供了研究样本,掀起政府大数据应用的发展高潮。

    苏州吴中城市大数据中心打造管理新模式

    如何能够在当前政务、公共应用基础上发挥大数据潜能,庞大的信息基础设施投资如何产生回报,助推整个城市的管理,提升地方竞争力?苏州吴中区开启了大数据中心建设之路,顺利打通苏州数字化城市建设的通道。

    国内资深大数据资产运营商——九次方大数据倾力打造苏州吴中城市大数据中心,涵盖了城市整体市场宏观经济、教育、医疗、居民生活、生态环境等领域专题分析、城市治理一张图等信息,以提升城市运行管理、政务信息服务、综合管理决策和应急指挥等四大综合能力为目标,增强基于大数据的城市运行监测、综合分析、预警预测、辅助决策等能力,全面提升城市智能化管理水平,打造城市管理新模式。

    贵州投身大数据脱贫攻坚成为省级样本

    作为全国贫困人口最多、贫困面积最大、贫困程度最深的省份之一,贵州扶贫攻坚任务十分繁重和艰巨,开局就是决战、起步就要冲刺。为此,贵州省开发建设了精准扶贫大数据支撑平台,依托云上贵州系统,打通了公安、工商、交通等13个部门之间的“信息孤岛”,实现了扶贫数据和信息的相互关联。

    贵州以精准扶贫、精准脱贫为目标,按照“扶贫+”的思路,用大数据甄别贫困人口,管理扶贫项目和资金,开展贫困监测和评估,把贫困人口找出来,把致贫原因摸清楚,把帮扶措施落到位,把党的政策送到家,把社会爱心送到位,彻底解决了“扶持谁”、“谁来扶”、“怎么扶”的问题。

    丽江借旅游大数据蝶变升级

    近年,涉及丽江旅游的负面新闻不断见诸报端,让丽江旅游形象屡受重创,“丽江印象”一度陷入危机。丽江市委、市政府针对当前丽江旅游发展中存在的突出问题,决心整治规范旅游市场秩序、加强综合监管、提高旅游服务质量,巩固提升丽江旅游良好形象。

    为此,丽江市携手九次方大数据建成了融合智能预警、科学预测、辅助决策和联动应急处理等功能于一体的旅游综合治理及服务大数据平台。

    该平台依托丽江市多年来积累沉淀的雄厚旅游数据,利用大数据智能预警、科学预测和可以辅助决策的特点,融入全网舆情数据实时监测、分析预警预测、联动处置决策、联动应急处置、综合治理优化等功能,实现城市综合治理智能化、配套管理服务现代化的目标,通过大数据提高旅游行业管理水平,维护政府和旅游相关企业的良好形象。

    广东赶潮制造业大数据驱动新模式

    拥有36万家制造业企业的广东省,以佛山、东莞为代表的中小制造企业密布。在全球化的竞争冲击下,其转型升级的需求更为迫切。

    在制造业转型升级的现实背景下,尤其是在“中国制造2025”引领下,广东省积极推进宏观调控大数据应用,包括建立基于大数据算法的省制造业分析评价指标体系,编制落后和过剩产能、梯度转移、重点转型升级、高增长等产业目录,支撑经济运行动态监测分析和产业安全预测预警。

    作为制造业大省,同时又是信息产业高地、大数据领域独角兽企业聚集地,广东以智能制造为主攻方向,引导推动制造业大数据在产品全生命周期和全产业链的应用,促进制造业大数据、工业核心软件、工业云和智能服务平台、工业互联网协同发展,培育“数据驱动”的制造新模式。

    济宁用信用大数据打响诚信招牌

    一座城市的信用管理反映城市治理和社会人群信用的综合特征。打响“诚信”的招牌,山东省济宁市政府通过大数据实现城市信用管理,以信立本的同时,也使城市发展走向了一条数字化发展之路。

    济宁市政府重视社会信用体系建设,自2016年以来,济宁市社会信用体系建设已经全面进入系统、有序的组织实施阶段。联合九次方大数据开发完成了以“一网三库一平台”为核心的市级公共信用信息平台,实现了数据的互联互通。

    济宁信用大数据平台实现了企业法人、非企业法人、自然人信用数据库联动,通过编制信用数据标准及目录,确定数据征集范围、征集内容,为信用数据采集、分类、共享、公开提供应用依据,同时为信用数据的流动提供通道。平台为济宁市社会信用体系建设各项工作的有序开展,奠定了扎实的数据基础和技术支撑,成为构建信用济宁的“一张网”和消除“信息孤岛”的重要抓手。

    杭州探索出交通大数据治堵新路径

    作为长江三角洲城市群中心城市之一的杭州,上下班高峰期堵车真的就像所有大城市一样让人闹心。如今,杭州已经探索出了一条通过大数据、人工智能治理城市问题的新路径,并在交通治堵领域取得了全国乃至全球的领先地位。

    说起来难以置信,从红绿灯到交通摄像头,它们在同一根杆上,但从来没有通过数据被连接过,摄像头看到的东西永远不会变成红绿灯的行动。这既浪费了城市的数据资源,也加大了城市运营发展的成本。

    这一现象在杭州市得以终结,从摄像头得到了即时交通流量,通过对这些流量数据的分析,可以优化路口的时间分配,提高交通效率。经过一年来的实际运行,杭州市120救护车到达现场时间确实缩短一半,车辆在各区域的通行时间也有明显的降低,高架道路出行时间平均节省4.6分钟,确实对整个城市交通的流畅度提升起到了非常好的促进作用。

    南通以公安大数据打击经济犯罪

    在江苏省南通市,以大数据为依据的数据融合、共享、应用,正在为“智慧南通公安”创造出一条提升行政服务水平、打击经济犯罪的创新智慧发展之路。2017年初,南通市公安局与九次方大数据合作,启动企业风险预警平台的设计研发,通过大数据技术发现经济犯罪的苗头,实现了更科学更高效的经侦决策,给当地警务工作带来了深远变化。

    企业风险预警平台通过整合各警种信息系统资源,采集、引进各类社会资源数据,重视并强化资源应用,利用大数据技术,对各类犯罪线索数据进行数量化分析和关联挖掘,实现预警信息的多库联查、多点碰撞,实现犯罪线索自动扩线串并、自我完善和自动报警,提升主动发现案源、主动侦查进攻、多地协同作战能力,为经济健康发展带来了深远的影响。

    美丽青海用环保大数据描绘生态画卷

    影响大、贡献大、责任大、价值大……虽是经济小省,但青海在全国生态格局中的地位无可替代,对国家生态安全的重要性极为突出。为同时打好生态保护与绿色发展两张牌,青海将目光转向大数据等新兴产业,将其作为推进产业转型升级的重要举措。

    坚持“破除数据孤岛、整合信息资源、统一管理平台”原则,青海省优化整合省级环保、国土资源、住房城乡建设、交通运输、水利、农牧、卫生、林业、气象、质监、测绘地信等部门以及国家相关科研院所和技术部门在青藏高原设置的监测站网及数据资源,建设集采样监控、数据处理、质量控制、智能应用、信息共享发布等功能为一体的生态环境监测网络体系和生态环境大数据中心,为准确预测研判环境形势、及时发布环境监测预警预报信息、有效开展污染治理和生态保护提供支撑。

  • ?

    卫诚观点|大数据与政府职能转变

    Stephenie

    展开

    在当今的信息化时代,大数据被认为是重要的社会资源。麦肯锡全球研究所给出的定义是,大数据是指数据容量超出传统数据库工具搜索、存储、分析和管理能力范围的数据集。

    大数据拥有容量大、多样性、速度快、整体价值高等特征。海量数据通过互联网汇集到各大运营商、政府、银行、商场等,融汇成了数据之海,且数据来源呈现多元化趋势,信息主体从个人到社会组织,其内容涵盖多个领域多个维度;新的数据时代要求将静止数据和动态数据转变为正在使用的数据,以达到数据快速处理的目的;在海量数据中,虽然单个主体信息的使用价值不大,但市场中各类信息的集合,就是重要的信息资源。

    这些信息为社会管理提供了数据信息基础,如何从中寻找真正有价值有效的数据才是重中之重。

    由于大数据信息资源虽然容量大、具有多样性,但它不具有排他性,信息的消费过程与新信息的产生过程同步,消费信息的人与信息资源的总量成正比。因此,从海量信息资源中挖掘有效消费点的大数据相关技术也将成为国家经济社会发展的核心资源。

    凭借对大数据的技术分析、存储和利用,我们能从中发现大量隐藏信息,并能以此为基础判断出隐藏信息与事物间的联系,以及事物发展的可能趋势及主体行为等,为社会经济活动提供依据,从而提高各个领域的运行效率。

    可见,大数据不仅仅是数据,更是一种技术。它不仅能挖掘数据的潜在价值,还能实现数据创新,实现海量数据的更多社会价值,可以从中发现一些影响经济社会发展的潜在影响因素,为政府部门管理市场经济做出科学决策提供了相应的参考依据。

    政府应用大数据的必要性

    在政府行政体制改革、公共服务领域和日常管理中,政府已把大数据作为基础性战略资源逐步加以发展和运用,并充分落实创新发展的理念,加快政府职能的转变,提升政府治理能力。2015年4月3日,国务院在政府信息公开工作要点中表示要积极推进政府数据公开,把运用大数据等现代信息技术作为促进政府职能转变,简政放权、放管结合和优化服务的有效手段。

    2015年6月,国务院办公厅印发了《关于运用大数据加强对市场主体服务和监管的若干意见》,提出要建立大数据标准体系,运用大数据先进理念、技术和资源,加强对市场主体的服务和监管,推进简政放权和政府职能转变,提高政府治理能力。

    2016年9月,发改委印发了《关于推进全国发展改革系统大数据工作的指导意见》,提出2020年底建成国内采集存储政务数据规模大、大数据分析应用多、平台技术保障能力强的行业大数据体系。

    2016年12月,工信部发布了《大数据产业发展规划(2016-2020年)》,其中提到要加快大数据产业主体培育、利用大数据助推创新创业、强化社会治理和公共服务大数据应用等重点任务。

    1 推动简政放权

    行政管理需要实现现代化、科学化、智能化,推进行政体制改革、深化简政放权就需要建设政务大数据以推进信息,实现数据共享。

    简政放权是新一届党中央国务院成立以来推进治国方略的重要抓手和先手棋。但在推行中,因长期以来形成的权利集中、职责分割、效能不高等问题都没有完全解决,简政放权的实现也遭遇各种困难。

    一个重要原因在于,在科层制行政管理的架构中,政府各部门之间分工过细导致职能边界反而成了信息壁垒,一项全局性政策往往被切割成各自为政的小“地盘”。因此,由于体制机制、加上信息技术等的限制,各级政府及各个部门间的信息网络往往自成体系,相互割裂,其间信息无法实现共享互通,导致政府目前大量的数据多处于休眠状态,无法被应用。而且,信息分割也会导部分数据的采集过程重复,使得政府效能降低。

    为了清除各部门间的信息壁垒,需要在强化督查机制、增强政府执行力的同时,加大信息化建设力度,运用大数据的存储方式和处理技术,建立基础信息数据库和专业数据库等,建设统一的政府大数据共享平台,打通各个相关部门之间的数据链,以克服政府数据碎片化、信息资源共享程度低等相关问题。通过数据库和信息平台,实现数据的统一与共享,也为打通行政部门信息壁垒提供新动力。

    大数据平台不仅在数据层面实现各方数据归集整合,其基于数据平台的预测和决策功能也是大数据技术的核心,而预测和决策也同样是行政管理的核心。为了处理好政府与市场的关系,使市场在资源配置中更好地发挥政府作用,依靠大数据技术的预测与决策支持是政府行政管理的新支撑。可避免在传统管理方式上,因依靠局部分析来抽样判断全剧所导致的政府决策困难和失误,大幅降低政府决策的不确定性。将大数据应用到决策管理中,可以通过数据分析推演等,有效结合各方面数据资源,使信息趋于系统化、全局化,提升科学化决策水平。

    因此,这种以大数据资源库为支撑的行政管理和科学决策,既能符合政府整体利益,又能增强各个部门间的协同合作,利于推动简政放权。

    2 促进放管结合

    在推动简政放权的基础上,还要促进放管结合。面对海量的信息市场,政府管理部门可以有效利用大数据的资源建立专属信息平台,在推动整合数据资源,部门间数据共享的同时,通过大数据强化监管,实现放与管的结合。

    新形式下的政府监管方式不再单一地通过审查企业报表,对发现问题的企业进行实地检查整顿,而是通过大数据技术支持对各个主体信息之间的关联关系,例如企业经营情况、销售情况、物流信息、信用状况、诉讼情况等,通过数据的自动汇集,再通过专业的数据分析后,政府监管部门可以随时掌握企业的违法失信、投诉举报等信息,并及时对各个主体的不当行为进行提前预警,加强应急防范等。

    基于新的大数据监管模式,不仅可以提高监管效能,还能实现监管的有效覆盖。当各级政府和部门间的信息网络体系完全按照放管结合的要求实现共享互通、加强信息公开和数据开放的力度的时候,则会更有助于大数据监管的实施。大数据、云计算、物联网等信息技术被积极运用到政府监管中,不仅有助于维护市场秩序,使失信者步步受限,诚信者不再受到阻碍,还可以有效促进政府部门的自身改革工作,更有助于实现放权与严格监管的统一和促进。

    3 实现优化服务

    将推动简政放权、放管结合和优化服务结合起来,加快政府的服务型建设,也是大数据作为促进政府职能转变的有效手段。

    政府传统的决策过程是“发现问题—分析问题—解决问题”,这种决策方式可以一定程度地解决部分问题,但也较容易出现决策失误从而导致的劳民伤财。于是,在大数据的背景之下,新型的决策方式应该转变为“搜集数据—量化分析—找出相互关系—提出优化解决方案”,并根据大数据实时跟踪决策的实施过程,在决策实施中根据环境变化和及时的信息反馈而相应的做出改变,提供更优质的、更切实际的高效率的政府服务。

    大数据时代,政府部门的各项决策都不再仅凭过往经验,而是更多地以数据分析辅助做出决定。大数据能有效提高信息的及时性、全面性和准确性,政府部门将其应用于监管企业信用风险、服务创新创业等领域,可支撑政策议题谋划塑造和事中事后监管能力的提升。政府部门的日常工作离不开数据,政府开放数据形成的生态圈,也将有利推动政府的发展。

  • ?

    大数据应用都面临哪些挑战?我们分析了这十个垂直行业

    阿宪

    展开

    本文来自:腾股创投,原文来自Simplilearn,作者Maryanne Gaitho,由腾股创投整理编译。

    大数据已经成为过去几年中大部分行业的游戏规则,行业领袖,学者和其他知名的利益相关者都同意这一点, 随着大数据继续渗透到我们的日常生活中,围绕大数据的炒作正在转向实际使用中的真正价值。

    虽然了解大数据的价值仍然是一个挑战,但其他实践中的挑战包括资金投入和投资回报率以及相关技能仍然是大数据行业排名前列。Gartner调查显示,75%以上的公司正在投资或计划在未来两年投资大数据。

    一般来说,大多数公司都希望有几个大数据项目,公司的主要目标是增强客户体验,但其他目标包括降低成本,更有针对性地进行营销,并使现有流程更有效率。 近来,数据泄露也使安全性成为大数据项目需要解决的重要问题。

    然而,更重要的是,当涉及到大数据时,你所在的位置是在哪里? 你很可能会发现你处于以下几种情况之一:

    想要弄清楚大数据中是否存在真正的价值

    评估市场机会的规模

    开发使用大数据的新服务和产品

    已经使用大数据解决方案重新定位现有的服务和产品以利用大数据,或者

    已经使用大数据解决方案

    考虑到这一点,了解大数据的全景及其在不同行业的应用,将有助于更好地了解你的角色和未来不同行业的发展。

    在本文中,我将分析使用大数据的10个垂直行业,这些行业面临的行业挑战以及大数据如何解决这些挑战。 我还将提到一些大型数据提供商在特定行业提供解决方案的案例。

    1、银行业与证券业

    行业具体的大数据挑战

    一项研究对10个顶级投资和零售业务银行的16个项目进行了调查,结果显示:行业的挑战包括:证券欺诈预警,超高频金融数据分析,信用卡欺诈检测,审计跟踪归档,企业信用风险报告,贸易可见度,客户数据转换, 交易的社会分析,IT运营分析和IT策略合规性分析等。

    大数据在银行业和证券业的应用

    证券交易委员会(SEC)正在使用大数据来监控金融市场活动。 他们目前正在使用网络分析和自然语言处理器来捕捉金融市场的非法交易活动。

    金融市场的零售商,大银行,对冲基金和其他所谓的“大男孩”使用大数据进行高频交易,交易前决策支持分析,情绪测量,预测分析等方面的交易分析。

    该行业还严重依赖大数据进行风险分析,包括反洗钱,企业风险管理,“了解你的客户”和减少欺诈。

    该行业特定的大数据提供商包括:1010data,Panopticon软件,Streambase Systems,Nice Actimize和Quartet FS。

    2、通讯,媒体和娱乐

    行业具体大数据挑战

    由于消费者期望有不同格式和各种设备的多媒体需求,通信,媒体和娱乐行业的一些重大数据挑战包括:

    收集,分析和利用消费者洞察

    利用移动和社交媒体内容

    了解实时,媒体内容使用情况

    大数据在通信,媒体和娱乐行业的应用

    该行业的企业同时分析客户数据以及行为数据,以创建详细的客户资料,可用于:

    为不同的目标受众创建内容

    根据需要推荐内容

    衡量内容效果

    一个例子是温布尔登网球锦标赛,利用大数据实时对电视,移动和网络用户观看网球比赛的详细情绪分析。

    Spotify是按需音乐服务,使用Hadoop大数据分析,从全球数百万用户收集数据,然后使用分析的数据向个人用户提供个性化的音乐推荐。

    亚马逊Prime通过在一站式商店中提供,视频,音乐和Kindle书籍提供良好的客户体验,也大量利用大数据。

    这个行业的大数据提供商包括:Infochimps,Splunk,Pervasive Software和Visible Measures。

    3、医疗保健供应方

    行业特有的大数据挑战

    医疗保健部门获得了大量的数据,但一直没能使用数据来遏制医疗保健成本上升,提高医疗保健收益,提高系统效率。

    这主要是因为电子数据不足或不可用。 另外,保存健康相关信息的医疗保健数据库很难与医疗领域有用模式的数据链接起来。

    其他与大数据相关的挑战包括:将患者排除在决策过程之外,以及使用来自不同渠道的容易获得的传感器的数据。

    大数据在医疗行业的应用

    以色列贝斯的一些医院正在使用数百万病人从手机应用收集的数据,让医生可以使用循证医学,而不是像传统医院一样,对病人进行医疗/实验室检测。 有些测试是有效的,但大部分是昂贵的并且通常是低效的。

    佛罗里达大学使用免费公共卫生数据和Google地图创建视觉数据,可以更快速地识别和有效分析医疗信息,用于跟踪慢性病的传播。

    奥巴马医保方案也以多种方式利用了大量数据。

    该行业的大数据提供商包括:Recombinant Data,Humedica,Explorys和Cerner

    4、教育

    从技术角度来看,教育行业面临的一个重大挑战是将来自不同来源和供应商的大数据整合其中,并将其用于一个数据的平台。

    从实践的角度来看,教育从业者和机构必须学习新的数据管理和分析工具。

    在技术方面,整合来自不同来源的数据,不同平台和原本不相互合作的不同供应商都面临挑战。

    在政治上,与用于教育目的的大数据相关的隐私和个人数据保护问题是一个挑战。

    大数据在教育中的应用

    大数据在高等教育中的应用相当显着。例如,塔斯马尼亚大学。一个拥有26000多名学生的澳大利亚大学,部署了一个学习和管理系统,学生登录系统,系统追踪学生花费的时间以及学生的整体进度等。

    在教育中使用大数据的不同用例中,它也用于衡量教师教学的有效性,以确保学生和教师的良好体验。教师的表现可以根据学生人数,学科人数,学生期望,行为分类和其他几个变量进行微调和衡量。

    在政府层面上,美国教育部的教育技术办公室正在使用大数据来开发分析数据,以帮助纠正选错在线课程的学生,点击模式也被用来检测学生学习时的无聊程度。

    这个行业的大数据提供商包括:Knewton和Carnegie Learning和MyFit / Naviance。

    5、制造业和自然资源开采业

    行业具体挑战

    对石油,农产品,矿产,天然气,金属等自然资源的需求日益增加,导致数据量的增加,复杂性和提高速度是一个挑战。

    同样,来自制造业的大量数据尚未得到开发。 这种信息的利用不足阻碍了产品质量提高,能源效率和可靠性的提升,以及更好的利润率。

    大数据在制造和自然资源开采业中的应用

    在自然资源行业,通过大数据可以利用地理空间数据,图形数据,文本和时间数据中摄取和整合大量数据建立预测模型,帮助做出决策,应用的领域包括: 地震解释和油藏表征。

    大数据也被用于解决当今制造业所面临的挑战,懿获得竞争优势。

    在下图中,德勤的一项研究显示了目前使用的大数据的情况以及将来的预期的用于供应链功能的使用情况。

    该行业的大数据提供商包括:CSC,Aspen Technology,Invensys和Pentaho。

    6、政府

    在政府中,最大的挑战是不同政府部门和附属机构大数据的整合和互操作性。

    大数据在政府中的应用

    在公共服务方面,大数据应用范围非常广泛,包括能源勘探,金融市场分析,欺诈检测,健康相关研究和环境保护。

    一些更具体的例子如下:

    大数据用于分析社会保障局(SSA)提供的非结构化数据的大量社会残疾索赔。用于分析快速有效地处理医疗信息,以加快决策速度,并检测可疑或欺诈性声明。

    食品和药物管理局(FDA)正在使用大量数据来检测和研究食物相关疾病和疾病的模式。从而做出更快的反应,提供更快的治疗,减少死亡。

    国土安全部使用大数据分为几种不同的用例。 大数据来自不同政府机构的分析,以及用于保护国家安全的数据。

    这个行业的大数据提供商包括:Digital Reasoning,Socrata和惠普。

    7、保险业

    主要挑战包括缺乏个性化服务,缺乏个性化定价和缺乏针对新细分市场和特定细分市场的有针对性的服务。

    在由Marketforce进行的调查中,保险业专业人士确定的挑战包括数据不足带来的利润损失,以及渴望更好的洞察力。

    大数据在保险行业的应用

    业界已经在使用大数据,通过从社交媒体,支持GPS的设备和监控录像中得到的数据分析和预测客户行为,为透明和简单的产品提供客户洞察。 大数据还可以保护公司更好的提高客户留存。

    在索赔管理方面,大数据的预测分析已被用于提供更快的服务,因为大量的数据可以在承保阶段进行特别分析。 欺诈检测也得到了加强。

    通过数字渠道和社交媒体的大量数据,索赔周期的索赔实时监控已被用于为保险公司提供见解。

    该行业的大数据提供商包括:Sprint,高通,Octo Telematics,The Climate Corp。

    8、零售和批发贸易

    从传统的实体零售商和批发商到现在的电子商务,行业已经收集了大量的数据。 来自客户会员卡,POS扫描仪,RFID等的这些数据并没有被用于整体上改善客户体验。所有改变和改进都相当缓慢。

    大数据在零售和批发行业的应用

    来自客户忠诚度数据,POS,商店库存,本地人口统计数据的大数据将继续由零售和批发商店收集。

    在纽约大展零售贸易大会上,像微软,思科和IBM这样的公司表示,零售行业需要利用大数据进行分析和其他用途,包括:

    通过购物模式,本地活动等数据优化员工配置

    减少欺诈

    及时分析库存

    社交媒体的使用也具有很大的潜在用途,并且将以缓慢的速度地被实体店采用。社交媒体用于客户探索,客户保留,产品推广等。

    这个行业的大数据提供商包括:First Retail,First Insight,Fujitsu,Infor,Epicor和Vistex。

    9、交通

    近来,来自基于位置的社交网络的大量数据和来自电信的高速数据影响了旅游行为。 令人遗憾的是,了解旅游行为的研究并没有如此迅速。

    在大多数地方,交通运输需求模式仍然对社交媒体结构的了解不足。

    大数据在交通行业的应用

    政府,私人机构和个人的一些大数据应用包括:

    政府使用大数据:交通管制,路线规划,智能交通系统,拥堵管理(预测交通状况)

    私营部门在运输中使用大数据:收入管理,技术改进,物流和竞争优势(通过整合出货量和优化货运)

    个人使用大数据包括:路线规划节省燃料和时间,旅游安排等。

    该行业的大数据提供商包括:高通和Manhattan Associates。

    10、能源和公用事业

    电网资产的60%将在十年内需要更换

    全球风电装机容量同比增长12.4%

    智能电表成为主流,而消费者要求更多的控制和了解能源消耗。

    大数据在能源和公用事业行业的应用

    智能电表读取器允许几乎每15分钟收集数据,而不是每天用旧的读表器收集数据。 这种细粒度数据被用于更好地分析实用程序的消耗,这允许改进客户反馈和更好地控制公用事业的使用。

    在公用事业公司,使用大数据还可以提供更好的资产和人力资源管理,这对于识别错误和在完成失败之前尽快进行纠正是有用的。

    这个行业的大数据提供商包括:Alstom Siemens ABB和Cloudera。

    总结

    本文总共梳理了10个垂直行业中大数据的重要作用,以下是几个关键要点:

    在大数据领域有大量支出

    要利用大数据机会,你需要:

    熟悉并了解行业特定的挑战

    了解每个行业的数据特征

    了解支出在哪里发生

    通过自己的能力和解决方案来满足市场需求

    垂直行业的专业知识是有效和高效地利用大数据的关键

    腾股创投是一家由前华为资深人士成立的早期风险投资公司。投资方向包括5G、云计算、SaaS、大数据、物联网、人工智能、机器人。投资阶段天使、Pre-A、A。

  • ?

    史上最全解析!大数据在十大行业的应用

    格拉沃利讷

    展开

    什么是大数据?

    这次我们不谈概念,不谈理论,避虚就实,关注大数据在十大行业的实际应用。

    从证券行业到医疗领域,越来越多公司意识到大数据的重要性。2015年Gartner调查显示,超过75%的公司正在投资或计划在未来两年内投资大数据。而在2012年进行的类似调查中,仅有58%的公司在未来两年内计划投资大数据。

    增强客户体验、降低成本、精准营销以及提高流程效率、数据安全是公司关注大数据的主要目的。本文将研究正在使用大数据的10个垂直行业及面临的挑战,以及大数据如何解决这些难题。

    1. 银行和证券

    挑战:

    通过对10家投行券商的16个项目的研究表明,该行业面临的挑战包括:证券欺诈预警、蜱虫分析、检测卡片欺诈、审计跟踪档案、企业信用风险报告、贸易可视性、客户数据转换、用于交易的社交分析、IT运营分析和IT策略合规性分析等。

    应用:

    证券交易委员会(SEC)正在使用大数据网络分析和自然语言处理器来捕捉金融市场中的非法交易活动。

    商业银行,对冲基金和其他金融公司在高频交易的交易分析,交易前的决策支持分析,情绪测量,预测分析等方向使用大数据。

    该行业还严重依赖大数据进行风险分析,这其中包括:反洗钱,企业风险管理,客户画像,以及减少欺诈行为等。

    2. 通讯,媒体和娱乐

    挑战:

    每个观众消费着不同形式的娱乐,以及不同的娱乐设备,因此通信,媒体和娱乐行业正面临以下大数据挑战:

    1. 收集,分析和利用消费者习惯

    2. 利用移动和社交媒体内容

    3. 实时追踪媒体内容使用形式

    应用:

    公司同时分析客户数据和行为数据,以创建详细的客户档案,可用于:

    1. 个性化定制内容

    2. 按需推荐内容

    3. 衡量内容结果

    一个典型的例子是国外视频网站YouTube上的温网比赛,它利用大数据实时向电视、移动和网络用户提供网球比赛的详尽的情感分析。亚马逊Prime大量使用大数据,在一站式商店提供视频,音乐和Kindle书籍来提供卓越的客户体验。

    3. 医疗领域

    挑战:

    医疗保健行业可以获取大量数据,但由于医疗成本上升、医疗系统效率较低,大量数据没能得到有效利用。抛弃患者的数据精准度弱化、以及不同传感器的数据差异均是医疗行业所面临的困难。

    应用:

    一些医院正在使用从数百万患者手机应用程序收集的数据,允许医生使用循证医学,而不是对所有去医院的患者均进行多次医学检查。佛罗里达大学运用免费的公共健康数据和谷歌地图创建了视觉数据,以便更快地识别和有效分析医疗信息,用于跟踪慢性病的传播。

    4. 教育

    挑战:

    从技术角度来看,教育行业面临的主要挑战是整合不同来源的大数据,并在统一平台上使用它,有时这些数据并非是相互协作的。从实际角度来看,教师和机构必须学习新的数据管理和分析工具。在政治上,用于教育目的的大数据相关的隐私和个人数据保护也是一个问题。

    应用:

    大数据在高等教育中的使用非常多。例如,一所拥有超过26000名学生的澳大利亚大学已经部署了学习和管理系统,该系统可以跟踪学生登录系统时,在系统中不同页面上花费的时间以及学生的整体学习进度等。

    大数据还用于衡量教师的教学有效性,以确保学生和教师的良好体验。教师的表现可以根据学生数量,主题,学生人口统计,行为分类和其他几个变量进行微调和衡量。

    5. 制造业和自然资源

    挑战:

    石油、农产品、矿物、天然气、金属等自然资源的需求不断增加,导致数据数量、复杂性增加。制造业的大量数据尚未开发。这些信息的利用不足会妨碍产品质量、能效、可靠性和更高的利润空间。

    应用:

    在自然资源行业中,大数据允许预测建模以辅助决策制定,从地理空间数据,图形数据,文本和时间数据中摄取和集成大量数据。使用领域包括:地震解释和油藏描述。

    6. 政府

    挑战:

    在政府领域,最大的挑战是跨政府部门和组织的大数据集成和数据的互兼容性。

    应用:

    在公共服务领域,大数据的应用范围非常广泛,包括:能源勘探,金融市场分析,欺诈检测,健康相关的研究和环境保护。美国社保局使用大数据分析大量的社会残疾索赔数据,用于快速有效地处理医疗信息,以便更快地做出决策并检测可疑的或欺诈性索赔。美国食品和药物管理局(FDA)正在利用大数据来检测和研究食品中毒等疾病的模式。大数据让响应更快,治疗更快和死亡更少。

    7. 保险

    挑战:

    缺乏个性化服务,缺乏个性化定价以及针对新细分市场和特定细分市场的服务。

    应用:

    通过从社交媒体,GPS设备和摄像头获得的数据预测客户行为,大数据已被业内用于为简单的产品提供客户见解。大数据还可以让保险公司更好地保留客户。在索赔管理方面,大数据的预测分析可以加快服务速度,因为可以分析大量数据,特别是在承保阶段。

    8. 零售和整体销售贸易

    挑战:

    从传统的实体零售商和批发商到当今的电商,该行业随着时间的推移累计了大量数据。这些数据来自客户会员卡,POS扫描仪,RFID等,其用途不足以改善客户体验。

    应用:

    零售商和批发商收集来自客户忠诚度数据,POS,商店库存,本地人口统计数据的大数据。在2014年纽约Big Show零售会议上,微软,思科和IBM等公司提出零售行业需要利用大数据进行分析和其他用途,包括:通过购物模式、本地活动等数据优化人员配备,减少欺诈、及时分析库存

    社交媒体的使用也有很多潜在的用途,正在被实体商店采用。社交媒体用于客户拉新、客户留存、产品推广等。

    9. 运输

    挑战:

    最近,基于物流的社交网络的大量数据和来自电信的高速数据已经影响了人们的出行选择。遗憾的是,了解出行行为的研究并没有那么快。在大多数地方,对社交媒体结构的理解不够输出的需求模型往往不实用。

    应用:

    政府、私企和个人对大数据的应用包括:

    1. 政府大数据:交通控制,路线规划,智能交通系统,拥堵管理

    2. 私营部门在运输中使用大数据:收入管理,技术改进,物流和竞争优势

    3. 个人使用大数据:节省燃料和时间的路线规划、出行安排等

    10. 能源和公用事业

    挑战:

    60%电网资源十年内需要替换。

    应用:

    智能抄表器几乎每15分钟就能收集一次数据,而不是每天使用旧抄表器收集数据。这种精细数据被用于更好地分析公用事业的消耗,从而改善客户反馈并更好地控制公用资源的使用。

    在公共机构中,大数据的使用还允许更好的资产和劳动力管理,这对于识别错误并在经历完全故障之前尽快纠正它们是有用的。

    结论

    经历了10个行业垂直行业,包括大数据如何在这些行业中发挥作用,这里有几个关键的要点:

    1. 熟悉并了解行业特定的挑战

    2. 了解或了解每个行业的数据特征

    3. 了解支出地点

    4. 将市场需求与您自己的能力和解决方案相匹配

    5. 垂直行业专业知识是有效和高效利用大数据的关键

  • ?

    解密大数据——大数据能干什么

    Zou

    展开

    大数据时代已经来临,它将在众多领域掀起变革的巨浪。

    因此,针对不同领域的大数据应用模式、商业模式研究将是大数据产业健康发展的关键。我们相信,在国家的统筹规划与支持下,通过各地方政府因地制宜制定大数据产业发展策略,通过国内外IT龙头企业以及众多创新企业的积极参与,大数据产业未来发展前景十分广阔。

    大数据的价值体现在以下几个方面:

    1)对大量消费者的消费信息进行收集、整理,利用大数据进行精准营销;

    2)中小企业可以利用大数据做转型;

    3) 在互联网压力之下传统企业需要充分利用大数据的价值

    大数据,互联网时代新风口

    在这个硬件快速发展的时代,困扰应用开发者的一个重要问题就是如何在功率、覆盖范围、传输速率和成本之间找到那个微妙的平衡点。企业组织利用相关数据和分析可以帮助它们降低成本、提高效率、开发新产品、做出更明智的业务决策等等。例如,通过结合大数据和高性能的分析,来解决实际生活中的某些问题。

    大数据可以用来干什么

    1)及时解析故障、问题和缺陷的根源,每年可能为企业节省数十亿美元。

    2)为成千上万的车辆规划实时交通路线,躲避拥堵。

    3)分析消费信息,以利润最大化为目标来定价和清理库存。

    4)根据客户的购买习惯,为其推送他可能感兴趣的优惠信息。

    5)从大量客户中快速识别出金牌客户。

    利用大数据精准营销

    大数据就是互联网发展到现今阶段的一种表象或特征而已,没有必要神话它或对它保持敬畏之心,在以云计算为代表的技术创新大幕的衬托下,这些原本很难收集和使用的数据开始容易被利用起来了,通过各行各业的不断创新,大数据会逐步为人类创造更多的价值。

  • ?

    胡小明:政府大数据应用效益反省

    沧颜

    展开

    胡小明,中国信息协会常务副会长,原国家信息中心副主任。本文经作者授权发布。

    一、政府大数据应用效益难题

    1.缺少利用大数据决策的成功案例

    在智慧城市建设中,以支持政府决策为名的大数据中心建设如火如荼,但利用大数据改进决策的成功案例却鲜有,与大数据中心的投资不成比例,令人质疑大数据中心遍地开花模式的合理性。

    2.行政推动大数据应用效果不好

    大数据应用本是一个经济学问题,国内大数据应用却太行政化了,地区之间的大数据应用评比给地方政府很大的压力,为了争取好的名次,只能为大数据而大数据,使大数据应用背离了实事求是的目标,大数据已沦为某些地方政府自我宣传的招牌,离实际业务需求渐行渐远。

    3.大数据概念混乱影响了常规数据管理

    大数据最初的概念是指"现有技术处理不了的大规模数据",为了更多利用大数据的优惠政策,大数据概念被人为的扩展了,认为政府数据集中起来都是大数据,一些地方政府成立大数据局就包含政府所有的数据管理,大数据概念的扩展造成应用的混乱,传统有效的数据管理被忽视。大数据应用需要因地制宜,中小城市做好传统数据整合管理是第一位的,并不都需要推行大数据应用,更不都需要建大数据中心,大数据概念的混乱阻碍各地政府实事求是地解决本地区的数据管理问题。

    4.大数据理念需要反思

    过度宣传大数据作用必然会形成迷信,以为大数据无所不能,该迷信只会增加盲目建设的浪费,前些年为信息共享而共享的浪费已是前车之鉴,大数据应用正在蹈其覆辙,为大数据而大数据的做法正在蔓延,大数据应用有价值亦有边界,超越边界推行必然适得其反,大数据应用理念需要反思。

    二、政府大数据分析应用常见困难

    1.找不到适合的大数据资源

    大数据分析研究首要的问题是大数据从哪里来?虽然大数据中心存有不少数据,但适合解决领导急需问题的数据缺之又缺,不用的时候数据却多之又多,大数据应用是对业务积累数据的再利用,不像统计调查可以根据需要进行调查设计,因此缺乏适用的数据经常是大数据决策应用的常态。

    2.大数据分析对应不上领导的需求

    数据专家利用大数据中心的资源也能够分析出一些结论,但是这些结论业务部门早已知道,即使一些有价值的成果也会因与领导层当时的关注点不合拍而被冷落。政府工作有自己的优先级,领导层不可能放下重要的工作去落实专家提出的建议,数据导向产生的分析成果很难与领导注意力的优先级合拍。

    3.数据挖掘因人而异不可复制

    从大数据中提取信息不是IT技术自己能完成的工作,计算机并没有信息抽象能力,这种能力专家才有,同样的数据不同人看到的信息是不一样的,同样的信息决策分析的结论也不相同,信息提取与决策分析依赖于专家的智慧,这种认知决策的过程IT难以复制,难以形成规模,难以形成稳定的效益。

    4.决策的不确定性超出IT能力

    利用大数据改进决策的难题是决策本身的不确定性。确定性问题的信息是完备的,IT处理只是一种计算,信息技术很容易发挥其优势;但是信息技术不会处理政府决策不确定性问题,这是人脑擅长的领域,解决此类问题的信息和分析能力主要来自决策者的头脑。

    决策问题的不确定性是大数据决策应用效益不好的根本原因。

    三、流行的大数据应用观点的片面性

    1.大数据作用不只是改进决策

    流行的大数据观点将政府大数据应用局限于改进决策,改进决策固然重要,但这并不是信息技术擅长的领域,信息技术擅长的领域是在数据层次上的操作,而不是在信息层次上分析。

    政府数据更大的作用是提高政府公共服务的效率,政府提倡的"只跑一次"、"一号、一窗、一网"式服务都是数据层次上的大数据应用,应用并不是改进决策而是提高服务效率,是公众最能够产生获得感的领域。

    2.对大数据的局限性缺乏认识

    流行观念认为科学决策依赖的只是数据,数据越多信息越多,决策越正确,大数据将成为获取信息的主渠道,政府决策可以建立在大数据基础之上。然而实际情况并非如此,政府决策信息来自诸多方面,不只是数字化信息,很多重要的信息难以数字化,决策者需要综合考虑,大数据产生于相对狭窄的业务领域,适合于具体业务的改进,并不适合政府的宏观决策。

    3.并非所有数据都是资源

    "数据都是资源"的观念是错误的,数据是否资源要由使用者因具体环境而定,正是在"数据都是资源"的误导下,一些大数据中心积极囤积数据,以囤积的数据规模显示大数据工作的成绩,使许多数据中心堆满大量数据垃圾,笔者认为大数据中心应当以应用为导向,整合有用数据,清理无用数据,数据使用效益会更好。

    4.仅靠大数据不能实现科学决策

    过度的大数据宣传已形成乌托邦式梦想,以为只要有充分的大数据资源就可以实现政府的科学决策,就可以建设完备的城市大脑,实现政府决策的科学化、智能化,建成智慧政府。其实大数据资源有其优点也有其片面性,大数据的规模是以其关注面的狭窄性为代价的,政府决策需要全面均衡,仅靠大数据资源是做不到的。况且对于不确定性问题的很多信息是不可预测的,靠大数据自动决策没有可行性。

    四、企业大数据业务的另类思路

    1.企业大数据应用成为流程型服务

    企业大数据应用与政府有很大不同,企业是效益导向的,成功的大数据应用首先是一项流程型服务业务,如网上搜索、地址导航、网上支付、电子商务、摩拜单车、移动通信等,企业的大数据业务被设计为长远的可持续业务,惟此才能有更大的效益和更大的社会影响力,才能建立起公众的信任,流程型服务业务本身是核心的大数据业务,大数据分析是辅助性业务。

    2.直接处理实时数据

    企业的大数据业务核心是直接利用实时数据进行操作,移动通信的实时数据是为了联通基站以便完成通信,网上支付利用实时数据是为了完成准确的支付,搜索服务利用客户发来的搜索要求进行查询,总之,这些大数据服务业务是直接使用业务流实时产生的数据进行操作,活跃的大数据业务建立在实时数据的基础之上,对沉淀的业务数据的分析研究只是为了改进主流业务,如亚马逊利用历史数据分析向用户推荐新书。

    3.排除人脑参与的智能系统会更快

    在企业流程化的业务中,全过程是智能化自动化处理,流程化业务是数据层次上的业务,没有人脑的参与没有信息抽象的过程,排除人脑的参与是提高系统运行效率的关键,也是保证服务结果一致性的关键。人脑直接参与业务流程不仅会拖延业务效率还会造成业务的中断。政府利用大数据分析决策是信息层次上的业务,无法避免人脑参与,因而无法形成连续性服务业务,效率不可能高。

    4.大数据业务的两个层次

    企业的大数据应用分两个层次进行,一个是数据层次上的应用,系统直接使用实时数据进行操作处理,系统是流程型自动运行的,直接对外服务。这是企业的主营业务,效益由该业务产生。例如移动通信的主营业务就是实现用户的通信服务。

    企业大数据业务的另一个层次是信息层次上的大数据应用,其使用的是流程型业务积累下来的数据,以数据挖掘、数据分析获取数据集中包含的信息来改进主营业务的效率。这是在信息层次上的业务,是业务数据的再利用。通常信息层次上的大数据分析业务是公司的辅助性业务。对移动通信业务积累的数据进行分析,挖掘出用户的需求特点,向用户推荐套餐,增加公司收益。

    五、"互联网+"都是大数据业务

    1.效率来自组织化,互联网重组世界

    城市提高生产力的基本措施是推动社会经济合作的组织化,效率来源于更好的资源配置与业务的合作。有效的合作关系沉淀下来就成为相对稳定的组织,城市生产力大发展是不断组织化的结果,互联网是优化重组的新式武器,近几十年全球生产力大发展主要来自互联网对社会组织化的贡献。

    2.信息技术推动万事万物的连接

    社会生产力的重组与合作包括人与人、人与物、物与物的连接与重组,重组是提高效率的主要渠道,信息技术是生产资源组织的通用工具。信息技术之前的自动化技术不规范,它们是利用物理、化学、机械等机理专门设计的,设计复杂且难以规范化,使得自动化推广复制异常困难,信息技术的出现把自动化设计变成硬件基础与软件开发两大过程,极大提高自动化开发的效率,带来创新的繁荣,信息技术成为实现事物重组的核心工具。

    3.数字化设备之间靠数据实现连接

    信息技术对物体的连接需要被连接的物体实现数字化,物体需要装上芯片,实现数字化,能够理解数字信号。信息技术只能连接已被数字化的物体,摩尔定律的伟大贡献在于使万事万物数字化的成本降到几乎为零,数以亿计的芯片、传感器、移动手机都能够通过网络与数据进行重组,数字化设备靠传递数据实现连接,大规模数字化设施的连接构成大数据爆炸的物理基础。

    大规模数字化设施的有效连接依赖的就是数据,"互联网+"连接的设施规模越来越大,发送与接收的数据量越来越多,互联网连接设施爆炸使连接交换的数据也随之爆炸性增长,因此所有"互联网+"业务都是大数据业务。

    六、拓展政府大数据应用理念创造效益

    1.大数据的应用不再局限改进决策

    政府要从认知型大数据应用理念中解脱出来,从更广阔的大数据视野出发,更开放更创新看待大数据应用。政府大数据应用既要为领导决策服务,又要为基层工作人员改进操作服务,通过数据挖掘、统计分析为领导层提供决策建议是一种重要的大数据应用,认真整合微观的数据,为基层业务服务,提高公共服务效率同样是重要的大数据应用,而且是更有效的大数据应用。

    2.面向基层确定性业务应用易有成效

    大多数政府建立的数据应用系统依然把对上服务作为重点,对基层服务重视不够,当前对基层的服务更为迫切,基层业务工作的确定性更强,更容易取得效益,对基层服务也是信息技术更容易发挥作用的领域,将政府大数据服务向基层倾斜,对提高数据操作效率为主的应用更容易产生效果。

    目前政府对公众服务碰到的问题是效率低,主要原因是对当事人办事的相关资料组织的不好,连不上、调不出且把麻烦推给办事人,数据整合可以改善这种服务,让用户"只跑一次"是数据层次上的大数据应用,也是更容易见成效的大数据应用。

    3.城市大脑更适合做小脑型业务

    城市大脑由大数据中心及城市管理运行中心构成,人们期望利用大数据来改善城市的自动化管理。城市的管理很复杂,有确定性任务与不确定性任务,信息技术并不都能胜任,有些任务必须由专家来承担。

    不确定性的工作是信息层次上的业务,无法用自动化程序来胜任,这些工作主要还是要靠人脑来完成,称之为大脑型业务,需要组织专家来承担。

    确定性的业务是在数据层次上操作,可以建成智能化的业务流程,让信息技术直接对数据进行处理,此类业务不需要对数据进行信息抽象,不需要形成概念,称之为小脑型业务。

    信息系统适合做的是小脑型业务,城市大数据中心和城市运行中心要定位在小脑型业务上才更容易看到成效。

    4.推动公共服务智能化、业务分析专业化

    一切智能化业务都是大数据业务,政府大数据业务的重要方向是推动公共服务的智能化,政府应当学习企业的服务模式,充分利用企业对外服务的经验改进政府工作,通过政企合作将政府的服务能力达到企业级的服务水平。

    政府的大数据分析研究工作要以政府专业化部门为中心,越是专业化的部门,大数据分析越能够发挥作用,专业化的大数据搜集更容易做,专业化的大数据中心更容易生存。

    七、政府大数据应用趋势

    1.政府公共服务效率全面提升

    政府提出的口号"只跑一次"、"一号、一窗、一网"目标明确易于检查,提高数据处理效率的业务是确定性的任务,只要认真做好数据整合,目标容易实现,提高公共服务的用户满意度是国家推动的重点,各地区都会努力跟进,全国公共服务的效率会迅速提高,跨地区的公共服务会逐渐增加。

    2.政府公共服务向智能化发展

    政府公共服务进一步提高是向智能化服务发展,在大数据、云计算、物联网、人工智能技术大发展的环境下,智能化系统建设会越来越快,IT企业将在智能化方面开展竞争,将更多进入政府系统的长期运行维护领域,政府公共服务业务的智能化是最容易产生效果的领域,公共服务智能化最能够激发公众的获得感,会成为智慧城市亮点,竞争必将全面提高公共服务智能化的水平。

    3.大数据分析向专业化、集中化发展

    政府大数据分析主要依赖专家的智慧,专家的稀缺使这项工作无法各地普及,大数据分析研究工作会向专业化、集中化发展,会形成一些高水平的研究机构,承...

  • ?

    2017最新总结政府大数据应用案例及启示

    含雁

    展开

    在我国,政府部门掌握着全社会量最大、最核心的数据。以往地方政府提振经济一般是招房地产、工厂等,随着土地及人口红利殆尽,大数据成为与水电煤等一样重要的生产资料,成为继土地之后政府最重要的资产。了解政府大数据应用的案例和数据价值释放的方法,将有利于激活沉睡的数据,释放政府数据价值。为此我们需要梳理下:

    一、政府有哪些数据资产

    ▊政府拥有或控制,能够给政府组织带来社会或经济利益的数据资源,就是政府数据资产。这主要包括两个方面:

    ○ 一是政府所拥有和管理的数据,如典型的公安、交通、医疗、卫生、就业、社保、地理、文化、教育、科技、环境、金融、统计、气象等数据;

    ○ 二是政府工作开展产生、采集以及因管理服务需求而采集的外部大数据(如互联网舆论数据)。

    ▊从政府“拥有或控制”的角度来讲,政府数据资产大致可分为五类,分别为:

    ○ 政府资源才有权利采集的数据:如资源类、税收类、财政类等;

    ○ 政府资源才有可能汇总或获取的数据:如建设、农业总、工业总等;

    ○ 因政府发起才产生的数据:如城市基建、交通基建、医院、教育师资等;

    ○ 政府的监管职责所拥有的大量数据:如人口普查、食品药品管理等;

    ○ 政府提供的服务的客户级消费和档案数据:如社保、水电、教育信息、医疗信息、交通路况、公安等。

    二、地方政府大数据应用案例

    政府在建设和应用大数据的过程中有独特的优势。政府部门不仅掌握着80%有价值的数据,而且能最大限度调动社会资源,能整合推动大数据发展的各方力量。政府作为大数据建设和应用的主导力量,积极应用大数据决定着能否发挥大数据隐含的战略价值,对行业来说具有引领性作用。以下笔者按部收集了一些大数据的应用案例:

    1、工商部门

    ○ 企业异常行为监测预警

    重庆依托大数据资源,在全国率先探索建立注册登记监测预警机制,对市场准入中的外地异常投资、行业异常变动、设立异常集中等异常情形进行监控,对风险隐患提前介入、先行处置,有效遏制了虚假注册、非法集资等违法行为。

    同时,积极推动法人数据库与地理空间数据库融合运用,建设市场主体分类监管平台,将市场主体精确定位到电子地图的监管网格上,并集成基本信息、监管信息和信用信息。平台根据数据模型,自动评定市场主体的监管等级,提示监管人员采取分类监管措施,有效提升了监管的针对性和科学性。

    ○ 中小企业大数据服务平台精准服务企业

    山西省中小企业产业信息大数据应用服务平台依托大数据、云计算和垂直搜索引擎等技术,为全省中小企业提供产业动态、供需情报、会展情报、行业龙头、投资情报、专利情报、海关情报、招投标情报、行业研报、行业数据等基础性情报信息,还可以根据企业的不同需求提供包括消费者情报、竞争者情报、合作者情报、生产类情报、销售类情报等个性化定制情报,为中小微企业全面提升竞争力提供数据信息支持。

    2、规划部门

    ○ 运营商大数据助力城市规划

    重庆市綦江区规划局委托上海复旦规划建筑设计研究院及重庆移动共同开展,利用重庆移动相关数据及綦江相关统计年鉴数据对綦江中心城区人口、住宅、商业、公共服务配套等进行大数据分析,量化綦江房地产库存,从城市建设角度提出改进策略,完善城市功能,促进城市健康发展。

    据介绍,经过多次尝试,重庆移动率先将手机信令数据引入城市规划,通过建立人口迁移模型,提供2013-2015年期间綦江区人口的流入流出情况(包括国际、省际、市内流动),建立职住模型提供綦江区居住及工作人口的分布,通过监控道路周边基站人口流动情况,反应綦江区全天24小时道路人口流动情况,识别出各个时段道路堵点。

    3、交通部门

    ○ 大数据助力杭州“治堵”

    2016年10月,杭州市政府联合阿里云公布了一项计划:为这座城市安装一个人工智能中枢——杭州城市数据大脑。城市大脑的内核将采用阿里云ET人工智能技术,可以对整个城市进行全局实时分析,自动调配公共资源,修正城市运行中的问题,并最终进化成为能够治理城市的超级人工智能。“缓解交通堵塞”是城市大脑的首个尝试,并已在萧山区市心路投入使用,部分路段车辆通行速度提升了11%。

    4、教育部门

    ○ 徐州市教育局利用大数据改善教学体验

    徐州市教育局实施“教育大数据分析研究”,旨在应用数据挖掘和学习分析工具,在网络学习和面对面学习融合的混合式学习方式下,实现教育大数据的获取、存储、管理和分析,为教师教学方式构建全新的评价体系,改善教与学的体验。此项工作需要在前期工作的基础上,利用中央电化教育馆掌握的数据资料、指标体系和分析工具进行数据挖掘和分析,构建统一的教学行为数据仓库,对目前的教学行为趋势进行预测,为 “徐州市信息技术支持下的学讲课堂”提供高水平的服务,并能提供随教学改革发展一直跟进、持续更新完善的系统和应用服务。

    5、医疗卫生部门

    ○ 微软助上海市浦东新区卫生局更加智能化

    作为上海市公共卫生的主导部门,浦东新区卫生局在微软SQL Server 2012的帮助之下,积极利用大数据,推动卫生医疗信息化走上新的高度:公共卫生部门可通过覆盖区域的居民健康档案和电子病历数据库,快速检测传染病,进行全面的疫情监测,并通过集成疾病监测和响应程序,快速进行响应。与此同时,得益于非结构化数据的分析能力的日益加强,大数据分析技术也使得临床决策支持系统更智能。

    6、气象部门

    ○ 气象数据为理性救灾指明道路

    大数据对地震等“天灾”救援已经开始发挥重要作用,一旦发生自然灾害,通过大数据技术将为“理性救灾”指明道路。抓取气象局、地震局的气象历史数据、星云图变化历史数据,以及城建局、规划局等的城市规划、房屋结构数据等数据源,通过构建大气运动规律评估模型、气象变化关联性分析等路径,精准地预测气象变化,寻找最佳的解决方案,规划应急、救灾工作。

    7、环保部门

    ○ 环保部用大数据预测雾霾

    微软在利用城市计算预测空气质量上,已推出 Urban Air 系统,通过大数据来监测和预报细粒度空气质量,该服务覆盖了中国的 300 多个城市,并被中国环境保护部采用。同时,微软也已经和部分其他中国政府机构签约,为不同的城市和地区提供所需的服务。该技术可以对京津冀、长三角、珠三角、成渝城市群以及单独的城市进行未来 48 小时的空气质量预测。与传统模拟空气质量不同,大数据预测空气质量依靠的是基于多源数据融合的机器学习方法,也就是说,空气质量的预测不仅仅看空气质量数据,还要看与之相关的气象数据、交通流量数据、厂矿数据、城市路网结构等不同领域的数据,不同领域的数据互相叠加,相互补强,从而预测空气质量状况。

    8、文化旅游部门

    ○ 山东省用旅游大数据带动农村经济发展

    山东省将省内公安系统、交通系统、统计系统、环保系统、通讯系统等十余个涉旅行业部门联合,整合全省旅游行业的要素数据,开发完成旅游产业运行监测管理服务平台。通过管理分析旅游大数据,山东省提升景区管理水平,挖掘省内旅游资源,开发更多符合游客需求的景点以及“农家乐”等乡村旅游服务,进而带动景区特别是农村地区的经济发展。

    9、政法部门

    ○ 济南公安用大数据提升警务工作能力

    浪潮在帮助济南公安局在搭建云数据中心的基础上构建了大数据平台,以开展行为轨迹分析、社会关系分析、生物特征识别、音视频识别、银行电信诈骗行为分析、舆情分析等多种大数据研判手段的应用,为指挥决策、各警种情报分析、研判提供支持,做到围绕治安焦点能够快速精确定位、及时全面掌握信息、科学指挥调度警力和社会安保力量迅速解决问题。

    ○ 上海利用大数据助百姓找律师

    2016年底,上海市律师协会开发的上海市律师行业信用信息服务平台上线,整合上海市司法局法律服务行业信息平台、上海市人民法院律师诉讼服务平台、上海市人民政府公共信息信用平台三大权威数据来源,通过对法院已经公开的裁判文书数据进行大数据分析,自动梳理出律师以往诉讼代理情况,方便百姓、企业以及政府机构等查找律师,促进法律服务信息透明对称,推动法律服务市场良性竞争。

    信用信息数据库中包括基本信息、执业信息、奖惩信息、业务信息和社会服务五大方面。平台信息分为法定公开、行业公开、自愿公开三种,并对信用主体提供了多角度的信息展示。对于信用主体自行申报的信息,上海律协在形式审查后会标注明确的告知事项,向社会公布,接受社会的监督。

    10、农业部门

    ○ 农业大数据在三农中的应用

    阡陌科技以积累的涉农基础数据为起点,开展农村普惠金融服务和供应链金融服务,以一个大数据平台加两个应用系统(农资经销商系统和新农人系统),帮助新型经营主体、农资经销商解决规模、资金和效率三大难题,并藉由此收集农业生产中的动态数据,将服务延伸到农业全产业链中的其他七大市场――农业金融,农产品流通,农机服务,农技服务,农事服务,土地流转服务,农业物联网,打造农业大数据生态链闭环。

    ○ 美国企业:大数据预测农作物生长

    美国在农业大数据领域不乏创新公司,2006年,两名前Google员工创立了 Climate Corporation。 该公司通过海量公开的国家气象服务数据,重点研究美国全国范围内热量与降水类型。 通过这些数据,与美国农业部积累的60年农作物产量数据进行分析,从而预测玉米、大豆、小麦等农作物生长,同时,通过实时气象观察与跟踪,公司在线上向农民销售天气保险产品给农民。从2007年获得天使投资开始,Climate Corporation持续获得了17个投资人4轮1.08亿美元的投资,公司2013年被著名农业公司孟山都亿9.3亿美元的价格收购。

    11、财税部门

    ○ 大数据预测股价涨跌

    2011 年,英国对冲基金Derwent Capital Markets 建立了规模为4000 万美金的对冲基金,该基金是首家基于社交网络的对冲基金,该基金通过从Twitter 的数据内容来感知市场情绪,从而进行投资。无独有偶,美国加州大学河滨分校也公布了一项通过对Twitter 消息进行分析从而预测股票涨跌的研究报告。

    ○ 无锡地方税务局应用大数据进行税收监管

    无锡地税局自2013年起就着手研究大数据时代对税收管理发展带来的影响,探讨大数据技术应用于税收风险管理的前景,并建设了“无锡地税涉税情报管理平台”作为信息化支撑,着重研究行业、事项和大企业等三类税收管理领域,通过从互联网上收集与纳税人有关的各类数据,经处理后与征管系统中的信息进行分析、比对,产生风险疑点实施推送应对。

    值得注意的是,相比国内,美国政府的税务大数据应用场景要具体得多。2012年起,美国联邦及州的税务部门即开始尝试应用大数据技术寻找偷税、骗税行为的共同特征来打击逃税。美国国内收入署(IRS)对纳税人申报信息与各种公开信息记录进行比较,特别针对申报表中的税前列支内容、退税信息创建了大量算法,寻找其中的疑点。仅就2011年度纳税申报,即发现36亿美元的虚假税前列支,并发现超过3%的退税存在欺诈行为。

    ○ 金融证券

    针对金融证券领域高频算法交易、数据综合分析、违规操作监管、金融研究报告交易、金融数据服务等方面的需求,建设金融大数据分析与智能决策支持系统。汇聚融合国内外证券及相关衍生品市场的高通量交易数据,整合行业媒体实时资讯与舆情,为相关机构提供金融监管和风险管控等智能决策支持,为投资者提供金融市场数据和经济数据、投资方向等个性化的金融数据服务。

    12、人社部门

    ○ 镇江市打造劳动保障监察“大数据” 维权监管体系

    江苏省镇江市人社局牵头整合就业、社保、监察、人才培训及税务、工商、民政、公安等数据资源,形成全市“信息共享、网格联动、预防处置、指挥调度”劳动关系智能化预警监控“信息链”。通过信息数据库的比对,市人社部门可以第一时间发现并纠正企业劳动保障违法行为,改变了以往单靠劳动保障监察部门处理案件的被动局面,促进了全市劳动关系的和谐稳定。

    三、政府大数据应用启示

    数据是基础性资源,也是重要生产要素。如何管理政府大数据资产,我国各部门还缺乏统一 标准,如何利用大数据进行精细分析仍处于探索起步阶段,应用分散。分析我国政府大数据应用的现状和特点,借鉴国外有益经验,推动我国政府大数据应用,应着重从以下几个方面开展:

    1.建设政府数据开放平台,做好政府数据资产整合与管理

    政府数据资产到底有多大价值?按照麦肯锡给出的测算方法,北京市政府部门数据开放的潜在价值可达 3000亿—5000 亿元,按此推算,全国政府部门数据开放的潜在价值可达 10 万亿—15 万亿元。

    鉴于政府数...

  • ?

    大数据时代:什么是数据分析的灵魂

    浮浅

    展开

    在数据“爆炸”的时代,大数据常常被寄予厚望。到底,什么样的数据才算大数据,怎样才能用好大数据,传统统计学是否还有用武之地?

    让大数据区别于数据的,是其海量积累、高增长率和多样性

    什么是数据?数据(data)在拉丁文里是“已知”的意思,在英文中的一个解释是“一组事实的集合,从中可以分析出结论”。笼统地说,凡是用某种载体记录下来的、能反映自然界和人类社会某种信息的,就可称之为数据。古人“结绳记事”,打了结的绳子就是数据。步入现代社会,信息的种类和数量越来越丰富,载体也越来越多。数字是数据,文字是数据,图像、音频、视频等都是数据。

    什么是大数据呢?量的增多,是人们对大数据的第一个认识。随着科技发展,各个领域的数据量都在迅猛增长。有研究发现,近年来,数字数据的数量每3年多就会翻一番。

    大数据区别于数据,还在于数据的多样性。正如高德纳咨询公司研究报告指出的,数据的爆炸是三维的、立体的。所谓的三维,除了指数据量快速增大外,还指数据增长速度的加快,以及数据的多样性,即数据的来源、种类不断增加。

    从数据到大数据,不仅是量的积累,更是质的飞跃。海量的、不同来源、不同形式、包含不同信息的数据可以容易地被整合、分析,原本孤立的数据变得互相联通。这使得人们通过数据分析,能发现小数据时代很难发现的新知识,创造新的价值。

    通过数据来研究规律、发现规律,贯穿了人类社会发展的始终。人类科学发展史上的不少进步都和数据采集分析直接相关,例如现代医学流行病学的开端。伦敦1854年发生了大规模的霍乱,很长时间没有办法控制。一位医师用标点地图的方法研究了当地水井分布和霍乱患者分布之间的关系,发现有一口水井周围,霍乱患病率明显较高,借此找到了霍乱暴发的原因:一口被污染的水井。关闭这口水井之后,霍乱的发病率明显下降。这种方法,充分展示了数据的力量。

    本质上说,许多科学活动都是数据挖掘,不是从预先设定好的理论或者原理出发,通过演绎来研究问题,而是从数据本身出发通过归纳来总结规律。近现代以来,随着我们面临的问题变得越来越复杂,通过演绎的方式来研究问题常常变得很困难。这就使得数据归纳的方法变得越来越重要,数据的重要性也越发凸显出来。

    大数据是非竞争性资源,有助于政府科学决策、商家精准营销

    大数据时代,数据的重要作用更加凸显,许多国家都把大数据提升到国家战略的高度。

    政府合理利用大数据,引导决策的将是基于实证的事实,政府会更有预见性、更加负责、更加开放。中国古代治国就已经有重数据的思想,如商鞅提出,“强国知十三数……欲强国,不知国十三数,地虽利,民虽众,国愈弱至削”。大数据时代,循“数”治国将更加有效。小数据时代,政府做决策更多依凭经验和局部数据,难免头痛医头、脚痛医脚。比如,交通堵塞就多修路。大数据时代,政府做决策能够从粗放型转向集约型。路堵了,利用大数据分析,可以得知哪一时间、哪一地段最容易堵,或在这一地段附近多修路,或提前预警引导居民合理安排出行,实现对交通流的最佳配置和控制,改善交通。

    对于商家来说,大数据使精准营销成为可能。一个有趣的故事,是沃尔玛超市的“啤酒、尿布”现象。沃尔玛超市分析销售数据时发现,顾客消费单上和尿布一起出现次数最多的商品,竟然是啤酒。跟踪调查后发现,有不少年轻爸爸会在买尿布时,顺便买些啤酒喝。沃尔玛发现这一规律后,搭配促销啤酒、尿布,销量大幅增加。大数据时代,每个人都会“自发地”提供数据。我们的各种行为,如点击网页、使用手机、刷卡消费、观看电视、坐地铁出行、驾驶汽车,都会生成数据并被记录下来,我们的性别、职业、喜好、消费能力等信息,都会被商家从中挖掘出来,以分析商机。

    大数据也将使个人受益。从生物学、医学上讲,以前生物学家只是通过对单个或几个基因的操控来观察其对生物体的影响,很难发现整体的关联。现在由于技术的发展,可以分析很多,如遗传信息、全体基因的表达量信息、蛋白质族谱信息、全基因组甲基化信息、表观遗传信息等。同时还有个人健康指标、病历、药物反应等数据。如果真能达成生物学上多维多向数据的有机融合,就能够把个人完整地描述出来,从而实现精准医疗的目的。

    大数据时代,审核数据的真实性也有了更有效的手段。大数据的特征之一是多样性,不同来源、不同维度的数据之间存在一定的关联度,可以交叉验证。例如,某地的工业产值虚报了一倍,但用电量和能耗却没有达到相应的规模。这就是数据异常,很容易被系统识别出来。发现异常后,相关部门再进行复核,就能更有针对性地防止、打击数据造假。

    数据是一种资源,但数据又跟煤、石油等物质性资源不一样。物质性资源不可再生,你用多了,别人就用少了,因而很难共享。数据可以重复使用、不断产生新的价值。大数据资源的使用是非恶性竞争的,共享的前提下,更能够制造双赢。从另一个角度来说,数据如果不被融合、联系在一起,也不能称之为大数据。

    大数据不能被直接拿来使用,统计学依然是数据分析的灵魂

    现在社会上有一种流行的说法,认为在大数据时代,“样本=全体”,人们得到的不是抽样数据而是全数据,因而只需要简单地数一数就可以下结论了,复杂的统计学方法可以不再需要了。

    在我看来,这种观点非常错误。首先,大数据告知信息但不解释信息。打个比方说,大数据是“原油”而不是“汽油”,不能被直接拿来使用。就像股票市场,即使把所有的数据都公布出来,不懂的人依然不知道数据代表的信息。大数据时代,统计学依然是数据分析的灵魂。正如加州大学伯克利分校迈克尔·乔丹教授指出的,“没有系统的数据科学作为指导的大数据研究,就如同不利用工程科学的知识来建造桥梁,很多桥梁可能会坍塌,并带来严重的后果。”

    其次,全数据的概念本身很难经得起推敲。全数据,顾名思义就是全部数据。这在某些特定的场合对于某些特定的问题确实可能实现。比如,要比较清华、北大两校同学数学能力整体上哪个更强,可以收集到两校同学高考时的数学成绩作为研究的数据对象。从某种意义上说,这是全数据。但是,并不是说我们有了这个全数据就能很好地回答问题。

    一方面,这个数据虽然是全数据,但仍然具有不确定性。入校时的数学成绩并不一定完全代表学生的数学能力。假如让所有同学重新参加一次高考,几乎每个同学都会有一个新的成绩。分别用这两组全数据去做分析,结论就可能发生变化。另一方面,事物在不断地发展和变化,同学入校时的成绩并不能够代表现在的能力。全体同学的高考成绩数据,仅对于那次考试而言是全数据。“全”是有边界的,超出了边界就不再是全知全能了。事物的发展充满了不确定性,而统计学,既研究如何从数据中把信息和规律提取出来,找出最优化的方案;也研究如何把数据当中的不确定性量化出来。

    所以说,在大数据时代,数据分析的很多根本性问题和小数据时代并没有本质区别。当然,大数据的特点,确实对数据分析提出了全新挑战。例如,许多传统统计方法应用到大数据上,巨大计算量和存储量往往使其难以承受;对结构复杂、来源多样的数据,如何建立有效的统计学模型也需要新的探索和尝试。对于新时代的数据科学而言,这些挑战也同时意味着巨大的机遇,有可能会产生新的思想、方法和技术。

    广州四方传媒股份有限公司,为众多客户提供大数据精准营销服务

       网址:http://sefve/

  • ?

    跟省长一起学法:政府能用互联网大数据做什么事?

    程双双

    展开

    互联网大数据时代的到来,已成为人类不可阻挡的趋势。当下,互联网大数据正悄悄包围着我们,不仅给人们带来便利和机遇,而且也日益影响着经济社会发展和政府的治理。它犹如一座“富矿”,蕴藏着巨大的价值。

    那么,如何利用好互联网大数据这座“富矿”服务于法治政府建设?它的正确打开方式是什么?9月28日,在省委副书记、省长尹力主持召开的省政府常务会议上,西南财经大学教授唐清利讲解了互联网大数据时代的法治政府建设有关内容。

    现状:网民规模大 政府必须拥抱互联网

    互联网时代的法治政府建设就是充分利用新一代互联网技术,充分运用互联网思维与方法论,加快转变政府职能,加快改革治理方式,加快集聚治理资源,加快创新治理格局,加快保障信息安全……唐清利教授说如何在“十三五”期间,顺应互联网时代引起的人类生产生活方式重大变革,抓住机遇,迎接挑战,为法治政府建设装上“互联网+”的创新发展引擎,任重道远,意义重大。

    在这里,我们先跟随唐清利教授来看一组数据:截至2018年6月30日,我国网民规模达8.02亿,互联网普及率为57.7%。如此庞大的规模,就要求政府必须拥抱互联网,改变自己的行为方式,借助法治的互联网建成法治政府。

    唐清利教授指出,当前各地各部门都把“一张网一个中心一朵云”作为推进政务信息化建设的重点,确定了时间表和路线图。但是,法治政府建设不仅在于使用互联网大数据,更是借助互联网大数据实现法治。

    要求:大数据背景下政府改革势在必行

    唐清利教授介绍,互联网时代的创新性理念、元素、结构、技术和基础已成为国家战略行动的重要方式,他认为“互联网+法治政府”将有力地推动法治政府在观念、思维、制度、结构和行动方面发生革命性的变革。主要体现在四个方面:

    一是理念基础的转变,“互联网+法治政府”具有去中心化、开放性、自治性等特征。

    二是权力结构的重塑,“互联网+”时代将会在很大程度上重塑政府权力结构,从原有的以行政权为中心、以管理为中心的对抗性权力关系结构,转变成为以相对人为中心、以服务为中心的合作性共治的关系结构。

    三是组织结构变革,“互联网+法治政府”的组织结构将呈现扁平化和多元化。

    四是进入平台治理时代,“互联网+法治政府”的平台特征是“开放互动一体化”,“互联网+法治政府”是一个多元参与协同共治的治理模式,要突破市场和政府二元对立和单一的主导模式。

    而基于互联网大数据时代法治政府建设的趋势和特征,唐清利教授认为,互联网时代,信息数据从封闭走向开放,人们从被动走向主动,任何行政主体之间都可以互联互通和对话,以至于不同行政主体可以直接获取自己所需信息数据,直抵最基础、最原始的数据和事实真相,这就打破传统管理和运行模式。因此,在大数据背景下,迫切需要一个规范的、开放的、高效的、诚信的政府,需要一个扁平化、反应灵敏、高度融合的政府,政府改革势在必行。

    对策:利用大数据提升决策、管理、服务能力

    说一千道一万,互联网大数据再好作用再大,利用得好才是真的好。在互联网大数据背景下,运用大数据完善社会治理、提升政府服务能力正成为趋势。那么,四川该如何运用大数据助推法治政府建设?唐清利教授梳理出了四个方面对策措施:

    加快推进体制机制改革──

    一是推进行政体制改革。“放管服”改革实质是政府与公民对公共生活的合作治理,因此 “放管服”改革需重视网络民意,引导网络舆论,建立公众参与治理机制,用互联网带动法治政府的建设。

    二是健全行政法律责任追究制度,构建责任政府。为建设法治政府、构建法治四川,必须进一步健全行政法律责任追究制度,明确行政法律责任范围和责任对象、责任追究主体和责任追究程序,维护社会公正,促进社会稳定与和谐。

    三是健全政府解决纠纷机制。必须整合四川各级政府解决纠纷机制,充分发挥法治功能,通过互联网进行信访,及时公开信息,让公民足不出户也可以解决纠纷。

    四是立法者要从做“秩序的维护者”的理想中超脱出来,做专业的观察者。

    强化政府顶层设计──

    一是树立大数据的战略思维,把行政管理和公共服务做到极致,让数据为老百姓“跑腿办事”,让数据为政府决策和精细化管理服务;二是建立大数据时代法治政府建设统筹协调机制;三是制定关于推进大数据时代法治政府建设的实施意见;四是探索建立全省统一的政务大数据平台,汇集、存储、共享、开放公共数据及其他数据,推动政府数据整合和管理,不断提升政府治理能力和水平。

    利用大数据不断提升决策、管理、服务能力──

    一是运用大数据提高行政决策水平。二是运用大数据促进政府治理的精细化、人性化。树立“人在干、数在转、云在算”意识,实现行政权力和公共服务网上运行、网上共享、网上互认。三是实行精细化立法,从源头上规范行政权力实施主体、条件、标准、程序及期限等,不断提高政府履职能力和水平。

    将互联网社会监督纳入法治化轨道──

    互联网提供了一种更为直接、快捷的监督渠道,扩展了公民监督的广度和深度,使公民能充分发挥其民主监督的主体地位。但是也要依法治的思维和方式对待互联网监督,必须树立“司法最终裁判”的法治原则,完善互联网行业自律规则、执法规范、管理制度,实现涵盖互联网在内的全面法治。同时,互联网时代大数据平台对于安全稳定和社会治理具有的影响极大,必须让其承担更多与政府合作的监管责任。

政府利用大数据分析可以什么

所有视频需要登录后,才能观看

请先登录您的帐号,即可完整播放,如果您尚未注册帐号,请先点击注册。

img

在线咨询

建站在线咨询

img

微信咨询

扫一扫添加
动力姐姐微信

img
img

TOP