本报讯 （记者 郑腾 赵锦飞 朱海华 通讯员 高德运） 18日，光泽县审计局办公室，电脑屏幕停留在“光泽县自然资源审计系统”页面，各乡镇林业、水资源、土地、生态红线、大气等指标一目了然，从变化趋势分析图、审计对比分析图，可以看出一段时间以来的各生态指标变化。

光泽县人口仅15万，自然资源丰富，森林覆盖率78.85%，111条溪河交织成网。2016年8月，该县试点建立领导干部自然资源资产离任审计制度。当地各部门主要领导及各乡镇主官接受生态审计，审的是土地资源、水资源、森林资源、矿山生态环境治理、大气污染防治等五大类指标在任期内的变化情况。

该县还创立“三表并行”评价法，以自然资源资产管理评价指标完成情况表、自然资源资产管护责任状履行情况表、政策制度落实情况表等“三表”将各项指标细分，并形成《自然资源资产离任审计操作指引》。

生态审计启动两个月，第一份审计报告摆上该县主要领导案头，其中包括6条建议和42项主要问题，这些问题迅速得到整改。一年多以来，该县通过生态审计发现116起违法行为，38名相关人员被追究责任。

要让人信服，数据说话。许多细化指标靠人力一时可能发现不了。去年7月，该县决定建设自然资源大数据平台，通过计算机比对，让数据精细化、可视化，以提升审计质量。自然资源大数据平台去年11月开始试运行。

“以前，拿数据要各个部门跑，不但费时，数据还经常过时。如今，数据平台与各部门对接，实时更新，可随时发现情况。试运行两个月以来，系统稳定。”县审计局局长黄世牛说。

“事还是那些事，现在更看质量。数据动一动，就要小心了。”司前乡乡长高兴有说。司前乡森林覆盖率87.92%，境内有北溪、清溪，为富屯溪上游，现均为一级水质。保证向下游输送一级水质的溪水是重中之重，环保局分别在北溪、清溪设自动监测点，数据实时变动。

为保证数据衔接无缝，审计局与林业、环保、农业、住建、国土等单位建立联动衔接、信息共享机制，每季度举行一次联席会议。

“今年，领导干部离任生态审计全面推开。我们将接受组织部门委托，认真履行职责，时间点以领导干部离任为主，任中也可，以数据说话，争取提前介入，立审立改，促进领导干部以生态视角审视自己的决策行为。”黄世牛说。

版权声明：图片来源于网络，图文无关。如涉及版权问题，请作者持权属证明与本网联系

来源：福建日报

如果您对传统企业互联网转型、大数据、工业4.0等内容的文章、资料、PPT等感兴趣（有提供下载哦~），欢迎关注强企阅闻公众号。

来源／钱塘大数据

在这个用数据说话的时代，能够打动人的往往是用数据说话的理性分析，无论是对于混迹职场的小年轻，还是需要数据进行分析和研究的同学，能够找到合适的数据源都是非常重要的。特别是想要对一个新的领域进行研究和探索，拥有这个领域的数据那都是有十分重要的意义的。

1.－ 国家数据 －

http://data.stats.gov/index.htm

数据来源于中国国家统计局，包含了我国经济民生等多个方面的数据，并且在月度、季度、年度都有覆盖，较为全面和权威，对于社会科学的研究不要太有帮助。最关键的是，网站简洁美观，还有专门的可视化读物。

2.－ CEIC －

http://ceicdata/zh-hans

最完整的一套超过128个国家的经济数据，能够精确查找GDP, CPI, 进口，出口，外资直接投资，零售，销售，以及国际利率等深度数据。其中的“中国经济数据库”收编了300,000多条时间序列数据，数据内容涵盖宏观经济数据、行业经济数据和地区经济数据。

3.－ wind（万得）－

http://wind/

万得被誉为中国的Bloomberg，在金融业有着全面的数据覆盖，金融数据的类目更新非常快，据说很受国内的商业分析者和投资人的亲睐。

4.－ 搜数网 －

http://soshoo/

已加载到搜数网站的统计资料达到7,874本,涵盖1,761,009张统计表格和364,580,479个统计数据，汇集了中国资讯行自92年以来收集的所有统计和调查数据，并提供多样化的搜索功能。

5.－ 中国统计信息网 －

http://tjcn.org/

国家统计局的官方网站，汇集了海量的全国各级政府各年度的国民经济和社会发展统计信息，建立了以统计公报为主，统计年鉴、阶段发展数据、统计分析、经济新闻、主要统计指标排行等。

6.－ 亚马逊aws －

http://aws.amazon/cn/datasets/?nc1=h_ls

来自亚马逊的跨科学云数据平台，包含化学、生物、经济等多个领域的数据集。

7.－ figshare －

https://figshare/

研究成果共享平台，在这里你会发现来自世界的大牛们的研究成果分享，同时get其中的研究数据，内容很有启发性，网站颇具设计感。

8.－ github －

https://github/caesar0301/awesome-public-datasets

如果觉得前面的数据源还不够，github上的大神已经为大家整理好了一个非常全面的数据获取渠道，包含各个细分领域的数据库资源，自然科学和社会科学的覆盖都很全面，简直是做研究和数据分析的利器。

随便上几个图，满满的都是资源啊

免责声明:本公众号所载文章为本公众号原创或根据网络搜集编辑整理，文章版权归原作者所有。如涉及作品内容、版权和其他问题，请与我们联系！ 文章内容为作者独立观点 ，并不代表兮易强企赞同或支持其观点。

本文根据链家赵国贤老师在DataFun Talk数据架构系列活动“海量数据下数据引擎的选择及应用”中所分享的《大数据平台架构从0到1之后》编辑整理而成，在未改变原意的基础上稍做修改。

大数据平台构建方法大同小异，但是平台构建以后也面临很多挑战，在面临这些挑战我们如何去克服、修复它，让平台更好满足用户需求，这就是本次主题的重点。下面是本次分享的内容章节，首先讲一下架构1.0与2.0，两者分别是怎么样的，从1.0到2.0遇到了哪些问题；第二部分讲一下数据平台，都有哪些数据平台，这些数据平台都解决什么问题；第三个介绍下当前比较重要的项目“olap引擎的选型与效果”以及遇到的一些问题；第四个简单讲一下在透明压缩方面的研究。

架构1.0阶段，底层是Hadoop，用来存储数据和分析数据。需要把log数据和事务数据传输到Hadoop平台上，我们使用的是kafka和sqoop进行数据传输。然后在Hadoop平台基础上，通过一个开源的Hive和oozie做一个调度，开发者写Hql来完成业务需求，然后将数据mysql集群或redis集群，上层承接的是一个报表系统。这个需求基本跑了一年，也解决了一些问题。但存在的问题有：（1）架构简单，不易解耦，结合太紧密出现问题需要从底层一直查到上面；（2）平台架构是需求驱动，面临一个需求后需要两周时间来解决问题，有时开发出来运营已经不需要；（3）将大数据工程师做成一个取数工程师，大量时间在获取怎样数据；（4）故障频发，比如Hql跑失败了或者网络延迟没成功，oozie是通过xml配置发布任务，我们解决需要从数据仓库最底层跑到数据仓库最高层，还要重刷msl，花费时间。

面对这些问题我们做了一次架构调整，数据平台分为三层，第一层就是集群层（Cluster），主要是一些开源产品，Hadoop实现分布式存储，资源调度Yarn，计算引擎MapReduce、spark、Presto等，在这些基础上构建数据仓库Hive。还有一些分布式实时数据库HBase还有oozie、sqoop等，这些作用就是做数据存储、计算和调度，另外还有一个数据安全。第二层就是工具链，这一层是一个自研发调度平台，架构1.0用的oozie。基本满足需求有调度分发，监控报警，还有智能调度、依赖触发，后续会详细介绍。出问题后会有一个依赖关系可视化，数据出问题可以很快定位与修复。然后就是Meta（元数据管理平台），数据仓库目前有3万多张表，通过元数据管理平台实现数据仓库数据可视化。还有一个AdHoc，将数据仓库中的表暴露出去，通过平台需求方就可以自主查找自己需要的数据，我只需要优化查询引擎、记录维护、权限控制、限速和分流。最上层将整个大数据的数据抽象为API，分为三个，面向大数据内部的API，面向公司业务API，通用API。大数据内部API可以满足数据平台一些需求，如可视化平台、数据管理平台等，里面有专有API来管理这些API。面向公司业务API，我们是为业务服务的，通过我们的技术让业务产生更多产出，将用户需要的数据API化，通过API获取数据就行。通用API，数据仓库内部的报表都产生一些API，业务需求方根据自己的需求自动组装就OK了。架构2.0基本解决了我们架构1.0解决的问题。

第二部分就简单介绍下平台，第一个是存储层-集群层，解决运维工作，我们基于开源做了一个presto。实习人员经过一两周能适应这个工作，释放了运维的压力，数据量目前有18PB,每天的任务有9万+，平均3-4任务/分钟；第二个就是元数据管理平台，这种表抽象为各个层，分析数据、基础细节数据等抽象，提供一个类似百度的搜索框，通过搜索获得所需数据，这样业务人员能够非常方便的使用我们的数据。它能实现数据地图（数据长怎样，关联关系是怎么样都可以显示出来），数据仓库可视化，管理运维数据，数据资产非常好的管理和运维，将数据开发的工作便捷化、简易化。

第三个数据平台调度系统，数据仓库中的各个层需要流转，数据出现问题后如何去恢复数据。数据调度系统主要的工作有：（1）数据流转调度，可以非常简易的配置出数据的流转调度。（2）依赖触发，充分利用资源，能够让调度任务非常紧凑，能够尽可能快的产出我们的数据。（3）对接多个数据源，需要将多种多样的数据源集成到数据仓库中，如何将sql server数据、Oracle数据等数据导入到数据仓库中，系统能够对接多种数据源，因此我们财务人员、运营人员、业务人员都可以自主将数据接入到数据仓库，然后分析和调度。（4）依赖关系可视化。比如我们有100个任务是关联的，最底层std层有50个任务，中间层有20个任务，如果中间ODS层出问题了，会影响上层依赖层任务，通过可视化就能很方便定位。

除了前面三个平台，还需要一个平台来展示我们的数据，才能向我们的用户显示数据的价值。我们的指标平台支持上卷下钻、多维分析、自助配置报表，统一公司的各个指标。说一下统一公司的各个指标，比如链家场景，比如说一个业绩（一周卖出十套房子，需要提佣），16年我们发现有多个口径，因此通过指标系统将指标统一化，指标都从这里出，可以去做自己的可视化。还有各种财务人员、区长或店长也可以自主从指标平台上配置自己的数据，做自己的desktop，指标系统的后端使用后续讲Kylin的一个多维分析引擎支撑的。

指标平台架构，一个应用的可视化平台肯定需要底层能力的支撑，这次主题也是数据引擎，链家使用的是一个叫kylin的开源数据引擎，可以把数据仓库中的数据通过集群调度写入到HBase中做一个预计算。这样就可以支持指标系统千亿级数据亚秒级的查询，不支持明细查询因为做过预计算。还引入了百度开源的palo，经过优化，通过这样一个架构就满足上层的地动仪、指标平台和权限系统。运营、市场、老板都在用这个指标平台，能够实现多维分析、sql查询接口、超大规模数据集、释放数据的能力以及数据可视化。

我们是需求驱动，每天都会遇到很多需求，数据开发人员就是取出需要的数据。利用adhoc平台将数据从数据仓库中取出，基于这个我们做了一个智能搜索引擎，架构在adhoc上的搜索引擎有很多，比如presto、hive、spark等。用户也不知道该选择那种引擎，他的需求就是尽可能取出自己所需的数据，因此开发智能选择引擎、权限控制，并且能够支撑各种接口、自助查询，这样就基本解决了数据开发的工作。我们自研发了一个queryengine，在底层有presto、sparksql、hive等，queryengine特点就是能够发挥各自引擎的特性，如presto查询快，但是sql支撑能力不强，sparksql同样，在某些特殊sql查询不如hive快，hive就是稳但是慢。queryengine就是智能选择各种引擎，用户把sql提交过来，queryengine判断哪个引擎适合你。如何做的简单介绍下，对sql进行解析成使用的函数、使用的表、需要返回的字段结构，根据各个引擎的能力判断哪个合适。目前还在开发功能就是计费，因为资源是有限的。queryengine支持mysql协议，因为有些用户需要BI能力，需要对返回的数据进行聚合，我们不能开各种各样的BI能力，我们只需满足mysql协议将数据暴露出去，用户只需用其他BI就能使用。

通过架构1.0到架构2.0衍生出很多平台，大架构已经有了，但是遇到的一些问题如何解决。这里分享两个案例，一个是olap引擎的选型与效果，第二个就是为什么要做透明压缩，是如何做的。Rolap引擎基本是基于关系型数据库，基于关系模型实时进行聚合运算，主要通过传统数据库或spqrk sql和presto，spqrk sql和presto是根据数据实时计算；Molap是基于一个预定义模型，预先进行聚合计算，存储汇总结果。先计算好一个立方体，基于立方体做上传下钻，实现由Kylin/Druid，Druid主要是实时接入（Kylin没有），实时将kafka数据用Spark sql做一次计算然后将数据上传上去，可以支持秒级查询；还有一个比较流行的是叫olap，混合多引擎，不同场景路由到不同引擎。

Rolap查询时首先将数据扫描出来，然后进行聚合，通过聚合结果将多个节点数据整合到一个节点上然后返回。优势是支持任何sql查询，因为数据是硬算，使用明细数据，没有数据冗余，一致性非常好，缺点是大数据量或复杂数据量返回慢，因为你是基于明细数据，一条一条数据计算无论如何优化还是会出现瓶颈，并发性很差。

Molap中间会有一个中心立方体cube，在数据仓库通过预计算将数据存储到cube中，通过预聚合存储支持少量计算汇总，为什么少量计算，因为数据都已经预计算好了。优点就是支持超大数据集，快速返回并发高，缺点是不支持明细，需要预先定义维度和指标，适用场景就是能预知查询模式，并发有要求的场景，固化场景可以使用molap。

对于技术选型，当时面临的需求，基本上开源组件有很多，为什么选择kylin，因为支持较高的并发，面对百亿级数据能够支持亚秒级查询，以离线为主，具有一定的灵活性，最好有sql接口，而这些需求刚好kylin能满足。Apache Kylin是一个开源的分布式分析引擎，提供Hadoop之上的SQL查询接口及多维分析能力，以支持超大规模数据，最初由e Bay Inc. 开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。其解决方案就是预先定义维度和指标，预计算cube，存储到hbase中，查询时解析sql路由到hbase中获取结果。

现在讲一下链家olap架构，HBase集群，数据仓库计算和预处理在这块，还有一个为了满足kylin需求而做的HBase集群。Kylin需要做预计算，因此有个build集群，将数据写入到基于kylin的Hadoop集群中，然后利用nginx做一个负载均衡，还有一个query集群，然后就是面向线上的一个查询，还有一个kylin中间件，解决查询、cube任务执行、数据管理、统计。指标平台大部分是查询kylin，但是kylin不能满足明细查询，这个就通过queryengine智能匹配，通过spark集群或presto集群，还有alluxio做压缩，然后将明细查询结果返回指标平台，最终返回其他业务的产品。在横向还做了一个权限管理、监控预警、元数据管理、调度系统，来实现整体平台支撑。

接下来讲一下链家kylin能力拓展，基本大同小异，遇到的问题主要有：分布式构建，cube增长很快，build集群无法承载，因此做了分布式优化能够满足500cube在规定时间跑完；优化构建时字典下载策略，kylin构建时需要将所有元数据字典全部下载下来，因此从Hadoop将元数据字典下载都得好几分钟，每次build都去下载元数据字典会很耗时，优化后只需要下载一次就可以；优化全局字典锁，build时需要锁住整个build集群，完成后锁才释放，源码发现并不需要全局锁只需要锁住所需要的字段就可以，优化将锁设置到字段级别上；Kylin 的query查询机器使用G1垃圾回收器。我们自研发了一个中间件基本可以容纳一个无限容量的队列，针对特定cube的预先调度，以及权限的管控、实现任务的并发控制。架构有外面的调度系统，有一个kylin中间件，所有的查询和build都经过kylin中间件。还做了一个任务队列、统计、优先级调度、监控报警、cube平分、以及可视化配置和展示。

架构从0到1.0遇到了另一个问题-集群，存储链家所有数据，数据量大、数据增长快（0-1PB两年时间，1PB-16PB不到一年时间，面临成本问题）、冷数据预期，针对这些问题提出透明压缩项目。就是分层存储（Hadoop特性），根据不同数据分不同级别存储，比如把一部分数据存储在ssd，把另一部分数据存储到磁盘之上。Hot策略将数据全部存储到磁盘之上，warm策略就是一部分数据存储在磁盘上，一部分存储archive（比较廉价，转数小）。第二个就是ZFS文件系统，它具有存储池、 自我修复功能、压缩与可变块大小、 写时拷贝/校验和/快照、 ARC（自适应内存缓存）与L2ARC（SSD做二级缓存）。

透明压缩设计实现思路是：（1）界定要做数据冷处理隔离的主要内容。需要将一部分数据存储到ZFS文件系统做一个透明压缩来满足减少成本的需求，这样需要把冷数据界定出来；（2）生成特定的通过获取特定的冷数据列表，并标记其冷数据率；然后，定期从冷数据表中取出为完成冷数据迁移的行，进行移动。通过HDFS目录把界定出来的冷数据移动到ZFS压缩之上，把不需要的移除到Ext4上。这样一部分数据存储在ZFS上，一部分存储在EXT4上。

透明压缩优化工作有：第一个Hadoop冷热数据分离优化。涉及有异构存储策略选择、HDFS冷热数据移动优化；第二个就是ZFS文件系统优化。ZFS支持很多压缩算法，经过测试发现Gz压缩效率最好，下图是各种算法效率对比。随着压缩数据越来越大，CPU占用越来越高。海量数据集群不光是存储还有计算。Datanode对压缩数据的加载时间，直接关系到访问此部分数据时的效率，从表可知,ZFS的gz压缩在datanode加载数据上对LZ4有部分优势。较为接近EXT4。综合考虑压缩率，读取，写入速度，datanode加载速度等，选定gz作为ZFS文件系统的压缩算法。

透明压缩前数据增长是非常快的，接近30%的增长速率，逻辑数据有3PB，3备份后总空间：9.3PB实际总空间：7PB，就目前简单预估节省成本有300万。压缩后虽然实际数据再增长，但真实数据是缓慢下降的。

透明压缩未来展望，透明压缩是对cpu是有损耗的，我们希望将透明压缩计算提取出来，通过QAT卡进行压缩，希望�...

内容来源：2017年5月13日，周末去哪儿架构师李锡铭在“Java开发者大会 | Java之美【上海站】”进行《大数据平台快速解决方案中》演讲分享。

阅读字数：1891 | 4分钟阅读

摘要

大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。周末去哪儿架构师李锡铭根据自己的成功经验，为我们分享大数据平台快速解决方案。

大咖演讲视频

http://t/R9an7Rr

搭建始末

当时我们确定要做大数据的时候，有两种选型。第一种选型是用用原生的、开源的大数据技术，需要自己搭建；第二种是ODPS。

后来我们选择了利用原生大数据，自己搭建一个大数据平台。因为我们已经有了一定的小积累，并且也想做一个大数据方面的技术沉淀。

在移动互联网时代，用户所有的行为、浏览、记录和收藏等所有的数据，我们都会把它拿下来分析，前段时间阶段性沉淀的东西有多少，是对之前的一个总结。这个数据还能帮助我们进行深度挖掘，之后如何对不同用户分类，做一个精准化的营销定位。

每个公司都会对这些数据进行报表级的展现。我们最开始的数据实现方式是把所有用户的行为数据放到传统的关系型数据库中，利用纯Java应用程序去读这张表。当计算某个指标的时候，还会关联若干张子表。这张主表大概有几千万，其它子表也是百万级甚至千万级的。如果单纯用Java去算的话，还要额外处理多线程。

所以我们用传统的Java纯程序+关系型数据库去处理报表的时候，在存储和计算的性能上会出现问题，以至于报表需求越来越慢。

在这样的大背景下，我们改成了使用大数据去处理这种场景。

技术概览

Hadoop是现在所有大数据计算存储的一个底层概念，后面所有衍生的大数据产品都是在Hadoop的基础上进行衍生的。

这张图是目前大数据平台的架构。

原生的Hadoop应该包含了Hdfs（文件存储）、Yarn（资源调度）和Mapreduce（算法）。

Spark是类似于Mapreduce的一个计算框架，它在很多场景中的性能会比原生的Mapreduce好很多，尤其是迭代计算的时候，会有好几个数量级的提升。

Sqoop是一个数据的迁移工具。

Hive是对底层Hdfs系统的文件抽象出一个类似Mysql的关系型数据库，但大前提是它是在Hadoop这个大的语义下的关系型数据库。

Oozie是一个任务编排和调度的框架。

Hue是大数据的管理后台。

Zookeeper是分布式协调工具。

1.组件分类

基础数据：Mysql，File。基础数据层是游离于大数据之外的概念，它是传统的数据来源。

大数据存储：Hdfs、Hive。大数据存储是最基础的文件存储，在这基础上抽象出一个大数据的关系型数据库。

大数据计算：Mapreduce、Spark、Sqoop。Mapreduce是原生的，Spark是新生的，Sqoop是数据转移的工具。

大数据协调与调度：Yarn、Zookeeper、Oozie。Yarn是原生的，Zookeeper是一个分布式保证文件原子性的工具，Oozie是调度工具。

大数据展现：Hue。Curd的展现层。

2.典型执行流程

最开始说过，我们遇到的问题是，Mysql的表存不下，计算也有问题。在这个场景下要把数据，从Mysql转到大数据，并利用大数据进行计算，最后做一个展现。

它的流程是，首先通过Sqoop把Mysql的数据一次性或是增量的同步到一张Hive表里，用Hive Sql写好查询后，本质上Hive Sql会转化成Mapreduce任务再去执行，最后数据就展现出来了。

很多时候后台的服务Control层会有入口和出口，我们需要把入口和出口的参数都记下来，方便以后排错或做统计方面的应用。

在应用程序里，把这些消息定时写到消息队列中，用Spark定时读消息队列，并把这些读取到的消息按Spark的方式做一个编程。这个任务最终会被丢到Hadoop的底层计算里，然后用Yarn去调度，计算出结果，把这个结果写入Hive，这就完成了一次流式计算。

3.Hue

这里写了一个Hive Sql，与传统Mysql的写法几乎一样。Hive Sql写好以后点执行。它的过程是把Sql首先交给Hive去跑，Hive用自己的Sql解析引擎把这个任务翻译成Mapreduce，Mapreduce再用Yarn跑在Hadoop上，最终把结果跑出来。

4.存储：Hadoop hdfs

HadoopHdfs是基础的存储层。

HadoopHdfs其实只包含了两种类型，一个是Namenode，一个是Datanode。Namenode是一个管理的节点，而datanode只负责数据的存储和冗余。

5.计算：Mapreduce&spark

Hadoop原生的计算框架是Mapreduce，而spark是一个新兴的计算框架，它更快更全面。

6.资源管理器：yarn、Apache、hadoop yarn

资源管理器的架构内包含rescource manager和node manager。Rescource manager是管理节点，node manager是work节点。

把任务丢给rescource manager，它去把任务分发给每个节点，做一些状态的变换，最后把结果通过rescource manager汇总以后，处理完毕交给客户端。

7.hive

hive的架构并不是很复杂，上层是一些用户的API、web页面和命令行。它的核心是执行引擎，把sql翻译成大数据平台可以接受的任务。底层基于存储，它可以存在hdfs上。

8.sqoop

主要用于在hadoop与传统的数据库间进行数据的传递。

9.ooize

大数据任务编排调度。

学习与使用路线

如果想要学习一些大数据相关的东西，我推荐可以先掌握一些基础，然后找一个场景套进技术里，进行快速实践。在快速实践的过程中会发现很多问题需要解决，很多知识需要补充，所以要在实践中前行，在错误中补充。

我的分享到此结束，谢谢大家！

孙荣是内蒙古律风行科技有限公司的负责人，也是一名老政协委员。他的公司运用“制度+科技+信息化”的手段，利用“互联网+”的监督模式，为市旗各级纪委设计研发了党风政风电子监督平台，对进一步推动全市党风廉政建设和反腐败建设起到积极作用。

通过采访记者得知，该平台包括“两个责任落实考核系统”“党风政风日常监督系统”“基层小微权利监督系统”、纠治“四风”监督管理系统、落实“八项规定”精神监督管理系统、标本兼治议案促改系统等12个大系统，30多个子系统。将全市各级党风政风监督事项汇集成网络数据库，开展信息收集、预警提醒、纠错整改、责任追究，使权力运行大小有界、网上留痕、实时预警、动态监控，推动了两大责任的落实。纪检部门可随时调阅、抽查全市所有科级干部的廉政档案、红白喜事操办等，足不出户就可以发现问题，从而进行及时纠正和处理。对权力运行、廉洁自律落实情况一目了然，达行有效的监察、预警、纠错和责任追究，省时省力，整体提升了全市党风政风机制建设的科学化水平。

“下一步，我们将党风政风电子监督平台推广到全区，促进全区党风政风监督工作向信息化、科学化、一体化迈进。”孙荣说。

交谈中记者得知，此次参会，孙荣带来了关于《提高高新技术企业在GDP的比重》的提案。“目前，我市除参与煤炭和煤基化工的企业具有一定的龙头和支撑作用外，大多数高新技术企业缺少规模，且对我市经济的贡献率还不高，特别是在‘互联网＋’大数据平台建设的大背景下，我市本地企业参与程度极低。”孙荣告诉记者，他建议把培育扶持和促进本土高新技术企业发展作为一项长期战略任务。持续加大本土高新技术企业培育和扶持力度，在政策、税收等方面给予大力扶持；在“互联网+”项目建设方面，提高本土高新技术企业参与力度，在同等条件下优先本土企业参与；推动高科技企业集聚发展，充分发挥高技术产业集群对我市产业发展和区域经济发展的辐射带动作用。

版权声明：图片来源于网络，图文无关。如涉及版权问题，请作者持权属证明与本网联系

随着中国云计算、大数据、物联网、移动互联网、智能制造等新技术的不断强大，信息技术在建筑施工行业中迅猛发展，推动了施工企业的管理模式变革。越来越多的企业开始对信息化建设提出新的要求，以求登上建筑业新时代的列车，向数字施工的未来迈进，而众多企业的敲门砖大都是以实名制管理开始的。

2018年5月，住建部市场监管司起草《建筑工人实名制管理办法（征求意见稿）》及《全国建筑工人管理服务信息平台数据标准（征求意见稿）》，就两份文件向各地区住建部门征求意见：到2020年，建筑工实名制将在我国全覆盖！实名制正处于政策风口期，纵观实名制的过去、现在和将来，数字化管理平台为何能成为首选呢？

过去：文本资料管理

长期以来实名制业务仍是手工作业方式，各地行管部门的要求大同小异，通常为每个劳务队伍做一个档案盒，用于存放纸制资料：工人花名册、身份证复印件、劳动合同、特殊工种证书、考勤表、工资表等，由队伍的管理人员提交资料，项目部存档备案。传统方式缺点在于，企业的管理制度落地难，如：企业的年龄要求、黑名单人员，登记工人时无法快速比对识别，实名制变成了资料管理，流于形势。

现在：考勤工具盛行

近年来，随着互联网技术的快速发展，市面上出现了很多实名制产品，均以实名制业务为核心，结合闸机进行考勤，减轻了现场岗位的工作量，如：刷身份证登记、人证比对、快速统计工人信息等，给企业实名制工作带来了较大的变化。

目前实名制产品有单项目应用的，数据分散在各个项目部，企业无法整合这些信息；也有多项目应用的，企业间信息无法共享交互，如：黑名单和工人评价信息。建筑行业急需建立实名制信息管理强制标准，来指导企业的实名制系统建设。

十八大报告中明确提出，“坚持走中国特色新型工业化、信息化、城镇化、农业现代化道路，推动信息化和工业化深度融合、工业化和城镇化良性互动、城镇化和农业现代化相互协调，促进工业化、信息化、城镇化、农业现代化同步发展”。自此，信息化建设正式上升到国家战略高度，成为国家“新四化”战略要素和强国战略主线。

未来：平台大数据整合

当信息化技术应用更加普遍，建筑实名制平台的普及将不会是一个梦想。云技术、移动互联网和智能技术是形成建筑实名制云平台不可或缺的因素。如果建筑施工企业想要实现对工地的高效数字化管理，必须要有一个统一的平台进行管理。

通过研发，已经实现了一个成熟的移动端和PC端结合的管理平台，云平台”+“云闸”形成动态管理系统，云平台、微信小程序三种方式完成身份信息录入；“云闸”用生物识别技术进行日常动态考勤；实现辖区内所有在建项目的数据采集、分析，构建动态数据库并提供精准共享；一键发放工资，并能实时监管，对异常的情况预警提示。

产品概述

对政府公共服务而言，大数据之“大”，不仅仅在于其容量之大、类型之多，更为重要的意义在于用数据创造更大的公共价值，提升政府网上服务能力，形成政民融合、互动的“互联网+政务服务”新格局。

如何利用大数据技术和理念为公众提供更为精准化、个性化的服务，成为构建方便快捷、公平普惠、优质高效的政务服务体系的重要内容和必然要求。这需要从“供给端”和“需求端”两个方面做好政务服务大数据应用工作。一方面，要运用大数据手段推动政府监管模式转型，强化事中事后监管；另一方面，要利用大数据精准感知用户需求和服务体验，即通过对“一张网”中的群众行为数据、电子证照库、数据共享交换平台数据库等数据资源进行整合，充分利用大数据技术对跨领域、跨渠道的多元数据展开分析挖掘，全面掌握用户访问行为特征和规律，深入了解用户的服务需求，从而根据用户需求和体验来优化服务资源配置，丰富服务内容，改进服务方式，为用户提供个性化、精准化的服务，变“被动服务”为“主动服务”，不断提升政务服务水平和群众满意度。

功能框架

1.一个大数据平台

基于人社大数据中心平台基础上建设人社大数据服务平台，形成人社大数据服务平台（DaaS平台），实现统一基础数据库建设、统一块数据加工、统一服务定制及发布、统一服务目录及图谱和统一服务能力管理，为各类人社应用系统的建设奠定数据基础。

2.两个应用服务平台

两个应用服务平台分别是人工智能咨询服务平台和智能分析平台。

（1）人工智能咨询服务平台

实现自动化、智能化、人性化、个性化的机器人自助服务，为居民和企业在政务业务办理时提供自助的智能化政务服务，包括提供政务信息查询、业务导办、业务预受理、自动分发、政策宣传、相关问题引导等功能。

（2）智能分析平台

依托人社大数据，通过主题分析模型算法，进行各类主题分析。比如，分析群众行为习惯和办事需求，探索个性化、主动化、精准化、智能化服务，提供多样化、创新性的便民服务，变被动服务为主动服务；根据数据历史发展及成长情况做出相应的趋势预测分析和风险分析，及时感知政策实施和运行中的问题，促进政策完善，提升人社整体的宏观决策支持。

产品特点

1、通过对群众行为的大数据精准感知用户需求

2、通过大数据进行业务创新

3、利用人工智能+大数据技术，全天候提供智能化的人社咨询服务

成功案例

珠海市人力资源和社会保障局

1数据星河大数据平台

全球首款大数据产业链生态平台，大数据界的App store。

实现数据模型、可视化引擎工具、应用场景、采集爬虫工具、清洗脱敏工具、数据分析平台、数据开发平台、数据管理平台、数据安全组件等大数据资产的分类展示、检索和使用。

一站式服务，快速实现大数据应用设计，同时可在平台进行应用产品交易。

2大数据可视化平台

标准的、友好易用、具备丰富展示形式、与底层数据分析实现解耦。

提供丰富的专业级可视化图表组件，在线进行图表配置、导出，提供使用指导。

提供可视化产品工厂，以及Dashboard自定义布局。

具备可视化编程能力，供用户快速开发可视化图表应用。

3企信宝APP

拥有约9000万海量企业信息数据。

提供失信企业及失信人查询及公布失信榜单，全国各企业查询，股东高管数据挖掘，企业网站地址查询，企业风险信息监测。

4农业大数据平台

涵盖农业监测预警大数据平台、农产品全产业链追溯预警大数据平台和农业产业链企业信用大数据平台。

覆盖农林牧副渔各行业，贯穿农业生产经营管理服务全过程。

目标群体包括部级农业部门、地方农业部门、涉农企业、农业金融机构等。

5金融大数据——54个九宫格小场景

九宫格应用场景包含四大类别，分别是基础数据库类、决策类、预测类、预警类，基础数据库类场景满足客户对基本数据的查询，决策类场景助理用户根基数据分析得到的价值信息进行有效决策，预测类场景便于用户对于潜在的风险及时规避。同时，用户可以根据自身需求进行场景化自定义组合，以满足个性需求。

6工商大数据平台

包括工商大数据分析展示、企业信用信息大数据监管和市场主体全景谱图大数据分析服务。

一网、一库、一中心、一平台、一门户，提升工商公共服务能力、市场监管能力、辅助决策能力和助推发展能力

7食药监大数据平台

对食品、药品、餐饮、中药材的生产、仓储、分销、物流运输、市场巡检及消费者等信息，以及产品名称、执行标准、配料、生产工艺、标签标识等数据，进行采集、跟踪、分析。

使监管部分实现产品种养、生产、销售、流通、公众服务、物流等环节的整个生命周期的监管

通过互联网等途径，实时呈现给消费者，实现食品药品全过程的全知晓。

8旅游大数据平台

显示最直观的客源、客流、经济收入数据、履约企业运营趋势、市场景气指数等指标。

管理部门可以从宏观角度了解地区旅游产业的整体发展水平和竞争力，辅助管理者制定基于大数据的行业发展决策。

所有数据来源于近五年累计数据（2011-2017），每周更新。

9民意云大数据平台

从海量的数据中分析民意诉求，精准分析民意热点——这是大数据在服务民意诉求中的重要作用。九次方民意云大数据平台，通过提供大数据操作台，方便用户实时全面了解区域内民意变化，根据推送消息进行应急反应。

10传播力监测大数据

根据全网采集的文章标题、作者、来源、时间等信息，计算文章的规范被转载量、非规范被转载量、以及文章的影响地域分析，并将各指标进行加权算法，帮助没提了解具体文章的全网传播详情。

协助监管部门加强没提传播监管和提升媒体机构的传播咯、公信力、影响力和引导力。

当下，互联网技术与可再生能源革命正在开启新一轮工业革命的大幕，人类已经站在新时代的门槛上。

随着物联网（IOT）技术的飞速发展，对传统企业，能否抓住这一历史机遇，依靠技术进步，改善和产业素质与提高生产效率，对企业进行智能化、工业化相结合的改进升级，从传统的厂发展为高技术企业。借助互联网+物联网等技术， 坚持“创新驱动、质量为先、绿色发展、结构优化、人才为本”的基本方针，实现“中国制造2025”伟大目标。

在工业领域中，以产品数据为核心，极大延展了传统工业数据范围，同时还包括工业大数据相关技术和应用。其主要来源可分为以下三类：第一类是生产经营相关业务数据。第二类是设备过程数据。第三类是外部数据。

上述三种数据中，最难获取的是第二类数据，是产业升级中实现过程自动化、机械制造自动化、管理自动化的关键数据来源依据。

工业大数据平台由后台服务器、WEB服务器、手机APP、数据库、后台监控软件、前端展示框架、现场采集控制主机、工业微电脑控制器、物联网模块、无线网关、4G传输设备、传感模块等组成。

“大数据”时下一个热门的词语，近几年来，关于大数据的著作和文章铺天盖地，似乎也在共同在传递一个信息：越来越多的行业、人士开始关注并实际探索大数据的应用，我们正在一起描绘着大数据巨大效用的蓝图，但在实践的路上，我们都孩子起步阶段小步前行。

大数据根基于互联网，数据仓库、数据挖掘、云计算等互联网技术的发展为大数据应用奠定基础。对于任何一个大数据的从业者或初接触者，或者都会有个共同的感触：大数据很有用！但大数据是什么呢？

今天就给大家讲解一下：

对于大数据的定义，我们来引用3个比较差用的大数据定义：

1）Gartner：需要信息处理模式才能具有更强的决策力，洞察发现力和流程优化能力的海量、高增长率很多样化的信息资产。

2）IDC：海量的数据规模（Volunme）、快速的数据流转和数据体系（Velocity）、多样的数据类型（Variety）、巨大的数据价值（Value）。

3）Wiki：或称巨量数据、海量数据、大资料，指所涉及的数据量规模巨大到无法通过人工，在合理时间内达到截取、管理、处理、并整理成为人类所能解读的信息。

其他关于大数据的定义也大抵类型，我们可以用几个关键词对大数据做一个界定。

首先，“大规模”，这种规模可以从两个维度来衡量，一是时间序列累积大量的数据，二是在深度上更加细化的数据。

其次，“多样化”，可以是不同的数据格式，如文字、图片、视频等，可以是不同的数据类别，如入口数据，经济数据等，还可以有不同的数据来源，如互联网、传感器等。

最后，“动态化”，数据是不停变化的，可以随着时间快速增加大量数据，也可以是在空间上不断移动变化的数据。

这三 个关键词对大数据从形象上做了界定。

但是还需要一个关键能力，就是“处理速度快”。如果这么大规模、多样化又动态变化的数据有了，但需要很长的时间去处理分析，那不叫大数据。从另一个角度，要实现这些数据快速处理，靠人工肯定是没办法实现的，因此，需要借助于机器实现。

最终，我们借助机器，通过对这些数据进行快速的处理分析，获取想要的信息或者应用的整套体系，才能称为大数据。

我们可以用下面的图示给大数据定义：

这下，就知道什么是大数据了吧