人们都知道人口学的马尔萨斯假设——粮食生产呈算数增长，人口呈几何数增长。在单位亩产不可能有大突破的状况下，以粮食为主的生产资料只能依靠土地扩张。工业革命、农业科技和人口管理缓解了马尔萨斯问题。今天这个类似的危机又在虚拟世界里出现了。

大数据世界的马尔萨斯定律可以这样描述：人口以算数极数增长，数据以几何级数增长。数据量以线性规律增加，计算量以非线性规律增长。

世界所产生的数据始终在高速增长。这是因为数据赋能使所有人、所有人人类活动都在产生数据，只要想记录，就有无数的数据可以“无中生有”。

很多电商网站早期只追求抢地盘、抢用户，重运营、清数据，并不在意数据布局。举个例子，用户如果只关闭了一个订单，过去电商系统并不记录这个行为，只会直接删除这个下单数据。但是后来发现记录和分析用户的失败交易数据也是有商业价值的，可以用于统计用户信用、喜好等，于是决定记录下来。每个行为都有被记录，数据量就开始成倍增长。

数据的存储一直是一个大问题。根据市场研究公司Forrester估计，每部智能手机产生的数据平均可达1G。全球智能手机用户数量保守估计达20多亿。每天可产生20多亿G数据。如果用普通的1TB硬盘存储，每天所需的硬盘数量就达200多万块，1年就需要近8亿块硬盘。这已经远远超过全球硬盘生产商的产能。

更恐怖的是，产生数据的主要还不是人类活动，incapsula在全世界2万个每天至少有10个访问量的网站，统计了90天150亿的访问数据后得出了这样一个数据：56%的网页浏览量都是爬虫机器人贡献。话句话说主要的互联网用户已经不是人类。大部分点击数据都是机器程序产生的。

非人类访问中，近一半来自善意机器人，如搜索引擎的内容爬虫，它们能够对网页建立索引，方便人们快速查找到对应的网页内容。百度和谷歌就是使用这种方法整理全世界的信息。另外超过一半的浏览量就来自恶意机器人，比如盗取内容的爬虫、各种黑客工具、垃圾邮件等，而且比例还在不断增加。这就是互联网另一面的真实写照。这只是网页浏览状况，在整个人类社会，随着信息化和物联网的快速发展，连接入网的所有硬件都在时刻产生数据，互相通信。发电机组上的监测芯片时刻侦测运行状况并把数据发回服务器。

遍布城市的摄像头把监控数据上传指挥中心，家里的智能电视，冰箱等都在采集和上传数据，即使全人类都沉沉睡去，世界也依然在数据海洋中律动。

　　PDA手持终端在各行业应用越来越广，原因就是体积小、重量轻、高性能，适合移动作业，它是将条码扫描装置与数据终端一体化，带有电池可离线操作的终端电脑设备。

　　PDA手持终端具备实时采集、自动存储、即时显示、即时反馈、自动处理、自动传输功能，为现场数据的真实性、有效性、实时性、可用性提供了保证。

　　PDA手持终端按照采集技术来分，共有五类产品：标准激光PDA手持终端、MEMS PDA手持终端、线性图像PDA手持终端、二维图像PDA手持终端、RFID PDA手持终端

　　1) 标准激光PDA手持终端

　　标准激光PDA手持终端通过激光光束与振镜配合工作，自动在条码上左右移动光束以读取条码。激光引擎具有多种配置(例如，标准距离、广视角、高密度、远距离和高可见性)，以满足不同应用的需要。标准激光PDA手持终端的最大优势在于距离：它们可读取数英尺之外的条形码。事实上，如果打印的标签符号足够大，激光可从 35 英尺(10.7 米)之外进行读取。

　　最适合的应用：

　　●扫描仓库和配送中心高层货架上的一维条码

　　2)MEMS激光PDA手持终端

　　MEMS激光PDA手持终端采用硅芯片代替标准激光扫描器的振镜，因而扫描速率更快，可靠性更高，与标准激光扫描引擎相比具有更大的性能优势。MEMS技术造就出具备全新功能的激光扫描引擎，其中包括更快的扫描速率、体积小型化、出色的耐用性以及无摩擦机械零件，以确保持久性能。其初始扫描速率比现有采用马达的机械式激光扫描器快五倍以上，而在未来的产品中可提高至每秒数千次扫描。

　　最适合的应用：

　　●零售、医疗和仓库应用中的标准距离(手臂长度)扫描

　　3) 线性图像PDA手持终端

　　线性图像PDA手持终端全部采用固定部件，没有任何活动部件，因此与激光扫描器相比更加可靠，而后者则采用快速移动的镜头来在条形码上移动光束。要读取条形码，线性图像PDA手持终端需要采用 LED 发出的光照亮它，并通过镜头将条形码图像聚焦到CCD部件上。

　　最适合的应用：

　　●零售 POS

　　●库存管理和指令拣货

　　●生产线补充

　　4)二维图像PDA手持终端

　　二维图像PDA手持终端可采集二维或线性条形码的图像，并使用先进的解码算法进行处理。这种采集器可对线性条码进行全向读取，因此无需改变标签方位即可扫描。此外，二维图像PDA手持终端还适合读取二维条形码。二维条形码能以更小的空间承载比线性条形码更多的信息，因此非常适合空间有限的应用中，例如印刷电路板生产、医疗和包裹递送等。

　　二维图像PDA手持终端可采集实际图像(例如，签名或损坏的货箱)，因而成为现场服务、交付凭证及发货/收货应用的理想选择。

　　最适合的应用：

　　●通过 3PL 承运商发货和收货

　　●生产跟踪

　　●现场服务和包裹递送

　　●保险

　　5) RFID PDA手持终端

　　RFID目前属于条形码的补充技术，但有潜力在特定供应链应用中取代条形码技术。在短期内，条形码扫描/RFID读写组合可允许操作人员通过RFID PDA手持终端同时采用两种技术进行工作。

　　最适合的应用：

　　●越库

　　●库存管理

　　●供应链跟踪

　　●零件追溯/产品谱系

　　●资产管理

DataHunter 在实践中发现：无缝对接企业现有数据源是帮助其实现数据可视化的必经步骤。因此，DHAgency 应运而生！

DHAgency是DataHunter推出的大数据可视化利器，旨在帮助企业用户更好地处理超大数据量的分析，满足企业对数据源实时性的需求。

通过DHAgency可视化引擎，企业可以直接对接现有的数据源。无论关系型数据库（Mysql，Oracle，Postgresql等），还是Hadoop相关大数据平台、NOSQL数据库、MPP架构的解决方案，都可自助完成分析并展现，最终帮助企业做出更敏捷的、更及时的分析和决策。

架构

核心功能

海量数据多维分析

DHAgency可视化引擎支持连接企业已有的大数据计算平台，如Hadoop，Kylin，Greenplum，Elasticsearch等。与此同时，借助这些大数据计算平台的性能，也解决了TB到PB级超大数据量多维分析的难题。

实时数据展示

DHAgency能够进行实时的数据处理，并实时显示关键指标。每一刻都保持与前线同步。基于DHAgency，用户只需进行拖拽操作，即可实时地分析并展现出来，真正做到所见即所得。

产品优势大数据可视化利器

支持对接多种大数据平台，如Hadoop，Greenplum，Kylin，

Elasticsearch等。充分发挥平台的计算优势。

配置可视化，上手容易

可视化多维分析，只需简单拖拽即可展现出图像，零上手难度。可自动完成取数计算和分析。

缓存机制，使查询更快

引入数据缓存机制，最大化节省计算资源，使查询速度更快，资源更省。

灵活的条件查询

通过DHAgency界面参数的配置，可灵活的根据业务展现不同的分析需求。

异构数据源关联

可视化的数据关联模型配置，支持跨数据源关联查询，满足企业绝大多数的实际应用场景。

交互式分析

图表协同过滤，任意维度数据钻取，探索式分析帮助用户快速找到问题根源。

多种平台查看

支持多种终端（PC、手机、Pad、电视屏等）屏幕进行可视化内容的浏览分析，方便随时决策。

应用案例超大数据量实时分析|人民出版社

DHAgency通过接到实时的数据源，实时的显示热点新闻和最新文献。并做出新闻热度分析与不同新闻关注度的分析。对图书阅读时长，栏目访问，新闻访问，学习任务等采集到的数据进行实时分析与展现。

海量数据分析|甘肃统计局

海量数据通过云计算技术，大数据挖掘技术，现代统计分析技术充分融合，集数据采集、加工处理、分类计算、分析预警、报告展示、管理服务等功能为一体，实现统计系统内部业务优化整合，使用DHAgency进行海量数据的可视化分析。

2015年12月，以北京大学口腔医院为核心的口腔专科医联体在北京海淀区成立；

2016年4月，安徽全省皮肤性病专科医疗联合体在合肥成立；

2016年5月，以湖南省儿童医院为核心的湖南儿科医联体成立；

2016年10月，我国首个疼痛专科医联体正式成立，该医联体由中日医院牵头，覆盖全国近200家医院。

……

医联体作为落实医改分级诊疗制度的“两只手”之一，对推动分级诊疗制度的实现有着举足轻重的作用。而专科医联体模式作为现有较为成熟的四种医联体模式之一，已经在多地域、多学科成功应用。

专科医联体是专门为解决某专科领域医疗问题的“提高型”医联体，领头医院将区域或者全国该专科学术与技术实力较强的医院作为协作单位，协作单位与牵头单位之间共同进行学科研究和技术探讨；各级基层医院作为成员单位，专科医联体帮助它们解决专科医疗和学科建设问题。

虽然专科医联体已经在部分区域或者学科有应用模式，但是距离建立起真正的以各省为单位的全国、各学科的专科医联体依然有很大的差距。医疗行业在信息化建设之初，注重依靠技术解决某项功能应用需求，缺乏顶层设计思维，导致医疗行业各类信息碎片化严重、数据孤岛林立。医院内部IT系统的存储、网络、操作系统等各自为政，HIS、PACS等核心业务系统依然存在单点故障，不同接口、不同协议、不同供应商，信息和数据基本无法顺利地沟通、难以兼容、不愿兼容。而医联体是建立在医院临床信息共享的基础之上的，打通医院内部、区域医院之间信息壁垒问题，是建立医联体的前提条件。

那么，医院如何在确保现有信息系统正常运行的情况下，实现医院内部、医院之间信息的互联互通呢？

不同软件数据连通的传统方式是依靠接口对接，但是医院内部的信息系统动辄几十套，即便所有厂商都愿意配合，开发周期、开发费用也让人闻之生畏。博为软件独创的异构数据采集引擎技术，依靠监控软件客户端数据的底层交换，在不需要任何接口、不影响原系统的正常运行的情况下，即可完成数据的采集工作，然后依靠软件机器人输出结构化的数据，建立独立的大数据平台。该技术目前已经成功在多家医院运用，并成功帮助宜章地县搭建区域远程医疗服务中心。

搭建覆盖全国、各学科的专科医联体平台，整合各专科的所有临床病例信息，有利于上级医院通过海量案例分析、研究，全面了解专科疾病的发病原因、临床表现、病情分类，打破原有的样本分析方法的局限性，以大数据为专科疾病预防、用药提供精确的指导，从而促进学科医疗水平的提高。同时，在专科医联体内，上级医院可以对下级医院的进行教学指导、远程会诊，帮助下级医院提高水平；上下级医院之间的转诊也实现了双向无障碍，贯彻了分级诊疗制度的落实。未来，专科医联体必将发展壮大，发挥更加重要的作用。

5月30日上午，长沙市委组织部易敏华副部长一行莅临博为软件考察指导，博为软件董事长梁威、副总经理谭璇全程陪同接待。

会上，董事长梁威向易部长一行汇报了公司的发展历程、行业地位及发展现状等，重点讲解了博为软件自主研发的101数据采集引擎所取得的创新性技术突破，并介绍了公司目前在医疗、政务等行业的应用案例。

考察团对博为软件注重自主研发与技术创新表示肯定与赞赏，高度评价了博为101数据采集引擎的技术优势，并对博为软件的发展前景充满期待。

此次考察是继2016年长沙市高层次创新创业人才培训班之后，长沙市委组织部高度重视人才工作和互联网人才创新创业的一次实地考察，充分展现了政府对博为软件发展的关怀和支持。

从行业领先医学影像解决方案提供商到中国国际大数据挖掘大赛冠军，博为软件始终坚持技术创新为核心。未来，博为软件将继续在创新突破中发展，充分发挥博为软件在大数据产业中的技术优势，为中国大数据产业发展贡献力量！

　　【PConline资讯】2月11日消息 科技行业正进行自我反思。就连扎克伯格和库克都在公开谈论软件和算法在我们生活中所带来的负面影响。虽然已经有越来越多的人向一些业内人士游说，想要阻止他们或试图制定任何行业规则，但这些业内人士正制定自我管理的准则。有一个想法值得人们探讨：掌控程序的程序员和数据科学家是否应该立下一个数字的希波克拉底誓言，作为行业道德的要求和行为准则？　　

图：希波克拉底誓言

　　上个月，微软发布了一份关于人工智能对社会的影响的报告。该报告认为，约束编程人员，像医生们一样也立下“不伤害他人”的承诺，“这是有意义的”。周二在旧金山，数十名来自科技公司、政府和非营利组织的数据科学家开始为他们的职业起草一份道德规范。

　　这次会议的普遍感觉是，是时候让那些在统计分析方面有才能的人意识到他们自身的力量，并将其用于实现更大的利益。曾在奥巴马时期任美国首席数据科学家的DJ·帕蒂尔告诉记者：“我们必须让从事技术工作的人们说‘等一下，这是不对的。'”

　　帕蒂尔启动了这个活动，称之为“数据交换”（Data For Good Exchange）。与会人士包括微软、拼趣（Pinterest）和谷歌的员工。

　　帕蒂尔设想的是让被道德准则约束的数据科学家们来反对企业和机构的安排，以防止有违行业道德准则的情况出现。这一愿景吸引了一些专门从事数据分析的人。来自企业软件初创公司“数据科学”的戴夫·古德史密斯周二写到：“作为一门学科，我们正处于起步阶段，我们比任何人都更能通过人工智能领域的机遇和挑战来引导社会。”

　　其他人则有些犹疑。市场营销公司Valassis的高级数据科学家Schaun Wheeler通过Slack和一个实时视频流也观看了周二的会议。这一会议开始之前他就有所怀疑，完会后疑虑更甚。他说，这份草案看起来像是一份没有人会反对的一般性原则的列表，而且正应用于一个缺乏相关权力机构或法规来规定实施这些原则的行业。尽管为数据科学家提供的正式培训项目越来越多，但包括Wheeler在内的许多人都是自学成才。

　　周二的讨论结果便是一份原则清单，且未来几周内将对这些原则进行评估和发布，以获得更广泛的反馈。其中包括“肯定会有偏见。衡量它。为它做出计划”，“尊重人类尊严”和“运用道德想象力。” 该项目的组织者希望能看到10万人签署最终版本的誓言。

　　Wheeler说：“科技行业最近受到了批评，我认为这是理所当然的，因为它天真地认为它可以修复这个世界。你若是认为可以通过某种道德准则来解决整个复杂的问题，比如数据泄露，这就是狂妄自大。”

　　周二会议的一个辩论主题是，一个不具约束力的自愿准则是否真的能保护那些敢于在工作中提出道德问题的数据科学家。另一个主题则是，这是否会产生很大的影响。

　　美国电话电报公司的数据科学家里希拉·贾拉罕说，他对于起草一份道德承诺的所作出的种种努力持支持的态度。他描述了在他和一个同事拒绝加入一个有他们认为没有行业道德的公司参与的项目之后，他们的愿望得到了尊重。但是调换了一些工作人员之后，项目还是继续进行。

　　现有证据表明，科技公司通常只有在意识到道德问题会对其资产负债表构成直接威胁的时候，才会将其放在心上。扎克伯格可能对其公司控制信息传播的方面表现出了悔意，但这也是因为Facebook遭受了政治压力，因其在俄罗斯干涉2016年美国大选中所扮演的角色。

　　通过为他人提供平台而赚钱的科技公司可以有更多的理由不去规范道德。任何在搭建自己的平台过程中能吓跑客户的东西都是有风险的。

　　微软关于人工智能和社会的宣言讨论了程序员应当作出的“希波克拉底誓言 ” ，以及对人工智能新用途的伦理审查过程。但微软总裁布拉德·史密斯表示，微软不会指望用微软的云服务构建人工智能系统的用户也一定要达到同样的道德标准。他说：“这是一个非常重要的问题，我们自己都还没有回答出来。我们创造了微软文字处理软件，并且知道人们可以用它来写好的东西或者是可怕的内容。”

　　隐私权激进分子阿拉尔·巴尔干认为，本周起草的这一份道德规范实际上 可能会加剧技术所造成的社会危害。 他担心，公司会把它作为一种美德的标志，但他们还是会像从前一样继续经营。他说：“ 我们应该探索的是，我们如何才能阻止这种因利益而进行的大规模的人类数据采集工作。 ”他指出，欧盟的《全面数据保护条例》(General Data Protection Regulation)将于今年生效，这是防止算法的坏处的更好模式。　　

　　帕蒂尔曾经是LinkedIn的首席科学家，但他有点像巴尔干，对科技公司是否有能力仔细思考自己的个人数据驱动产品的影响持怀疑态度。他说：“我不认为我们现在的社会可以依赖于这一法规，因为我们在社交平台看到的和科技公司的行为都是由利润驱动的。”

　　从长远来看，帕蒂尔说，他对道德规范草案的希望之一是，它有助于激励政策制定者制定更坚定、但也是经过充分考虑的限制标准。他说：“我希望看到，周二的会议能够开始定义真正的行业内政策。”

6月1日，神州数码控股有限公司迎来上市17年纪念日。“上市十七年来只有一个使命，就是为中国的腾飞和数字化转型赋能。”在纪念日活动上，神州数码控股有限公司董事局主席郭为表示，实现大数据智能化，数据采集是必备条件，同时，还需要算力，包括自然语言处理、知识表现、深度学习、模式识别、遗传算法等，以及知识图谱的构建。

当天，由神州数码打造，以展现大数据、云计算、人工智能等前沿技术创新与应用为核心的“数字中国创新中心”正式开馆亮相。据了解，该创新中心能够把产品科技影像和触控装置、体感交互装置、投影装置等多种硬件设备结合起来，具有展现、体验、互动等多种功能。另外，神州数码场景研究室、区块链实验室、云计算实验室、和大数据实验室也宣告成立。

郭为表示，企业的生存与发展离不开自主技术创新，“除了自身技术团队的研发创新以外，我们还通过与国内外知名高校、科研院所、行业巨头合作，开展大数据、云计算、人工智能等新一代技术攻关、项目孵化，在新形势下探索和创新科技成果的产业化模式，为技术创新提供源动力”。目前，神州数码正在多个垂直行业领域发力，以大数据为基，以云服务赋能，帮助传统企业转型升级。（光明融媒记者刘坤）

来源：光明网

大数据技术栈通常包括数据采集、存储计算、分析可视化、开放共享、业务应用等几个关键分层，在这些能力引擎中，数据存储是一个关键的能力域。在海量数据聚集整合后，首先就是要将数据存放起来，所以存储引擎的技术选型会直接影响后续的数据用途和分析效果。

存储引擎的选型要考虑一些关键因子，比如数据源类型（结构化/非结构化）、数据规模（GB/TB/PB）、数据增长系数（每年都会增长20%？）、数据加工分析的方式（长期存储？SQL查询？交互式访问？），这些因子必将决定存储引擎的选型方法。

传统关系型数据库（RDB），是企业生产经营中最为普遍的IT存储系统，大多存放业务系统的结构化数据集。在初期往往单节点服务器就能驾驭存储需求，后续随着存储容量逐渐增加大多采用集群的方式去扩展支撑，而且RDB能够支持数据的操作与更新，对增删改查来说绝对是好手，完全遵循了ACID的特性，而且支持标准的SQL语法。因此RDB应用场景非常广泛，技术也非常成熟。但即便如此，似乎RDB没有能在今天大数据时代有所作为。首先今天有很多半结构化/非结构化数据集需要存储并处理，传统关系型数据库并不支持，就更别谈数据规模了。而且RDB主要采用行存储的方式保存数据，从后期查询的支持来讲很难于随机访问，而且系统的扩展性并不出色，不论MqSQL还是PostgreSQL，原生版本的扩展性能需要大量的调优。

对于传统RDB的特点，其实Hadoop生态圈的HDFS具有较多特性差异。比如大规模文件存储支持了海量非结构化数据，什么视频音频、文本日志、社交物联网统统不是问题，而且可以根据节点数量大规模扩展，以提升系统整体的存储容量。HDFS可以承载Hive任务作业，依托于M/R机制实现大规模数据的加载和分析。但Hive只适用于一次写入、多次读取的场景，对于频繁更新和随机访问而言并非长项，因为些都受限于M/R机制和对标准SQL的支持。在大数据早期，HDFS+Hive长期支撑了很多客户的系统，比如电信运营商的详单数据存储和预处理、互联网公司的网络日志采集和分析等，直至今日仍然有很多企业在持续使用，正可谓大数据的关键技术组件。

除了传统SQL结构化数据外，在大数据领域还有NoSQL数据库。当时随着互联网web2.0的兴起，传统的关系数据库在应对大规模和高并发的SNS纯动态网站显得力不从心，暴露了很多难以克服的问题，而非关系型的数据库（NoSQL）则由于其本身的特点得到了非常迅速的发展。NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战，尤其是大数据应用难题。NoSQL数据库主要有四大分类：键值（Key-Value）存储数据库、列存储数据库、文档型数据库和图形数据库，所以是典型的支持非结构化数据，这里面由于时间关系暂不展开。在NoSQL四种类型中，以Hbase为代表的列存储数据库是非常有代表性的。由于存储方式的特点使其对海量数据的随即访问支持非常好，而且底层也支持HDFS存储，其系统扩展性也不是问题，列存储大大提高了存储压缩率。现在Hbase不仅支持一级索引，还可以通过功能开发实现二级索引的支持，所以技术成熟度也是不错的。

上述介绍中，你会发现海量数据的大规模分析与高效低延迟访问有较大差别，两者各有优势不可兼得。在现实情况中会经常发现两套存储引擎的交替使用，分别用于实时读写与海量数据分析，可以先将数据写入HBase中，再定期通过ETL到Parquet进行数据同步。但是这样做有很多缺点，比如第一：用户需要在两套系统间编写和维护复杂的ETL逻辑；第二，时效性差，因为ETL通常是一个小时、几个小时甚至是一天一次，那么可供分析的数据就需要一个小时至一天的时间后才进入到可用状态；第三，更新需求难以满足。在实际情况中可能会有一些对已经写入的数据的更新需求，这种情况往往需要对历史数据进行更新，代价太大；第四，存储资源浪费。两套存储系统意味着占用的磁盘资源翻倍了，造成了成本的提升。所以Cloudera开发了Kudu存储引擎，解决了前面种应用场景的问题。但是新技术需要磨合才能实际生产运用，否则会带来风险。

通过上述介绍，如果你需要常规结构化数据集的存储管理和查询分析，那么你需要RDB存储引擎；如果系统将承载海量非结构化数据集，那么存储和分析就需要用到HDFS+Hive的存储引擎；如果你需要海量非结构化数据集的低延迟随机读写场景，那么你需要使用类似于Hbase这样的存储引擎；如果你需要支持结构化数据，而且支持行级的插入、更新、删除，并尝试新技术去应对海量数据分析和低延迟随机访问，那么Kudu也可以选择。

大数据存储引擎是一个既复杂而又关键的领域，一个好的存储技术架构有助于后续业务的“生根发芽”。