中企动力 > 商学院 > 电子数据采集系统
  • ?

    生产管理电子看板系统软件数据实时采集及管理技术

    Linda

    展开

    生产管理电子看板系统软件性能分析将实际制造过程测定的结果与过去的历史记录和企业制定的目标以及客户的要求进行比较,其输出的报告或在线显示用以辅助性能的改进和提高;主要是数据输入失败,或校验失败等异常发生时的提示报警信息,以及各种产量数据信息。生产管理电子看板系统软件市场要求产品的品种和数量经常变化,靠人工和经验调整生产显然效率低、反应慢、缺乏竞争力。在此过程中,有效的提高了企业信息流通性,并且为企业管理人员提供了更快速的综合性数据信息。生产管理电子看板系统软件将现场实时采集的数据,以及监督控制的状态等信息,生产管理电子看板系统软件立即存入数据库;不但涉及最新的生产状态,也包括长期储存的历史数据,再利用数据库强大的查询、分析、报表功能,优化现场管理。生产管理电子看板系统软件依托生产实际信息,通过计划、目标以及结果对比,从现场设备管理、生产管理和业务决策三方面优化生产管理过程,实现精准决策。对不同项目进行及时和实时地观测有助于了解局势并加以利用,生产的领导者可以据此更快也更恰当地做出反应,生产任务管理包括生产任务接收与管理、任务进度展示和任务查询等功能。

    生产管理电子看板系统软件自动判断产品工序的正确性,结合车间现场或警示灯进行提示;生产制造过程的工序检验与产品质量管理,能够实现对工序检验与产品质量过程追溯,对不合格品以及整改过程进行严格控制。对现行进行全面的调查分析,提出为实现总体规划确定的功能所做的各种总体技术考虑和设计。这些都是生产管理中最基础数据。具体化从测试作业因数的许多异样的功能收集的信息,这样的结果应该以报告的形式准备或可以在线提供对执行的实时评价的信息及时收集、上传和处理。作为企业生产执行层面的信息化核心,生产管理电子看板系统软件凭借其强大功能,为越来越多的用户寻找到了改善生产效益的神奇之路。传统生产管理电子看板系统软件软件的作用就是实现企业的连续信息流。

    企业也将不再是某一项生产管理电子看板系统软件功能,而是面向企业的整体解决方案,生产管理电子看板系统软件正在向整体解决方案发展。质量统计过程控制是一个开环,通过对所取得的数据分析来监测生产过程的状态。它的数量、构成、周转速度等要素直接影响到企业生产的活动能力,企业需要的是合理地占有资金、灵活地支配资金和经济地利用资金,以确保企业生产活动的顺利进行,借以提髙企业与社会的整体效益。制造过程生产特定等级或质量的产品。究竟生产管理电子看板系统软件报价较为贵重,公司自身的建设也是迅速改变的。车间信息反馈即时监控各车间生产信息可通过控制器对当前紧急状态进行即时报告,并汇总在监控中心的看板上,使用新的开发技术、新设备等,或是新的应用组合,提供各种用户所需要的报表,实现工厂管理智能化。生产管理电子看板系统软件基于设备、工具、人员等车间有限资源,按照交货期、最优库存等算法,将工序分解到每一设备、每一分钟上精确执行,通过复杂而智能的算法来优化车间的生产作业排序和调度。

    生产管理电子看板系统软件的生产计划管理的生产计划管理共同构成了企业整个生产过程的生产计划管理。数据的收集、存储和管理都在数据库中,能够帮助企业更好的管理车间,提高管理效率。生产管理电子看板系统软件该项功能可以大量减少工作现场因人为疏忽造成产品再加工或损坏,因而降低了直接人工、物料及成本,并具有产品预警的效果。此外用户还提出了较高的稳定性,实时性,可靠性要求,客户端的响应能力,处理能力,通讯能力等都必须符合生产节奏,避免造成生产停线。

  • ?

    设备效率管理新途径—Kinco步科推出OEE和稼动率数据自动采集系统

    弗瑞德

    展开

    你想降低企业生产成本吗?

    你想提高企业市场竞争力吗?

    你是否找到合适的方法与途径?

    或许

    加强实时设备效率管理

    提高企业装备素质和设备利用率

    是一条很好的途径

    其中

    计算OEE和稼动率是一种好的专业的方法

    传统的OEE解决方案

    传统的OEE解决方案,主要有以下两种方式:

    1.人工统计、人工计算。

    通过人工对设备停机和报警数据进行抄表和采集。但是这种方式容易造成数据不准确,不及时,最后还需要人工计算OEE,人工生成统计报表,工作量巨大。

    2.投资昂贵、复杂的MES系统

    这种方式花费的成本高昂,耗费时间长,需要数月的时间去准备、导入系统,可能还存在系统导入失败的风险。

    传统的OEE解决方案让很多企业望而却步,如果选择方式一,巨大的工作量需要你投入更多的用人成本,最后的结果还并不一定准确有参考价值;选择方式二,高昂的投入,让没有多余预算与时间的你,只能选择放弃;即使最终投资上了一套MES系统,实施过程漫长,还要承担上线失败的风险。

    测个OEE,怎么就这么难?

    难道就没有一个投入成本低、能快速部署、快速上线的解决方案,帮助我们的企业加强设备效率管理,提高企业竞争力?

    选择Kinco OEE和稼动率数据自动采集系统,几万元就可能完成一个车间级OEE和稼动率数据采集系统,一周左右即可上线使用。测量OEE,加强设备效率管理,就是如此经济、简单。

    Kinco OEE和稼动率数据自动采集系统

    Kinco推出OEE和稼动率数据自动采集系统,具有自动化数据采集模块——KW无线数据采集模块,通过LoRa技术传输数据,无需部署传统的以太网,就可以轻松地获取有关设备的生产信息,为OEE提供最有价值的数据。

    Kinco推出的OEE和稼动率数据自动采集系统,具有自动计算和存储功能。通过步科的X10现场智能终端(或智能电子看板),可以生成实时的生产信息报告,包括故障停工,在制品信息和OEE等,并以图表的方式进行呈现。通过这些有价值的数据,企业管理者能做到在事前进行预防,事中进行控制,并能进行数据追溯管理,为充分利用设备,提高设备价值创造效率打下基础,让企业的管理工作变得轻松而简单。

    本系统可以做到:

    实时传输设备产量、质量数据,设备效率实时统计;通过智能电子看板,可实时掌握车间设备的异常状态,为生产现场提供及时的支持;通过显示终端上传Excel文件,通过Excel报表,管理层可以随时了解导致效率损失的主要因素,从而进行相应的改善。除了Excel报表,数据也可通过第三方数据接口软件上传到ERP或MES。

    应用案例

    OEE作为衡量生产、设备效率的重要指标,已经被越来越多的企业所应用。杭州某实业有限公司,主营相机零部件研发生产,拥有大量冲床与注塑机设备,生产设备众多,生产频率极高,如何通过设备的运转状态,准确掌握生产能力、生产效率?通过采集OEE数据,根据数据,针对性的提高OEE,无疑是一种有效的途径。

    该公司引进步科OEE和稼动率数据自动采集系统,对每一台设备安装KW无线数据采集模块,无线采集设备状态和产能信息。

    显示端采用步科智能电子看板,接收KW采集的数据,通过组态软件编程,轻松制定多层显示画面,进行数据分析展示,界面精美,开发简单。同时,采集的数据会同步保存至智能电子看板内置数据库中,定时导出成Excel文件发送到服务器,进行历史数据存储。

    LoRa无线数据采集模块,抗干扰能力强,节省布线成本;智能电子看板内置数据库,存储历史数据,定时导出Excel文件,将生产计划、生产产能、稼动率、品质状况等信息进行汇总;智能电子看板的大尺寸数据呈现,让管理者对设备的稼动一览无余,真实呈现设备纯稼动状况。

    实时监控设备工作状态、待机状态、故障状态、未安排计划;实时统计产量信息并和工单信息对比

    任一时间段内稼动率分析

    通过曲线、图表等形式,将计划产量和时间,产量进行对比分析,产能利用情况清晰可见

    案例价值

    通过步科的OEE和稼动率数据自动采集系统,有效采集OEE和稼动率数据。准确的掌握了设备的生产能力,生产效率以及生产良品的能力,根据数据持续改善,提高OEE,从而提升企业生产能力,提高企业生产效率,提高企业竞争力。

    有了步科的OEE和稼动率数据自动采集系统,企业制定一些奖励措施,有了实时的数据呈现和数据支撑,每位员工的表现得到公开、公平、公正的呈现,员工的积极性也被充分调动起来了,设备的使用效率也就提高了,企业的管理工作更简单了,企业生产效率提高了。

    OEE与稼动率知识小科普

    OEE(全局设备效率)和稼动率

    稼动率是指设备在所能提供的时间内为了创造价值而占用的时间所占的比重。OEE是代表和设备理想状态相比,现时设备的状态。从下图我们可以看出OEE的测量。

    测量OEE是设备运行持续改善的起点,没有测量就没有改善,世界级企业的成功运营依赖于对设备和生产流程、绩效的一贯地,准确的测量。世界级企业的全局设备效率OEE为85%或更好,制造业平均水平是60%。但大多数企业发现他们的设备OEE运行在13%-40%之间。

    OEE与稼动率的关系

    由OEE的计算公式可知,OEE的一个最重要的目的就是要减少六大损失:停机损失、换装调试损失、暂停机损失、减速损失、启动过程次品损失和生产正常运行时产生的次品损失。

    有OEE的计算公式还可知道,OEE的确定是由时间稼动率(可用率)、性能稼动率(表现性)以及质量三个关键要素确定。如果你的时间稼动率(可用率)在某一个时间段很低,说明在六大损失中和OEE时间稼动率(可用率)损失有关的故障太多,那么显而易见,你应该把过程控制和改善重点放在这些问题影响方面了!同样,如果质量指数或者表现性导致你的OEE水平降低,那么你就应该把目光放在和质量有关的问题点上。

    更多关于OEE和稼动率的交流,欢迎与我们联系,共同探讨~

  • ?

    让您了解大数据采集最新技术

    鹭洋

    展开

    现在谈论大数据已经没有新意了,形形色色的产品、平台和公司都贴满大数据标签,但大数据却并没有掀起预期飓风,甚至还被冠以“伪命题”污名。

    大数据开启了一个大规模生产、分享和应用数据的时代,它给技术和商业带来了巨大的变化。大数据在核心领域的渗透速度有目共睹,然而调查显示,未被使用的信息比例高达99.4%,很大程度都是由于高价值的信息无法获取采集。

    因此在大数据时代背景下,如何从大数据中采集出有用的信息已经是大数据发展的关键因素之一,数据采集才是大数据产业的基石。那么什么是大数据采集技术呢?

    什么是数据采集?

    数据采集(DAQ), 又称数据获取,是指从传感器和其它待测设备等模拟和数字被测单元中自动采集信息的过程。数据分类新一代数据体系中,将传统数据体系中没有考虑过的新数据源进行归纳与分类,可将其分为线上行为数据与内容数据两大类。

    线上行为数据:页面数据、交互数据、表单数据、会话数据等。

    内容数据:应用日志、电子文档、机器数据、语音数据、社交媒体数据等。

    大数据的主要来源:1)商业数据 2)互联网数据 3)传感器数据

    传统数据采集的不足

    传统的数据采集来源单一,且存储、管理和分析数据量也相对较小,大多采用关系型数据库和并行数据仓库即可处理。对依靠并行计算提升数据处理速度方面而言,传统的并行数据库技术追求高度一致性和容错性,根据CAP理论,难以保证其可用性和扩展性。

    大数据采集新的方法

    以博为软件101异构数据采集技术为例:通过获取软件系统的底层数据交换、软件客户端和数据库之间的网络流量包,基于底层IO请求与网络分析等技术,采集目标软件产生的所有数据,将数据转换与重新结构化,输出到新的数据库,供软件系统调用。

    博为软件

    技术特点如下:

    1. 无需原软件厂商配合;

    2. 实时数据采集,数据端到端的响应速度达秒级;

    3. 兼容性强,可采集汇聚Windows平台各种软件系统数据;

    4. 输出结构化数据,作为数据挖掘、大数据分析应用的基础;

    5. 自动建立数据间关联,实施周期短、简单高效;

    6. 支持自动导入历史数据,通过I/O人工智能自动将数据写入目标软件;

    7. 配置简单、实施周期短。

    优点:其优势在于不需要“接口”配合,这就摆脱了对软件厂商的依赖。特别是在在需要集成多个系统数据时,不仅能节省大量时间、人力与资金,实现“一站式”完成;还避免了因个别系统开发团队解体、源代码丢失等原因导致系统数据集成出现烂尾的情况。

    缺点:只采集Windows平台的各软件系统数据

    版权声明:本文部分来自网络,如有侵权,请联系删除!

  • ?

    汇众泰普(北京)科技有限公司-整车道路数据采集系统

    文明

    展开

    xPro_Therm32

    32通道同步采样,热电偶转CAN系统

    extending CAN-Logging Systems with 32 Thermocouple Inputs

    CAN记录系统32通道热电偶扩展模块

    xPro_Analog32 is a signal conditioning unit which extends any CAN logger with additional 32 Thermoelemente Typ K inputs.

    xPro_Analog32是一款信号调理单元,可以接入任何CAN记录设备,32个K型热电偶输入。

    Input Range Thermocouples热电偶输入范围

    The input range for Type-K thermocouples is a wide -200 C to 1350 c. Each channel is sampled in paralle with 7 Hz enough even for dynamically changing temperatures.

    K型热电偶的输入范围是 -200℃to 1350 ℃,通道在7Hz的采样率下同步采集温度的变化。

    By the use of 24-Bits-Technology xPro_Therm32 does not need any pre-amplifiers which usually introduce a lot of drift and noise. Therfore xPro_Therm32 outputs a very stable signal with a high resolution, which provides information down to 0.01 degrees.

    xPro_Therm32使用24位技术,无需预放大器,避免带来大的漂移和噪声。因此xPro_Therm32输出高分辨率的稳定的信号,可以带来0.01度的高分辨率。

    xPro_Therm32 has been designed with using the latest technology. Each channel does have its own power supply and also channels are galvanically separeted.

    xPro_Therm32设计时采用最新的技术,每个通道单独供电,通道间光隔离。

    Each inpidual channel is equipped with a local cold junction compensation, which results in an excellent overall precision.

    每个通道配有本地冷端补偿,带来完美的精度。

    Power Supply供电

    xPro_Therm32 comes with a wide range power supply of 10 … 30 VDC.

    xPro_Therm32供电范围为: 10 … 30 VDC。

    Vehicle Ground and instrument ground are consequently galvanically isolated, thus reliably avoiding ground loops.

    汽车地和仪器地是光隔离的,避免地线回路。

    xPro_Therm32 does have an electronic protection against wrong polarity of the supply.

    xPro_Therm32 带有供电极性保护,防止极性反接损坏设备。

    Status-LEDs and internal CAN-Hub

    内置状态LED灯显示和CAN路由

    Each input channel of xPro_Therm32 is equipped with a separate multi-colour status LED. These LEDs signal if a channel has been activated for acquisition and if the signal is within the predefined range.

    xPro_Therm32每个通道配有不同的多个颜色的LED灯,假如通道激活,信号在其设置范围内,LED可以指示其状态。

    By using the internal CAN-Hub ofxPro_Therm32 several units can be chained without the need to attach an external router.

    xPro_Therm32的CAN路由功能可以将多个设备串联在一起食用,无需额外的路由设备。

  • ?

    临床路径电子化中数据采集与预处理方法研究

    韶华

    展开

    导读:在临床路径电子化过程中,提出基于临床数据的采集与预处理方法,为临床路径的优化与构建奠定基础。从临床数据利用角度,开展临床数据采集以及为保证数据质量如何进行数据预处理工作。从数据采集过程中的结构规范、术语规范、数据采集、核查与预处理过程的要素等关键问题提出了处理办法。海量的临床数据为基于临床需求的数据挖掘和数据采集奠定了坚实的基础,也使基于临床数据挖掘方法构建基于循证医学的临床路径成为可能。

    随着各级医院信息化建设的迅猛发展,以纸质表单为主要形式的临床路径管理方式已不能满足数字化管理的要求,临床路径的电子化势在必行。临床路径电子化并不是简单的用电子表单代替纸媒表格,需要与各个临床业务系统在业务层面作交换,在临床决策与多学科协作方面必定要提供足够的支持。

    海量临床数据为开展基于循证的临床路径的实施成为可能。依托于大量的临床证据,做到真正的循证医学,避免了在制定与优化临床路径模板时的随意性。从临床数据利用角度阐述如何开展临床数据采集以及为保证数据质量如何进行数据预处理工作。

    临床数据采集

    数据采集是影响临床研究质量的关键环节之一,临床数据的采集工具电子数据采集系统(electronic data capture,EDC)随着医疗信息化的快速发展目前已经普遍使用。通过EDC实现数据采集具有节约时间和人力物力、提高效率、保证质量和可靠性等优势。临床数据的采集包括标准规范的选择和临床数据的选择。

    标准规范为解决异源异构数据融合的问题,临床数据的多项标准规范应运而生,其中临床数据交换标准协会(Clinical Data Interchange Standards Consortium,CDISC)数据标准涵盖临床试验全流程,并广泛使用和采纳,临床试验的效率和质量也相应提升。CDISC数据标准包括结构规范和术语规范。

    结构规范在数据组织形式中,有两种不同的结构:水平型数据结构和垂直型数据结构。从数据库设计范式角度看,垂直录入才是应该采用的数据录入模式,会更符合数据直接导入的需求。

    术语规范术语规范是临床数据采集与利用的基础,临床术语的应用是临床信息从采集到管理利用的保证数据完整性与规范性的重要环节。目前,临床试验广泛采用的《系统化临床医学术语集》已广泛应用于医疗信息系统中。而中医的临床术语集还在发展、完善阶段,已有专家分析中医临床常用术语质量的基本要求及中医临床常用术语在完整性、规范性、概念关系等方面的常见问题,提出利用本体技术建立中医临床常用术语本体,并总结中医临床常用术语本体构建的关键技术环节。

    支持临床路径电子化的数据采集基于循证的临床路径的制定与优化至少包括以下内容:诊断依据、治疗方案、标准住院日、变异依据、纳入/排除标准。而这些数据包含于以电子病历为核心的电子病历中,临床数据的数据来源及采集要点见表1。

    表1 临床数据来源及采集要点

    注:CPOE:计算机化医生医嘱录入系统, computerized physician order entry; RIS: 放射科管理信息系统, Radiology Information System; PACS: 影像归档和通信系统, Picture archiving and communication system; LIS,实验室信息系统, Laboratorial information system.

    数据核查与预处理

    数据质量核查真实、准确、完整和可靠是保证临床试验数据质量的基本原则。数据核查包括以下内容:违背方案核查、时间窗核查、逻辑核查、阈值范围核查、一致性核查、数据完整性核查等。数据核查后产生的质疑需要反馈给临床监查员或研究者。研究者对质疑做出回答后,数据管理员根据返回质疑答复对数据进行修改。

    数据预处理数据预处理的过程包括缺失值处理和与数据标准化两个过程。

    缺失值处理主要效应指标(有效性和安全性)原则上不应存在缺失值,应尽量避免非随机缺失。一般而言,若能判断数据缺失由完全随机缺失、随机缺失(MAR)造成的,可以采用末次观测值结转、基线观测值结转、均值填补、回归填补、多重填补等多种不同的方法。若是随机缺失或缺失值占的比例不超过5%,则可以不填补。还应简单说明一下不同填补方法的适应情况。需要说明的是,遵循保守原则的缺失数据处理措施更有利于控制潜在偏倚。

    数据标准化 数据标准化过程就是把临床实践中收集的数据与标准字典中的词目进行匹配的过程。当出现的词目不能直接与字典相匹配时可以进行人工编码,对于医学编码员也无法确认的词目,可通过多方沟通以获得确切的编码。

    面对临床路径电子化推广中建模与优化的难题,基于循证的临床路径构建已经成为临床路径研制与推广的重要研究方向。临床数据凝聚了临床经验与科技创新活动的成果,是传播卫生科学技术知识的重要载体,也是国家宝贵的知识财富,临床数据的分析挖掘是实施循证医学研究方法、总结临床诊疗规律、转化隐性的临床诊疗经验为可共享的显性知识的必要途径。只有通过规范的数据采集与预处理方法,才能保证海量的临床数据为基于临床需求的数据挖掘的可行性,也使基于临床数据挖掘方法构建基于循证医学的临床路径成为可能。

    文章来源:《中国数字医学》杂志2018年第02期,作者及单位:王斌 陈迪 曹馨宇 周洪伟 史华新 张妮楠 谢琪,中国中医科学院中医临床基础医学研究所 中国中医科学院广安门医院医保办 中国中医科学院中医药数据中心。

    欢迎关注,CHINC服务号获取最新大会消息

    传播数字医学领域发展最新动态,关注医疗卫生信息化相关资讯。

    长按扫码关注我们

  • ?

    探码Web数据源采集分析系统

    颜雨泽

    展开

    摘要:面对互联网海量的信息,如何方便快捷的获取有效的信息对企业已经变得至关重要了。如果采用原始的手工收集方式,费时费力且毫无效率,面对越来越多的信息资源,劳动强度和难度可想而知。

    2017年,探码科技开发一个金融行业投融资交易大数据平台,在项目进行前期,需要对资料的搜集准备和数据源的整理,最后整理出来了很多需要采集的数据源,为了进一步落实数据源的数据量、是否有采集价值、采集价值有多大等一列问题,探码科技研发了一套探码Web数据源采集分析系统。

    Web数据源采集分析要么对网站访客行为的分析,即包括:网站流量报告,也可能包括电子邮件回应率、直接邮件活动资料、销售与客户资料、使用者效能资料如点击热点地图、或者其他定制需求资讯等等,然后进行行为分析,最终形成网络数据报告,以此来了解和优化网站;要么是爬取整个网站数据源资料、栏目、项目等进行数据源的采集,然后进行分析形成信息数据报告,最终用在:产生潜在的客户列表;从竞争对手中收集企业所需信息;抓取新兴业务数据;建立企业的产品目录;整合行业信息,辅助经营决策;确定新客户,增加新订单;挖掘老客户,获取利益……总之,Web页面内容所显示的即可采集进行分析形成可视化为企业所用。

    探码Web数据源采集分析系统主要采用Ruby on Rails + vue.js + Bootstrap实现数据源分析系统的后台和前端展示的搭建。根据各行业的需求可将整体分为多个模块多种形式进行可视化。其主要的步骤:1、从目标Web文档中获得待采集信息;2、判断待采集信息类型是否是所需数据,3、剔除无用的、重复的信息数据,按照所需信息数据进行过滤校验;4、保存所需数据。

    探码Web数据源采集分析系统——采集

    其特征是利用云计算服务器协同工作,能快速采集大量数据,而且也避免了一台计算机硬件资源的瓶颈,另外对数据采集的要求越来越高,传统post采集不能解决的技术问题也逐步被解决,以探码Kapow/Dyson采集器为代表的新一代智能采集器,能模拟人的思维,模拟人的操作,从而彻底解决了ajax等技术难题,因为网页一般都是设计来给人浏览的,所以能模拟人的智能采集器工作起来就非常顺利,不论后台技术是什么,当数据最终显示在人的面前的时候,智能采集器就开始提取。这最终把计算机的能力发挥到了极致,使得计算机可以代替人做所有网页数据采集的工作。同时利用大数据云采集技术,把计算机的计算能力也发挥到了极致。

    探码Web数据源采集分析系统——分析

    主要是通过对既有数据源进行分类整理、栏目划分、字段拆解,形成一个完整的数据源分析报告,以及对采集到的信息数据进行智能分析最终通过数据源的分析,发现数据之间的关系、规律和取值范围,为数据采用任务做准备。

    探码Web数据源采集分析系统的优势

    1、全方位的采集

    只要是Web页面可以看见的内容都可以采集,采集的内容数据包括文字、图片、flash动画、视频等各类内容;

    2、可实现复杂的对象的采集

    可实现正文和回复内容的同时采集,一级页面二级页面内容也可轻松实现合并,采集的内容可以是分散在多个页面内,结果可以是复杂的父子表结构;

    3、采集速度比普通采集快

    探码Web数据源采集分析系统采用前沿先进的技术,可运行多条线程同时抓取采集,采集速度比普通采集快上很多倍;

    4、精准度高,覆盖面广

    只要能在Web页面中可以看到的内容,几乎都可以按照需要的格式、所需信息数据进行采集。

    5、数据可视化,结果输出多样化

    采集的信息数据可采用探码TMDash可视化,呈现给企业,简单易读易懂。

    互联网时代,先进的大数据,人工智能和深度学习等技术实现了互联网平台的数据接口,探码Web数据源采集分析系统能提供专业的数据采集服务,精准采集分析所需信息数据。

    注:Web数据源采集系统的原理类似于搜索引擎的爬虫,是合法的。

  • ?

    “最牛社保职工”发明采集系统 数据采集3分钟搞定

    Guy

    展开

    “最牛社保职工”发明采集系统

    社保卡数据采集,3分钟搞定 投用一年为安顺市民节约160万元

    市民在操作数据采集系统。

    “没想到这么方便,几分钟就能办好!”9月12日下午,安顺市社保局办事大厅内,市民王蕾站在社保卡制卡数据采集机前,刷身份证、输入电话号码、根据提示拍照,简单几个步骤,不到3分钟,社保卡信息已采集完毕。

    从“便民”出发萌生新创意

    这个让市民“少跑路”的信息采集“神器”,正是安顺市社会保险事业局网络管理科科长龙元鑫的新发明。

    据了解,以往参保人申请制作社会保障卡,需自费到指定的商业相馆拍照,再到社保经办机构服务窗口排队进行数据采集,如果相片不规范,还得返回相馆重拍,整个过程至少半天才能完成。

    从事社保工作15年来,看到参保人长时间排队等待,来回折腾于金融部门——社保机构——工作单位之间,2013年,计算机软件专业出身的龙元鑫萌生了一个想法:自己设计一个集信息采集和拍照于一体的系统!让群众办理业务少掏钱、少跑路、少耗时。

    说做就做,于是,龙元鑫开始了一场漫长的创造之旅。

    忍受3年的枯燥坚持研发

    构思、画图、设计控制板,自掏腰包购买相机、升降机、机柜,绘制电路图、制作电路板、编写程序控制硬件……而这些工作,龙元鑫都只能利用业余时间来完成。

    “家里客厅、卧室到处都是我要用的零件。”龙元鑫笑着说,“女儿也总是被我拉过来当模特试验拍照效果,后来一听到爸爸叫拍照就要躲”。并且,长期伏案导致才40岁出头的他犯了颈椎病,也正因为如此,家人免不了有些抱怨。

    时间一天天过去了,作品还总是有需要改进的地方,对于这个过程,龙元鑫用了两个字来总结——枯燥。远离了原来一起打羽毛球的朋友,没时间陪孩子,龙元鑫偶尔也想过放弃,第二天却又再次全身心地投入其中。

    投用一年为市民节约160万

    功夫不负有心人,2016年初,龙元鑫研制的“社保卡制卡数据采集系统”第一代开始投用,参保人只需3分钟就能完成信息录入。

    仅投用的第一年,该系统就采集了制卡人数据8万余条,将全市291.8万户籍人口持卡率提高了2.7个百分点。如按每拍摄一张制卡相片花费20元计算,仅拍照费用一项就为制卡人群节约了160万余元。

    “目前安顺户籍人口尚有183.4万人未制作社保卡,而这类人群大都居住在农村。”龙元鑫说,他接着对系统进行升级改造,2017年,体积缩小一半,重量约50斤,功能更完善的第二代、第三代便携“社保卡制卡数据采集系统”已覆盖全市98个乡镇,还有30多台可以随时带进高校、农村进行参保数据采集。

    初步预算,这一系统可为百姓节省3000多万元,将有效助力扩大社会保障。(实习生甘良莹 记者张光平 来源:贵州都市报)

  • ?

    智能制造工厂生产车间无线数据采集系统解决方案

    庞向露

    展开

    工业物联网无线数据采集系统,是一套具备终端数据采集,无线数据传输和数据应用分析等多功能的智能化数据采集和监控系统,它在市政供排水管网、供汽管网、热力管网、石油天然气管网、地下管沟监控;游泳池水箱水塔液位、大坝、河道水位、泵房浸水监控;蔬菜蘑菇、针金菇、水果、花卉、育苗等农业大棚智能环境监控;畜牧、家禽、水产等农业养殖智能环境监控;化工危化品石油天然气储罐区、电池、面粉仓库智能环境监控;电信机房、实验室、医院药房、生产车间、冷柜冰箱、图书馆、博物馆、档案室、粮库、烟草、酒糟酒曲酒窖等仓储馆藏智能环境监控;社区楼宇、港口工业园区、公园景区、校园广场、超市商场等大气环境质量智能监控;发动机、变频器等生产机器设备运行状态、仪器仪表能耗及生产缺料的智能监控等多个领域有着广泛的应用。

    近年来,工业物联网无线数据采集系统的发展趋势是简化终端结构,在数据采集终端与主机之间采用无线通信,以代替复杂、不灵活的现场布线。该阶段数据采集系统采用更先进的模块式结构,根据不同的应用要求,通过简单的增加和更改模块,并结合系统编程,就可以扩展或修改系统,满足不同领域的需要。

    针对工厂生产车间机器设备运行状态、运行工艺参数、运行能耗数据,以及管网运行状态数据、变配电系统运行数据、车间仓储库房环境参数等数据的采集、监控,深圳信立科技结合XL.SN无线传感器网络2.4GHz或433MHz模块技术、MES制造执行系统技术及无线传感器、无线测控装置RTU等,自主研发设计了一套工业版工厂生产车间无线数据采集系统解决方案,实现实时获取完整、准确的工厂生产制造过程中的各种数据,为企业提高生产制造管理提供基础数据,全面优化生产制造的管理手段、提高生产制造管理效率,向工业4.0靠近!

    一、系统功能

    1、采集设备运行状态:停止、待机、运行、故障、检修等等,以及发生的时间点;

    2、采集设备运行工艺参数:压力、温度、流量、转速、计数、风速、位移等;

    3、采集设备运行能耗:电流、功率、电能;汽、气消耗量;

    4、采集企业供水、供汽、空压、制冷等设备及相应管网的运行状态数据;

    5、采集企业变配电系统运行数据;

    6、监控车间环境参数,以及仓储库房环境参数。

    二、系统通讯方案

    1、XL.SN智能传感网络采集结构

    XL90物联网智能网关,可同时构建433MHz和2.4GHz两种不同结构的传感网络,用于接收终端采集的数据,并上传至服务器。其中433MHz用于跨车间、厂区内的数据传输,2.4GHz用于车间内的数据传输。

    2、XL.SN通讯网络方案

    a、XL90物联网智能网关通过2.4GHz或433MHz等方式读取节点设备数据后,进行协议转换、数据处理,通过局域网,上传数据至MES服务器;

    b、XL90物联网智能网关通过以太网,从第三方监控系统,如电力监控系统、EMS、DCS、智能楼宇系统等等,读取数据;

    c、MES服务器,或XL90物联网智能网关,通过以太网,将数据转发给第三方系统,如EMS、ERP等。如图2。

    3、物联网智能网关数据接入MES系统通讯方案

    XL90物联网智能网关通过企业局域网,和MES服务器通讯。 XL90智能网关和MES的通信协议,可选以下3种: 建议首选:XL/9E-RDF Redis数据交换协议; 建议次选:XL/9E-DF 数据库格式协议; 建议再次选:XL/9E-UDP 通信协议; 工业以太网通用协议:MODBUS TCP。(不太建议选择)

    三、系统解决方案

    1、设备信号采集

    配置XL60智能测装置,采集机器设备的运行信号,通过2.4GHz或433MHz方式上传,实现生产制造设备的信号采集。

    2、设备控制器的数据采集

    选配XL66智能转换器,读取机器设备控制装置及现场监控仪表采集的信号,通过2.4GHz或433MHz等方式接入传感网络。

    3、管道压力、温度,车间环境、仓储环境的气体浓度、温湿度采集

    选配XL61系列智能传感器,采集管道压力、温度,车间环境、仓储环境的气体浓度、温湿度,通过无线上传,并在需要的通道,出、入口设置声光报警器,或启动紧急设备。

    4、其他信号采集

    选配XL60智能测控装置,及XL68智能环境监测装置,采集火灾探测器、噪音传感器,光照传感器,液位变送器,压力变送器等等设备,以及系统原配的仪表数据。

    四、系统优势

    1、工厂生产车间无线数据采集系统建设过程中,无需布线,或减少布线数量,减少系统建设成本。

    2、系统所需的设备安装调试方便,设备支持手机调试,提高运营维护的效率。

    3、系统底层终端各种数据采集后统一接入企业MES系统,便于监控管理,提高企业生产管理效率。

    五、系统配套

    整个无线数据采集系统方案,根据应用需要配套的软硬件设备,包括XL90物联网无线智能网关、XL60智能测控装置RTU、XL68智能环境测控装置RTU、XL66智能转换器,以及XL61无线压力传感器、XL61无线温度传感器、XL61无线气体传感器、XL51无线温湿度传感器等无线传感器,还有MES制造执行系统软件。

    六、适用范围

    深圳信立科技设计的工业版工厂生产车间无线数据采集系统解决方案,适用于在我国珠三角、长三角、京津冀等沿海发达地区,以及重庆、成都、湖北、河南、安徽等内陆省份的电子加工制造、汽车制造、钢铁冶炼、机械装备、食品生产、医药生产等各行业制造业工厂。

  • ?

    携程用户数据采集与分析系统

    画窗

    展开

    一、携程实时用户数据采集系统设计实践

    随着移动互联网的兴起,特别是近年来,智能手机、pad等移动设备凭借便捷、高效的特点风靡全球,同时各类APP的快速发展进一步降低了移动互联网的接入门槛,越来越多的网民开始从传统PC转移至移动终端上。但传统的基于PC网站和访问日志的用户数据采集系统已经无法满足实时分析用户行为、实时统计流量属性和基于位置服务(LBS)等方面的需求。

    我们针对传统用户数据采集系统在实时性、吞吐量、终端覆盖率等方面的不足,分析了在移动互联网流量剧增的背景下,用户数据采集系统的需求,研究在多种访问终端和多种网络类型的场景下,用户数据实时、高效采集的方法,并在此基础上设计和实现实时、有序和健壮的用户数据采集系统。此系统基于Java NIO网络通信框架(Netty)和分布式消息队列(Kafka)存储框架实现,其具有实时性、高吞吐、通用性好等优点。

    1、技术选型和设计方案:

    一个典型的数据采集分析统计平台,对数据的处理,主要由如下五个步骤组成:

    图1、数据平台处理流程

    其中,数据采集步骤是最核心的问题,数据采集是否丰富、准确和实时,都直接影响整个数据分析平台的应用的效果。本论文关注的步骤主要在数据采集、数据传输和数据建模存储这三部分。

    为满足数据采集服务实时、高效性、高吞吐量和安全性等方面的要求,同时能借鉴互联网大数据行业一些优秀开源的解决方案,所以整个系统都将基于Java技术栈进行设计和实现。整个数据采集分析平台系统架构如下图所示:

    图2(数据采集分析平台系统架构)

    其中整个平台系统主要包括以上五部分:客户端数据采集SDK以Http(s)/Tcp/Udp协议根据不同的网络环境按一定策略将数据发送到Mechanic(UBT-Collector)服务器。服务器对采集的数据进行一系列处理之后将数据异步写入Hermes(Kafka)分布式消息队列系统。为了关联业务服务端用户业务操作埋点、日志,业务服务器需要获取由客户端SDK统一生成的用户标识(C-GUID),然后业务服务器将用户业务操作埋点、日志信息以异步方式写入Hermes(Kafka)队列。最后数据消费分析平台,都从Hermes(Kafka)中消费采集数据,进行数据实时或者离线分析。其中Mechanic(UBT-Collector)系统还包括对采集数据和自身系统的监控,这些监控信息先写入Hbase集群,然后通过Dashboard界面进行实时监控。

    (1)基于NIO的Netty网络框架方案

    要满足前面提到的高吞吐、高并发和多协议支持等方面的要求。我们调研了几种开源异步IO网络服务组件(如Netty、MINI、xSocket),用它们和NginxWeb服务器进行了性能对比,决定采用Netty作为采集服务网络组件。下面对它进行一些概要介绍:Netty是一个高性能、异步事件驱动的NIO框架,它提供了对TCP、UDP和文件传输的支持,Netty的所有IO操作都是异步非阻塞的,通过Future-Listener机制,用户可以方便的主动获取或者通过通知机制获得IO操作结果。

    图3(Netty框架内部组件逻辑结构)

    Netty的优点有:

    a、功能丰富,内置了多种数据编解码功能、支持多种网络协议。

    b、高性能,通过与其它主流NIO网络框架对比,它的综合性能最佳。

    c、可扩展性好,可通过它提供的ChannelHandler组件对网络通信方面进行灵活扩展。

    d、易用性,API使用简单。

    e、经过了许多商业应用的考验,在互联网、网络游戏、大数据、电信软件等众多行业得到成功商用。

    Netty采用了典型的三层网络架构进行设计,逻辑架构图如下:

    图4(Netty三层网络逻辑架构)

    第一层:Reactor通信调度层。该层的主要职责就是监听网络的连接和读写操作,负责将网络层的数据读取到内存缓冲区中,然后触发各种网络事件,例如连接创建、连接激活、读事件、写事件等,将这些事件触发到Pipeline中,再由Pipeline充当的职责链来进行后续的处理。

    第二层:职责链Pipeline层。负责事件在职责链中有序的向前(后)传播,同时负责动态的编排职责链。Pipeline可以选择监听和处理自己关心的事件。

    第三层:业务逻辑处理层,一般可分为两类:a. 纯粹的业务逻辑处理,例如日志、订单处理。b. 应用层协议管理,例如HTTP(S)协议、FTP协议等。

    我们都知道影响网络服务通信性能的主要因素有:网络I/O模型、线程(进程)调度模型和数据序列化方式。

    在网络I/O模型方面,Netty采用基于非阻塞I/O的实现,底层依赖的是JDKNIO框架的Selector。

    在线程调度模型方面,Netty采用Reactor线程模型。常用的Reactor线程模型有三种,分别是:

    a、Reactor单线程模型:Reactor单线程模型,指的是所有的I/O操作都在同一个NIO线程上面完成。对于一些小容量应用场景,可以使用单线程模型。

    b、Reactor多线程模型:Rector多线程模型与单线程模型最大的区别就是有一组NIO线程处理I/O操作。主要用于高并发、大业务量场景。

    c、主从Reactor多线程模型:主从Reactor线程模型的特点是服务端用于接收客户端连接的不再是一个单独的NIO线程,而是一个独立的NIO线程池。利用主从NIO线程模型,可以解决一个服务端监听线程无法有效处理所有客户端连接的性能不足问题。Netty线程模型并非固定不变的,它可以支持三种Reactor线程模型。

    在数据序列化方面,影响序列化性能的主要因素有:

    a、序列化后的码流大小(网络带宽占用)。

    b、序列化和反序列化操作的性能(CPU资源占用)。

    c、并发调用时的性能表现:稳定性、线性增长等。

    Netty默认提供了对GoogleProtobuf二进制序列化框架的支持,但通过扩展Netty的编解码接口,可以实现其它的高性能序列化框架,例如Avro、Thrift的压缩二进制编解码框架。

    通过对Netty网络框架的分析研究以及对比测试(见后面的可行性分析测试报告)可判断,基于Netty的数据采集方案能解决高数据吞吐量和数据实时收集的难点。

    》》点击阅读全文

  • ?

    NCTech推出虚拟数据采集系统iSTAR Pulsar

    晓绿

    展开

    位于爱丁堡的英国公司NCTech正在采用VR/AR并进行扩展,并提供360度真实成像系统来简化图像文档的工作流程,甚至可以将其用于远程设置。他们在这一领域的最新成果是推出全新的虚拟数据采集系统iSTAR Pulsar,以便在移动中捕获数据。

    iSTAR Pulsar设计用于车辆,无人机或步行时捕获360度数据。该系统设计简单易用,不需要任何摄影经验甚至电脑操作。iSTAR Pulsar应用程序提供了规划路线,以及在线查看和分享内容的能力。

    iSTAR Pulsar专门为捕捉360度移动数据而设计,并与索尼和英特尔联合开发。该系统可用于各种工业和智能城市应用。

    产品详情如下:

    无与伦比的11K球形分辨率将iSTAR Pulsar定义为几乎是标准8K球形系统像素分辨率的两倍,可提供6050万像素的全景图像。

    预先校准到亚像素级别与先进的深度分析算法相结合,确保在移动平台上实现最精确的全景拼接。

    iSTAR Pulsar针对移动平台进行了优化,可在处理过程中调整捕获速率,以提供一致的距离间隔,从而最大限度地减少数据存储和处理要求。

    全自动后处理流水线包括一个可选的自动水平仪稳定功能,以纠正步行捕捉时产生的任何俯仰和滚动。

    坚固的设计,耐候性和防震性,内置高精度GPS和IMU传感器,确保与GIS系统直接集成。

    先进的对称和非对称加密技术确保从采集到交付的端到端数据安全。

    NCTech在本周早些时候在伦敦Geo商业展上展示了iSTAR Pulsar ,并将在下个月初在加利福尼亚州阿纳海姆会议中心举行SPAR 3D Expo上展示他们的产品 。

    “只需轻敲一下,iSTAR Pulsar就可以提供全自动的360°全景图像拍摄功能。它不是传统意义上的摄像头,它捕获大量高分辨率数据,并连接到我们庞大的云处理管道,从捕获到交付提供全自动工作流程。”

电子数据采集系统

所有视频需要登录后,才能观看

请先登录您的帐号,即可完整播放,如果您尚未注册帐号,请先点击注册。

img

在线咨询

建站在线咨询

img

微信咨询

扫一扫添加
动力姐姐微信

img
img

TOP