FC-Gateway数据采集接口网关是北京华恒信远专门为工业标准通讯接口OPC Server软件、数据采集接口软件配套定制开发的一款嵌入式硬件产品，内置两个标准RS-232串口（其中一个串口可以通过跳线设置成RS-485）和两个RJ45以太网口，型号为Gateway-227B， 此外，还有Gateway-240B、Gateway-230B等嵌入式工控机型号。 该设备操作系统有Windows、Linux两种，其功能与特点如下： 1、OPC服务器：可连接DCS、PLC等控制系统，读写实时数据，包装成OPC Server工业标准通讯接口，提供给实时数据库系统、先进控制系统和MES系统集成商； 2、安全隔离：当数据采集接口网关为实时数据库系统提供实时数据时，它一般位于自动化控制系统和实时数据库服务器之间，由于数据采集接口网关采用了内置单向数据传输技术，可达到自动化控制系统和实时数据库服务器之间的安全隔离目的。 3、该产品操作系统、数据采集程序等均固化，不可修改。一旦被修改，重新启动后，自动恢复到初始状态，可防止病毒以及黑客软件攻击。 4、结构先进、安装方便，该产品高度1U，可以直接安装在标准机柜中，独特的散热技术，1U机箱有多个磁悬浮风扇散热。 5、数据采集冗余设计：支持双机双网冗余通讯。 6、可作为InfoPlus.21、PI、PHD等实时数据库系统的数据采集终端，也可写数据至关系数据库，为MIS、ERP等管理信息系统提供生产实时数据。

半个世纪以来，随着计算机技术全面融入社会生活，信息爆炸已经积累到了一个开始引发变革的程度。它不仅使世界充斥着比以往更多的信息，而且其增长速度也在加快，创造出了“大数据（BigData）”这个概念。如今，这个概念几乎应用到了所有人类智力与发展的领域中。

BigData是近来的一个技术热点，历史上，数据库、数据仓库、数据集市等信息管理领域的技术，很大程度上也是为了解决大规模数据的问题。被誉为数据仓库之父的BillInmon早在20世纪90年代就经常提及BigData。

21世纪是数据信息大发展的时代，移动互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围，各种数据正在迅速膨胀并变大。

近年来互联网、云计算、移动和物联网的迅猛发展。无所不在的移动设备、RFID、无

线传感器每分每秒都在产生数据，数以亿计用户的互联网服务时时刻刻在产生巨量的交互。

互联网（社交、搜索、电商）、移动互联网（微博）、物联网（传感器，智慧地球）、车联网、GPS、医学影像、安全监控、金融（银行、股市、保险）、电信（通话、短信）都在疯狂产生着数据：1）全球每秒钟发送2.9百万封电子邮件；2）每天会有2.88万个小时的视频上传到Youtube；3）推特上每天发布5千万条消息；4）每天亚马逊上将产生6.3百万笔订单；4）每个月网民在Facebook上要花费7千亿分钟；5）Google上每天需要处理24PB的数据。

我们在一个大数据的时代漩涡中，每天都有是以亿计的数据产生，如何获取这些数据，如何使用这些数据，如何用好这些数据，都是一个难题。之前遇到的一位做语言学研究的小姐姐，研究课题需要建立自己的语言数据库，每次都要在新闻网站上去搜索关键字的文章，然后复制黏贴下来，非常的辛苦和费事费时，我听说之后非常吃惊，问她这种机械却又累人的工作，为什么不让软件解决，而要自己一个个手动复制黏贴。她的回答是自己是学文科的，又不会写代码，又搞不懂编程，所以她只能自己辛苦一点了。听完她的回答之后，我很心痛，所以我立马给他推荐了一款软件，帮助她从复杂的复制黏贴工作中解脱出来。

这款软件对小白用户十分友好，智能模式只要输入网址就能帮忙采集了，是谷歌大牛回国写的一款软件，而且还是免费采集和导出的，现在把这个软件分享出来，希望对大家有所帮助。我会以新闻网站中国日报为例，为大家演示如何通过这款爬虫软件自动采集数据。

首先，需要下载安装软件，大家可以到官网上下载最新版本的软件，然后注册新用户登录，游客用户也可以采集数据，但是可能会丢失，建议还是注册新用户。

首先，复制需要采集的网址，打开软件输入网址，新建智能采集任务。

在智能模式下，我们输入网址后软件即可自动识别出页面上的数据并生成采集结果，每一类数据对应一个采集字段，可以右击字段进行相关设置，包括修改字段名称、增减字段、处理数据等。

由于在列表页上只展示了部分的新闻信息，如果需要采集具体的新闻内容，我们需要右击链接使用“深入采集”功能，跳转到详情页进行采集。

接着点击“保存并启动”按钮，可在弹出的页面中进行一些高级设置，包括定时启动、自动入库和下载图片，我们如果没有用到这些功能，可以直接点击“启动”运行任务。

数据采集完毕后我们可以导出数据，这款软件比较好的一点是不仅采集免费，而是可以导出多种格式的文档，对导出也没有什么限制。

为方便查看我们导出一个Excel2007的表格，我们可以看到数据质量还是挺高的，大家可以直接使用这些数据，也可以在这个基础上对数据进行加工处理。

ForeSpider 前嗅：手把手教你数据采集

ForeSpider是一款非常好用的数据采集软件，因为属于专业性工具，除了帮助文档外很少有使用教程。所有有很多人在使用的过程中遇到问题难以解决，今天给大家介绍ForeSpider数据采集系统的使用教程，希望能对大家的工作有所帮助。

教程的示例网站是大众点评，要得到50页内所有医院名称，该医院评论总数，医院总体星级，各项评分，医院评论的用户名，评论内容，评论时间，用户点评星级，获赞数量和回应数量。

首先我们先新建一个频道，我给它命名为大众点评，然后在频道配置里输入我们想要爬取数据的网址，需要在频道配置处输入想要得到数据的网址，大众点评需要开启cookie，从右面可以开启，网站不同有的不需要，视情况而定。 现在默认模板（1）就是我们要的网站页面，鼠标放在医院标题处如图，从左下角能看到医院的网址链接。

现在点一下右上角的采集预览，我们能得到整个页面的所有网页链接，下拉滚动条到这个位置就会发现跟上图相同格式的链接，这就是我们需要的所有医院的链接。

我们用不到的需要过滤一下，可以通过地址过滤和标题过滤方法筛选。点击软件右上角模板抽取配置里面的链接抽取，里面有地址过滤和标题过滤两个选项，点击地址过滤，软件右下角如图：

过滤规则选择包含，过滤串内输入想要得到的医院链接，后面这串数字我们用“\d”表示，用“\e”表示结束，例如https://dianping/shop/\d\e，这样就能采集网页内所有这种格式的网页链接。

当我们想要采集的网页下面有翻页的链接，就必须配置翻页。除了在右上角默认模板处抽取我们想要的得到的医院链接外，还要再新建一个链接抽取，抽取页面翻页的地址。

我们继续从采集预览处得到翻页的链接，过滤规则选择包含，通过观察发现几个链接的相同点，输入到过滤串里就能得到想要的翻页链接了。

第一层级的模板建好了，下面我们随便点进一个医院主页内，复制链接建立下一层级模板。在默认模板（2）的示例地址内输入医院主页的链接。

因为我们需要采集该医院所有用户评论，所以我们找到下面的“更多点评”，通过刚刚地址过滤的方法，过滤出更多点评的链接，并建立模板（3），示例地址输入刚刚过滤的得到的“更多点评”的网址。

注：点击链接抽取，看左下角关联模板处，一定要关联到下一层级的模板，如果是翻页的链接抽取，要关联自身模板，否则会数据采集失败。这点一定要注意。

这样模板的基本配置就完成了，下一步是建立表单，下图是我们的需求，红色字体我们能从模板二采集到，蓝色字体我们能从模板三采集到，所以我们需要建立两个表单。

点击表单配置，新建一个表单，添加一个网页主键如图，一定要勾选索引字段，键值唯一，主键字段三个选项，取值类型选择网页主键点击确定。

然后添加下一个字段如标题“title”

取值类型选择“选区内全部文本”，变量类型选择“string”，选择合适的字符长度点击确定。依次建立所有字段。

这是我建立的两个表单的所有字段，表单名称分别为“大众点评1”、“大众点评2”，建立好以后点击保存即可。点开模板配置，每一个模板对应相应的表单，右键模板二“添加数据抽取”，表单名称选择“大众点评1”。

同样在模板三处再添加另外一个数据抽取表单，添加好后如下图所示：

单击“title”，然后按住ctrl键同时鼠标左键点击对应标题，内容过多的话按住shift可以调整内容大小，选好后点击保存。

全部选取完后点击左上角的文件，然后全部保存。

下一步点击数据，连接数据库，然后再次点击数据，选择数据表，选择刚刚新建两个数据表的字段后创建表，创建好后勾选并确定，就可以进行数据采集了（如果表单有问题需要更改，改好后需要重新创建表单），速度慢可以点击设置里面的线程设置，设置多线程。

这只是一个简单的教程，软件还有很多强大的功能，祝大家使用愉快！

Y数据库建设动员部署会议

入村进行家系调查丶图谱绘制

东方圣城网讯（通讯员 王允欢）“Y-STR DNA数据库的建立可以帮助警方缩小排查范围，通过直接定位相关家族，锁定犯罪嫌疑人，大大提高公安机关社会治安防控和刑事犯罪打击能力。”9月26日，鱼山街道派出所王朋所长在召开Y-STR DNA数据库建设动员部署会议上如是说。

王朋指出，当前基因技术已经广泛运用于刑侦破案，但该项技术应用的前提是提取到疑犯本人的基因数据。如果此前犯罪嫌疑人未被警方控制过，数据库就没有他的信息，无法做出信息比对。而Y-STR DNA数据库的建立恰恰可以弥补这一空白。

“Y 染色体是男性特有的染色体，在男性父子及父系之间单向传承。所有同一父系的男性个体，包括父子、祖孙、叔侄、兄弟和堂兄弟等，都具有同源的Y染色体，包含着基因的族谱。通过Y染色体上的基因分析可以快速锁定一个家族，再结合其他信息，就能很快摸排到具体的嫌疑人。”王朋所长进一步解释道。

目前，鱼山街道派出所正积极落实县公安局统一安排部署，培训专职采集录入员6名，根据户籍系统初步确定辖区内行政村、自然村以及每个姓氏男性居民数量，分组深入辖区内农村、社区，对男性常住人口开展家系调查、图谱绘制和血样采集工作，预计2017年底之前将完成全部工作任务的50%。同时，数据采集工作采取终身负责制，以确保数据的准确性。

临床科研是每一位医生的必争之地，然而也是最痛的痛点之一。如何设计临床科研，如何积累有价值的科研数据，如何将收集的数据转换成科研的成果，并且将科研成果转换为公众健康意识是永恒的话题。

如何设计临床科研更多的是临床经验与方法学的结合，然而，如何积累有价值的科研数据更多的是执行层面的部分，包括如何设计CRFs、如何构造电子数据采集系统（EDC）、如何检查数据质量、清理和分析数据、整合数据库，也包括对数据录入员的管理等。串接这两部分的核心就是CRFs，也是医生的痛点所在。

痛点一：CRFs设计难度大，且耗时

CRFs的设计是临床科研项目的核心，根据某一研究目的确定需要收集的信息并且规定收集的整个标准流程。除了必要的科研想法和试验设计外，一些方法是可以降低设计CRFs难度的。

痛点二：数据收集成本高

每一个科研项目常有不同的CRFs设计，变量名或收集的流程可能存在很大的差异。

数据录入员进行数据收集前，需要耗时培训和长期适应才能保证对CRFs内问题的了解。这样无形增了科研项目执行的培训成本；另外，也容易出现理解错误而导致不合适的执行行为;数据需要重复收集。对于一个设计完备的数据库，可以用于一个领域内多方面的分析，首先，也许很多的科研并不需要重新收集数据；对于需要重新收集数据的临床科研，如何设计良好则可以从电子病例／医学仪器等方面获得高质量的共享数据；另外，也许发动患者主动录入数据是另一种突破，当然是通过直接的输入，通过可穿戴设备，又或者是社区医生的介入。当然如何调动患者积极性，如何保证数据正确性都是挑战的。

痛点三：各数据库间不认识

中国医学研究者拥有最多的病例数据，但又是最缺少数据的。怎么说呢?

1）创建CRFs时没有统一标准；

2）各CRFs间使用不同的标准，导致后期无法合并使用。

正因为数据间缺少一致性而导致了数据的分散而不可用，可谓是坐拥数据金山却无法享用的状态。

痛点四：数据分析成本高

同样是因为CRFs设计规范的差异，包括变量名、收集方式等，导致数据分析员分析每一个项目时都需要重新熟悉数据数据库，甚至重新进行编码；如果需要进行数据库合并更是难上加难。

关键：数据库必须保证一致性！

1. 统一变量名（数据编码）：编码的数据便于数据录入，帮助统计师对数据进行解释和分析；

2. 要求数据的一致性：包括日期、小数点、测量单位、选项设置（不明／不适用／不可用／未实施）等格式一致性；

3. 通用标识性变量和时间变量应该出现在CRFs或数据采集系统，至少包括方案编号、受试者ID、SiteID和访视日期；也可添加申办方ID、受试者姓名缩写、表单ID、CRF版本号等信息；

4. 对CRF内的问题进行详细说明，保证收集内容理解的一致性；

5. 根据统一标准／方法学进行CRF设计。

保证CRFs一致性的好处1.最大化的重复利用产生的数据、CRFs和电子数据库；同一治疗领域，科研目的也许千差万别，分析角度也大相径庭；但CRFs的内容却有很多可以重复利用的部分；如果保持所有CRFs具有相同的编码系统，统一的格式，将大大减少制作CRFs的时间；2.减少研究机构重复培训和数据质疑的数量，提高首次填写的一从性和数据质量；3.基于对CRFs标准的熟悉度，可以提高数据录入的速度和质量，并减少内部培训的负担；4.可使数据元的再利用成为可能，减少系统间的重复作业，并改善数据的可靠性，同时收集到的数据可以相互匹配轻松扩大数据库信息量；5.降低统计分析的难度；收集的数据除了可能需要满足FDA提交数据的要求外，最重要的莫过于导出数据进行统计分析。那么CRFs的设计将直接决定数据导出的友好性。如果一个设计精良，编码统一的CRFs将大大降低统计分析的难度，提高准确性；6.促进数据分享，保障数据存储。

具体该怎么设计呢?

LinkLab CR-EDC ，最符合医生习惯的新型电子数据库采集系统，“一站式”医学科研管理工具，满足你构建电子数据库的一切需求，强大的医学科研团队，为你带来完美体验！

LinkLab为您提供专业项目模版，举例：

简单到仅需要点击“使用模版”，即可完成电子数据库的制作！那可是一整套的表单哦！！！

当然，如果您有自己的想法，也欢迎直接自定义项目，也很简单呢～～简单到直接拖拽问题完成问卷编辑~~

一旦完成，还可以导出PDF版本，用于纸质版使用。LinkLab还有更多强大功能，等待你的使用哦~~

构建医学科研数据库，有LinkLab就够了！！！

（声明：LinkLab原创文章，未经允许禁止转载。）