做好数据分析需要考虑三个问题，数据从哪来，数据到哪去，数据怎么去？今天我们来讲讲数据怎么去的问题，也就是数据分析步骤。

一、定义

“勿忘初心，方得始终”，做数据分析前要想好针对的问题是什么，想通过数据分析解决什么问题，数据分析的结果能帮助你达到什么目的，对现阶段你的产品有何实际的意义。

基于分析目的确定分析范围。比如你想分析用户流失原因，你分析的范围就是流失的用户，你不能去分析新增的用户，再比如电商类产品，你想对高价值用户进行分析，那么什么是高价值用户，那么你可能确定范围：“xx年xx月xx号-xx年xx月xx号，购买次数5次以上，总金额在3000元以上的用户”，这些都是我们在数据分析之前需要确定的，只有范围确定清楚了，分析的数据才具有指导意义。

规划分析的进度和质量。比如说你要做数据的采集，你就需要考虑清楚用什么样的技术手段采集数据，用什么样的方法进行分析，然后这个过程中产生的误差多大范围内是可接受的，或者是自身有了预判，我知道这种数据分析方式会带来什么样的影响，对最后的结论带来多少干扰。

二、测量

测量包含收集获取数据和数据预处理。

收集获取数据。是用问卷的方式定量分析？还是从服务器调取日志进行分析...，这些都是数据的来源

预处理：比如说做调查问卷，对于回收来的问卷我们需要判断哪些数据是有效的，哪些数据是无效的，比如调查问卷共15道题，用户就答了一道题，这个就属于无效问卷，需要剔除出去，这个时候他的数据是不完整的，放进去反而会影响最终的数据结果。同样对数据库的数据也需要预处理，比如说你想统计新增用户，但是来了很多羊毛党用户，这部分用户对你是没有价值的，也需要处理掉。预处理的好坏，直接决定数据分析结果的质量。

三、分析

分析包含对数据的统计描述和针对问题的归纳和总结。

数据的统计描述。统计是对数据的定量分析，描述是对数据的定性分析，就是对你的数据进行定性和定量的客观性描述。

问题的归纳总结。这个是最重要的，也就是拿出我们的结论，数据本身没有价值，数据分析的结果才有价值。

四、改进

改进就是找到问题的解决方案和降低负面影响。

给出解决方案。比如最近产品用户流失比较厉害，你通过调查问卷和用户访谈了解用户流失原因，当得到分析结果以后，你需要给出解决方案。是你的体验没做好，还是竞争对手挖墙脚，亦或是你的商品价格提高了...这些都是原因，找到主要原因，给出专业的解决方案，老板要的是方案，不关心你分析的过程。

降低负面影响。比如电商的购物流程，浏览商品--》加入购物车--》下单--》支付--》完成购买，你通过漏斗模型分析，发现从加入购物车到下单流失很多，你通过数据分析发现流失的原因是设计上的问题，那么就可以重新优化设计方案，降低负面影响。

五、控制

数据分析是一个持续性的过程，所以需要持续的跟踪反馈，比如做数据的日报、周报、月报，它是一个非常持久的工作，而且数据分析的结果发出去以后，不同的人可能会有不同的看法，那么我们产品经理就需要收集不同的观点。

更新迭代。更新迭代是我们产品经理的一份重要的工作内容，不论是功能上的更新迭代，还是数据上的更新迭代。有的人可能说为什么要做数据上的跟踪迭代呢？因为数据具有时效性，我们分析的往往是一个时间段内的数据，数据会随着时间的推移发生变化，根据这些变化，我们需要做一轮新的数据分析。

（图片来源于网络）

作者：苏格兰折耳喵

来源： 运营喵是怎样炼成的 （yymzylc）

（温馨提示：图片显示毛糙和不清楚，是分辨率过高的缘故，点击图片，即可看到高清大图。 ）

本文将对一个案例进行从数据采集、数据清洗、数据分析再到数据可视化的全流程分析，力求条理清晰的展现外部数据分析的强大威力。以下是本文的写作框架：

1 分析背景

1.1 分析原理---为什么选择分析虎嗅网

在现今数据爆炸、信息质量良莠不齐的互联网时代，我们无时无刻不身处在互联网社会化媒体的“信息洪流”之中，因而无可避免的被它上面泛滥的信息所“裹挟”，也就是说，社会化媒体上的信息对现实世界中的每个人都有重大影响，社会化媒体是我们间接了解现实客观世界和主观世界的一面窗户，我们每时每刻都在受到它的影响。

综合上述两类情形，可以得出这样的结论，透过社会化媒体，我们可以观察现实世界：

由此， 社会化媒体是现实主客观世界的一面镜子，而它也会进一步影响人们的行为，如果我们对该领域中的优质媒体所发布的信息进行分析，除了可以了解该领域的发展进程和现状，还可以对该领域的人群行为进行一定程度的预判。

鉴于此种情况，作为互联网从业者的笔者想分析一下互联网行业的一些现状，于是想到了虎嗅网。

虎嗅网创办于2012年5月，是一个聚合优质创新信息与人群的新媒体平台。该平台专注于贡献原创、深度、犀利优质的商业资讯，围绕创新创业的观点进行剖析与交流。虎嗅网 的核心，是关注互联网及传统产业的融合、一系列明星公司（包括公众公司与创业型企业）的起落轨迹、产业潮汐的动力与趋势。

因此，对该平台上的发布内容进行分析，对于研究互联网的发展进程和现状有一定的实际价值。

1.2 本文的分析目的

笔者在本项目中的分析目的主要有4个：

（1）对虎嗅网内容运营方面的若干分析，主要是对发文量、收藏量、评论量等方面的描述性分析；

（2）通过文本分析，对互联网行业的一些人、企业和细分领域进行趣味性的分析；

（3）展现文本挖掘在数据分析领域的实用价值；

（4）将杂芜无序的结构化数据和非结构化数据进行可视化，展现数据之美。

1.3 分析方法---分析工具和分析类型

本文中，笔者使用的数据分析工具如下：

Python3.5.2（编程语言）

Gensim（词向量、主题模型）

Scikit-Learn（聚类和分类）

Keras（深度学习框架）

Tensorflow（深度学习框架）

Jieba(分词和关键词提取)

Excel（可视化）

Seaborn（可视化）

新浪微舆情（情绪语义分析）

Bokeh（可视化）

Gephi（网络可视化）

Plotly（可视化）

使用上述数据分析工具，笔者将进行2类数据分析：第一类是较为传统的、针对数值型数据的描述下统计分析，如阅读量、收藏量等在时间维度上的分布；另一类是本文的重头戏---深层次的文本挖掘，包括关键词提取、文章内容LDA主题模型分析、词向量/关联词分析、DTM模型、ATM模型、词汇分散图和词聚类分析。

2 数据采集和文本预处理

2.1 数据采集

笔者使用爬虫采集了来自虎嗅网主页的文章（并不是全部的文章，但展示在主页的信息是主编精挑细选的，很具代表性），数据采集的时间区间为2012.05~2017.11，共计41,121篇。采集的字段为文章标题、发布时间、收藏量、评论量、正文内容、作者名称、作者自我简介、作者发文量，然后笔者人工提取4个特征，主要是 时间特征 （时点和周几）和 内容长度特征 （标题字数和文章字数），最终得到的数据如下图所示:

2.2 数据预处理

数据分析/挖掘领域有一条金科玉律：“Garbage in, Garbage out”，做好数据预处理，对于取得理想的分析结果来说是至关重要的。本文的数据规整主要是对文本数据进行清洗，处理的条目如下：

（1） 文本分词

要进行文本挖掘，分词是最为关键的一步，它直接影响后续的分析结果。笔者使用jieba来对文本进行分词处理，它有3类分词模式，即全模式、精确模式、搜索引擎模式：

· 精确模式：试图将句子最精确地切开，适合文本分析；

· 全模式：把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；

· 搜索引擎模式：在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。

现以“新浪微舆情专注于社会化大数据的场景化应用”为例，3种分词模式的结果如下：

【全模式】: 新浪/ 微舆情/ 新浪微舆情/ 专注/于/ 社会化/ 大数据/ 社会化大数据/ 的/ 场景化/ 应用

【精确模式】: 新浪微舆情/ 专注/于/ 社会化大数据/ 的/ 场景化/ 应用

【搜索引擎模式】：新浪，微舆情，新浪微舆情，专注，于，社会化，大数据，社会化大数据，的，场景化，应用

为了避免歧义和切出符合预期效果的词汇，笔者采取的是精确（分词）模式。

（2） 去停用词

这里的去停用词包括以下三类：

标点符号：， 。！ /、*+-

特殊符号：▲等

无意义的虚词： “the”、“a”、“an”、“that”、“你”、“我”、“他们”、“想要”、“打开”、“可以”等

（3） 去掉高频词、稀有词和计算Bigrams

去掉高频词、稀有词是针对后续的主题模型（LDA、ATM）时使用的，主要是为了排除对区隔主题意义不大的词汇，最终得到类似于停用词的效果。

Bigrams是为了自动探测出文本中的新词，基于词汇之间的共现关系---如果两个词经常一起毗邻出现，那么这两个词可以结合成一个新词，比如“数据”、“产品经理”经常一起出现在不同的段落里，那么，“数据_产品经理”则是二者合成出来的新词，只不过二者之间包含着下划线。

3 描述性分析

该部分中，笔者主要对数值型数据进行描述性的统计分析，它属于较为常规的数据分析，能揭示出一些问题，做到知其然。

3.1 发文数量、评论量和收藏量的变化走势

从下图可以看出，在2012.05~2017.11期间，以季度为单位，主页的发文数量起伏波动不大，在均值1800上下波动，进入2016年后，发文数量有明显提升。

此外，一头（2012年第二季）一尾（2017年第四季）因为没有统计完全，所以发文数量较小。

下图则是该时间段内收藏量和评论量的变化情况，评论量的变化不愠不火，起伏不大，但收藏量一直在攀升中，尤其是在2017年的第二季达到峰值。收藏量在一定程度上反映了文章的干货程度和价值性，读者认为有价值的文章才会去保留和收藏，反复阅读，含英咀华，这说明虎嗅的文章质量在不断提高，或读者的数量在增长。

3.2 发文时间规律分析

笔者从时间维度里提取出“周”和“时段”的信息，也就是开题提到的“人工特征”的提取，现在做文章分布数量的在“周”和“时”上的交叉分析，得到下图：

上图是一个热力图，色块颜色上的由暖到冷表征数值的由大变小。很明显的可以看到，中间有一个颜色很明显的区域，即由“6时~19时”和“周一~周五”围成的矩形，也就是说，发文时间主要集中在工作日的白天。另外，周一到周五期间，6时~7时这个时间段是发文的高峰，说明虎嗅的内容运营人员倾向于在工作日的清晨发布文章，这也符合它的人群定位---TMT领域从业、创业者、投资人，他们中的许多人有晨读的习惯，喜欢在赶地铁、坐公交的过程中阅读虎嗅讯息。发文高峰还有9时-11时这个高峰，是为了提前应对读者午休时间的阅读，还有17时~18时，提前应对读者下班时间的阅读。

3.3 相关性分析

笔者一直很好奇，文章的评论量、收藏量和标题字数、文章字数是否存在统计学意义上的相关性关系。基于此，笔者绘制出能反映上述变量关系的两张图。

首先，笔者做出了标题字数、文章字数和评论量之间的 气泡图 （圆形的气泡被六角星替代，但本质上还是气泡图）。

上图中，横轴是文章字数，纵轴是标题字数，评论数大小由六角星的大小和颜色所反映，颜色越暖，数值越大，五角星越大，数值越大。从这张图可以看出，文章评论量较大的文章，绝大部分分布于由文章字数6000字、标题字数20字所构成的区域内。虎嗅网上的商业资讯文章大都具有原创、深度的特点，文章篇幅中长，意味着能把事情背后的来龙去脉论述清楚，而且标题要能够吸引人，引发读者的大量阅读，合适长度标题和正文篇幅才能做到这一点。

接下来，笔者将收藏量、评论量和标题字数、文章字数绘制成一张3D立体图，X轴和Y轴分别为标题字数和正文字数，Z轴为收藏量和评论量所构成的 平面 ，通过旋转这个3维的Surface图，我们可以发现收藏量、评论量和标题字数、文章字数之间的相关关系。

注意，上图的数值表示和前面几张图一样，颜色上的由暖到冷表示数值的由大到小，通过旋转各维度的截面，可以看到在正文字数5000字以内、标题字数15字左右的收藏量和评论量形成的截面出现“华山式”陡峰，因而这里的收藏量和评论量最大。

3.4 城市提及分析

在这里，笔者通过构建一个包含全国1~5线城市的词表，提取出经过预处理后的文本中的城市名称，根据提及频次的大小，绘制出 一张反映城市提及频次的地理分布地图 ， 进而间接地了解各个城市互联网的发展状况（一般城市的提及跟互联网产业、产品和职位信息挂钩，能在一定程度上反映该城市互联网行业的发展态势）。

上图反映的结果比较符合常识，北上深广杭这些一线城市的提及次数最多，它们是互联网行业发展的重镇。值得注意的是，长三角地区的大块区域（长江三角洲城市群，它包含 上海 ， 江苏省 的 南京 、 无锡 、 常州 、 苏州 、 南通 、 盐城 、 扬州 、 镇江 、 泰州 ， 浙江省 的 杭州 、 宁波 、 嘉兴 、 湖州 、 绍兴 、 金华 、 舟山 、 台州 ， 安徽省 的 合肥 、 芜湖 、 马鞍山 、 铜陵 、 安庆 、 滁州 、 池州 、 宣城 ）呈现出较高的热度值，直接说明这些城市在虎嗅网各类资讯文章中的提及次数较多，结合国家政策和地区因素，可以这样理解地图中反映的这个事实：

长三角城市群是“一带一路”与长江经济带的重要交汇地带，在中国国家现代化建设大局和全方位开放格局中具有举足轻重的战略地位。中国参与国际竞争的重要平台、经济社会发展的重要引擎，是长江经济带的引领发展区，是中国城镇化基础最好的地区之一。

长三角城市群是“一带一路”与长江经济带的重要交汇地带，在中国国家现代化建设大局和全方位开放格局中具有举足轻重的战略地位。中国参与国际竞争的重要平台、经济社会发展的重要引擎，是长江经济带的引领发展区，是中国城镇化基础最好的地区之一。

接下来，笔者将抽取文本中城市之间的 共现关系 ，也就是城市之间两两同时出现的频率，在一定程度上反映出城市间经济、文化、政策等方面的相关关系，共现频次越高，说明二者之间的联系紧密程度越高，抽取出的结果如下表所示：

将上述结果绘制成如下动态的流向图：

由于虎嗅网上的文章大多涉及创业、政策、商业方面的内容，因而这种城市之间的共现关系反映出城际间在资源、人员或者行业方面的关联关系，本动态图中，主要反映的是北上广深杭（网络中的枢纽节点）之间的相互流动关系和这几个一线城市向中西部城市的单向流动情形。流动量大、交错密集的区域无疑是中国最发达的3个城市群和其他几个新兴的城市群：

京津冀城市群

长江三角洲城市群

珠江三角洲城市群

中原城市群

成渝城市群

长江中游城市群

上面的数据分析是基于数值型数据的描述性分析，接下来，笔者将进行更为深入的文本挖掘。

4 文本挖掘

数据挖掘是从有结构的数据库中鉴别出有效的、新颖的、可能有用的并最终可理解的模式；而文本挖掘（在文本数据库也称为文本数据挖掘或者知识发现）是从大量非结构的数据中提炼出模式，也就是有用的信息或知识的半自动化过程。

本文的文本挖掘部分主要涉及高频词统计/关键词提取/关键词云、文章标题聚类、文章内容聚类、文章内容LDA主题模型分析、词向量/关联词分析、ATM模型、词汇分散图和词聚类分析。

4.1 关键词提取

对于关键词提取，笔者没有采取词频统计的方法，因为词频统计的逻辑是：一个词在文章中出现的次数越多，则它就越重要。因而，笔者采用的是 TF-IDF （termfrequency–inverse document frequency）的关键词提取方法：

它用以评估一字/词对于一个文件集或一个语料库中的其中一份文件的重要程度，字/词的重要性会随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。

由此可见，在提取某段文本的关键信息时，关键词提取较词频统计更为可取，能提取出对某段文本具有重要意义的关键词。

下面是笔者利用jieba在经预处理�...

大数据预处理技术

1.目前存在四种主流的数据预处理技术：数据清理、数据集成、数据规约和数据变换。

2.数据处理的主要任务

（1）数据处理的主要步骤：数据清理、数据集成、数据规约和数据变换。

（2）数据清理例程通过填写缺失值、光滑噪声数据、识别或者删除离群点并且解决不一致性来“清理数据”。

（3）数据集成过程将来自多个数据源的数据集成到一起。

（4）数据规约的目的是得到数据集的简化表示。数据规约包括维规约和数值规约。

（5）数据变换使用规范化、数据离散化和概念分层等方法使得数据的挖掘可以在多个抽象层上进行。数据变换操作是引导数据挖掘过程成功的附加预处理过程。

3.数据清理

（1）缺失值

对于缺失值的处理一般是想法设法把它补上，或者干脆弃之不用。一般处理方法有：忽略元组、人工填写缺失值、使用一个全局变量填充缺失值、使用属性的中心度量填充缺失值、使用与给定元组属同一类的所有样本的属性均值或中位数、使用最可能的值填充缺失值

（2）噪声数据

噪声是被测量变量的随机误差或方差。去除噪声、使数据“光滑”的技术：分箱、回归、离群点分析

（3）数据清理的过程

数据清理过程主要包括数据预处理、确定清理方法、校验清理方法、执行清理工具和数据归档。

数据清理的原理是通过分析“脏数据”产生的原因和存在形式，利用现有的技术手段和方法去清理“脏数据”，将“脏数据”转化为满足数据质量或应用要求的数据，从而提高数据集的数据质量。

数据分析主要有两种方法：数据派生和数据挖掘。

数据集成

1.实体识别

2.冗余和相关分析

冗余是数据集成的另一个重要问题。有些冗余是可以被相关分析检测到的，例如，数值属性，可以使用相关系数和协方差来评估一个属性随着另一个属性的变化。

3.数据冲突的检测与处理

数据变换与数据离散化（重点）

1.数据变换的常用方法

（1）中心化变换。中心化变换是一种坐标轴平移处理方法。

（2）极差规格化变换。规格化变换是从数据矩阵的每一个变量中找出其最大值和最小值，且二者的差称为极差。

（3）标准化变换。标准化变换是对变量的数值和量纲进行类似于规格化变换的一种数据处理方法。

（4）对数变换。对数变换是将各个原始数据取对数，将原始数据的对数值作为变换后的新值。对数变换的用途：使服从对数正态分布的资料正态化；将方差进行标准化；使曲线直线化，常用于曲线拟合。

2.数据离散化

数据离散化的目的：

（1）算法需要。例如，决策树和朴素贝叶斯本身不能直接使用连续型变量

（2）离散化可以有效克服数据中隐藏的缺陷，使模型结果更加稳定。

（3）有利于对非线性关系进行诊断和描述。

数据离散化的原则：

（1）等距

等距可以保持数据原有的分布，段落越多对数据原貌保持得越好。

（2）等频

等频处理则把数据变换成均匀分布，但其各段内观察值相同这一点是等距分割做不到的。

（3）优化离散

需要把自变量和目标变量联系起来考察。切分点是导致目标变量出现明显变化的折点。常用的检验指标有信息增益、基尼指数或WOE（要求目标变量是两元变量）。

数据离散化方法：

聚类

决策树

相关分析（ChiMerge）

不规则的 IoT 时间序列数据

在 IoT 中，数据通常会先通过传感器或其它相连的设备进行采集，然后被发送到云端，以做进一步的处理、分析，或者作为构建智能 APP 的原型。

由于 IoT 设备发送数据的时间间隔不是固定的，所以 IoT 时间序列数据相对它们的采样率来时是高度不规律的 —— 设备间或者跨设备。这可能会导致处理和分析数据变得非常麻烦，尤其是当多个传感器的数据结合在一起被分析的时候。

因此，将不规则、不均匀的时间序列数据重采样为一致的、规律的数据是物联网中数据预处理的一个重要步骤，处理好这个步骤能极大地促进对数据的连续处理过程。

WATTx 是柏林的一家合资企业，专注于包块 IoT 在内的深度技术。在我们的一个最新项目中，我们在一个安装了数百个传感器的建筑物中建立了一个能源优化的原型。这些传感器收集温度、湿度、光照和运动等信息。你可以在下图中看到其中一个楼层的设置地图：

智能办公室布局

分析这些来自办公室传感器的数据，我们可以发现一个有趣的现象：

日常温度平均值曲线图

该图描述了平均温度曲线构成的簇。该图显示表明，在大量的房间中，夜间和白天都存在过热现象，进一步表明通风系统没有达到最优化，从而造成了能源浪费。

使用 Pandas 重采样

在进行类似上面的那样分析数据前，还有一个非常关键的预处理步骤 —— 将不规律的事件序列数据转换为规律的、一致的数据。这样做能避免我们在随后处理各设备间不规律、不一致的时间戳时所会遇到的痛苦。

在 WATTx，我们使用得最多的是 Python 及其数据科学库，因此，完成重采样功能的最佳选择自然而然就是 Pandas。

我们先来看看一个简单的使用不均匀间隔数据点模拟出来的温度曲线的例子：

现在我们来函数 mean 和线性插值来对这个温度曲线进行频率为 50 分钟（任意选择的）的重采样。

pd.resample(tseries, '50min', 'mean').interpolate()

如上图所示，时间序列的重采样结果与原始数据的结果不完全匹配了，而是有了一定的漂移。这是由于 pandas 的重采样函数是基于时间操作完成的，这使得它很容易收到原始主句和预期目标频率的影响。

两步完成 IoT 重采样处理

为了克服这个矛盾，我们提出了一个解决方案，解决了我们所有需要线性插值的传感器所面临的这个的问题。

该方法由两步重采样过程组成，我们（1）首先使用 mean 作为聚合函数和线性插值将原始时间序列上采样为一个高频率（例如 1 分钟或者 1 秒，这主要依赖于初始数据的分辨率），（2）然后使用一个简单的 forward 填充聚合将该数据再下采样为所预期的目标频率。

将这个方案运行到例子中的曲线，其代码类似这样的：

tmp = pd.resample(tseries, '1min', 'mean').interpolate()

再来看看执行结果：

显然，这两步重采样过程的结果曲线与底层数据匹配得更好，而且它在我们所有需要线性重采样的物联网传感器中都是一致的。

增加鲁棒性：处理缺失的数据

我们想解决的一个额外的情形是当时间序列中有非常大的空隙中缺失数据时进行重采样的情形。这种情形可能是 传感器在几个小时内处于离线状态。

下面是模拟传感器在夜间（大约晚上 10 点到凌晨 6 点）掉线时的一个温度曲线的例子：

如果我们对这些时间序列重采样，其数据点结果将会是：

很显然，重采样的数据与数据丢失期间的真实温度数据不匹配。为了涵盖这种情形，我们引进了一个参数，用来表示为了能够插值，数据缺失的间隔最大为多大。如果间隙大于这个指定的阈值（我们发现在我们所遇到的情形中，1 小时是最佳选择），数据点不会被插值，而是返回一个 NaN（Not a Number）值代替。

加上这个功能，我们就能得到我们想要的结果了；没有数据传输的期间返回的采样数据是空值：

导读：在临床路径电子化过程中，提出基于临床数据的采集与预处理方法，为临床路径的优化与构建奠定基础。从临床数据利用角度，开展临床数据采集以及为保证数据质量如何进行数据预处理工作。从数据采集过程中的结构规范、术语规范、数据采集、核查与预处理过程的要素等关键问题提出了处理办法。海量的临床数据为基于临床需求的数据挖掘和数据采集奠定了坚实的基础，也使基于临床数据挖掘方法构建基于循证医学的临床路径成为可能。

随着各级医院信息化建设的迅猛发展，以纸质表单为主要形式的临床路径管理方式已不能满足数字化管理的要求，临床路径的电子化势在必行。临床路径电子化并不是简单的用电子表单代替纸媒表格，需要与各个临床业务系统在业务层面作交换，在临床决策与多学科协作方面必定要提供足够的支持。

海量临床数据为开展基于循证的临床路径的实施成为可能。依托于大量的临床证据，做到真正的循证医学，避免了在制定与优化临床路径模板时的随意性。从临床数据利用角度阐述如何开展临床数据采集以及为保证数据质量如何进行数据预处理工作。

临床数据采集

数据采集是影响临床研究质量的关键环节之一，临床数据的采集工具电子数据采集系统（electronic data capture，EDC）随着医疗信息化的快速发展目前已经普遍使用。通过EDC实现数据采集具有节约时间和人力物力、提高效率、保证质量和可靠性等优势。临床数据的采集包括标准规范的选择和临床数据的选择。

标准规范为解决异源异构数据融合的问题，临床数据的多项标准规范应运而生，其中临床数据交换标准协会（Clinical Data Interchange Standards Consortium，CDISC）数据标准涵盖临床试验全流程，并广泛使用和采纳，临床试验的效率和质量也相应提升。CDISC数据标准包括结构规范和术语规范。

结构规范在数据组织形式中，有两种不同的结构：水平型数据结构和垂直型数据结构。从数据库设计范式角度看，垂直录入才是应该采用的数据录入模式，会更符合数据直接导入的需求。

术语规范术语规范是临床数据采集与利用的基础，临床术语的应用是临床信息从采集到管理利用的保证数据完整性与规范性的重要环节。目前，临床试验广泛采用的《系统化临床医学术语集》已广泛应用于医疗信息系统中。而中医的临床术语集还在发展、完善阶段，已有专家分析中医临床常用术语质量的基本要求及中医临床常用术语在完整性、规范性、概念关系等方面的常见问题，提出利用本体技术建立中医临床常用术语本体，并总结中医临床常用术语本体构建的关键技术环节。

支持临床路径电子化的数据采集基于循证的临床路径的制定与优化至少包括以下内容：诊断依据、治疗方案、标准住院日、变异依据、纳入/排除标准。而这些数据包含于以电子病历为核心的电子病历中，临床数据的数据来源及采集要点见表1。

表1 临床数据来源及采集要点

注：CPOE:计算机化医生医嘱录入系统, computerized physician order entry; RIS: 放射科管理信息系统, Radiology Information System; PACS: 影像归档和通信系统, Picture archiving and communication system; LIS,实验室信息系统, Laboratorial information system.

数据核查与预处理

数据质量核查真实、准确、完整和可靠是保证临床试验数据质量的基本原则。数据核查包括以下内容：违背方案核查、时间窗核查、逻辑核查、阈值范围核查、一致性核查、数据完整性核查等。数据核查后产生的质疑需要反馈给临床监查员或研究者。研究者对质疑做出回答后，数据管理员根据返回质疑答复对数据进行修改。

数据预处理数据预处理的过程包括缺失值处理和与数据标准化两个过程。

缺失值处理主要效应指标（有效性和安全性）原则上不应存在缺失值，应尽量避免非随机缺失。一般而言，若能判断数据缺失由完全随机缺失、随机缺失（MAR）造成的，可以采用末次观测值结转、基线观测值结转、均值填补、回归填补、多重填补等多种不同的方法。若是随机缺失或缺失值占的比例不超过5%，则可以不填补。还应简单说明一下不同填补方法的适应情况。需要说明的是，遵循保守原则的缺失数据处理措施更有利于控制潜在偏倚。

数据标准化 数据标准化过程就是把临床实践中收集的数据与标准字典中的词目进行匹配的过程。当出现的词目不能直接与字典相匹配时可以进行人工编码，对于医学编码员也无法确认的词目，可通过多方沟通以获得确切的编码。

面对临床路径电子化推广中建模与优化的难题，基于循证的临床路径构建已经成为临床路径研制与推广的重要研究方向。临床数据凝聚了临床经验与科技创新活动的成果，是传播卫生科学技术知识的重要载体，也是国家宝贵的知识财富，临床数据的分析挖掘是实施循证医学研究方法、总结临床诊疗规律、转化隐性的临床诊疗经验为可共享的显性知识的必要途径。只有通过规范的数据采集与预处理方法，才能保证海量的临床数据为基于临床需求的数据挖掘的可行性，也使基于临床数据挖掘方法构建基于循证医学的临床路径成为可能。

文章来源：《中国数字医学》杂志2018年第02期，作者及单位：王斌 陈迪 曹馨宇 周洪伟 史华新 张妮楠 谢琪，中国中医科学院中医临床基础医学研究所 中国中医科学院广安门医院医保办 中国中医科学院中医药数据中心。

欢迎关注，CHINC服务号获取最新大会消息

传播数字医学领域发展最新动态，关注医疗卫生信息化相关资讯。

长按扫码关注我们

提取的数据还不能直接拿来用？文件还没有被下载？格式等都还不符合要求？别着急，网页抓取工具火车采集器自有应对方案——数据处理。

网页抓取工具的数据处理功能包括三个部分，分别是内容处理、文件下载、内容过滤。下面依次给大家介绍：

1、内容处理：对从内容页面提取的数据进行替换、标签过滤、分词等进一步处理，我们可以同时添加多个操作，但这里需要注意的是，有多个操作时是按照从上到下的顺序来执行，也就是说，上个步骤的结果会作为下个步骤的参数。

下面来逐个介绍一下：

①提取内容为空：如果通过前面的规则无法准确提取或提取到的内容为空，则选择此项，此项应用后会使用正则匹配从原始页面中再次提取一次。

②内容替换/排除：将采集到的内容进行字符串替换，如需排除，则替换为空字符串即可，功能很灵活。如下图，可直接对内容进行替换，也可对字符串进行参数替换等（区别于工具栏中的同义词替换）。

③html标签过滤：过滤指定html标签，比如

④字符截取：通过开始和结束字符串对内容进行截取。适用于对已提取内容的截取调整。

⑤纯正则替换：如果一些内容（比如单一出现的文字）无法通过通用的内容替换来操作，那么则需要通过强大的正则表达式进行复杂的替换。

如“火爆的美式餐厅都在这里”，我们将其替换为“美式餐厅”，正则表达式如下：

⑥数据转换：包括将结果简转繁、将结果繁转简、自动转化为拼音和时间修正转化，共计四项处理。

⑦智能提取：包括提取第一张图片、智能提取时间、智能提取邮箱、智能提取手机号码、智能提取电话号码。

⑧高级功能：包括自动摘要、自动分词、自动分类、Http请求、字符编码转换、同义词替换、空内容缺省值、内容加前后缀、随机插入、运行C#代码、批量内容替换，统计标签字符串长度等一系列功能。

⑨补全单网址：将当前内容作为一个网址进行补全。

2、文件下载：可以自动探测并下载文件，可设置下载路径和文件名样式。

注意：文件下载中所指下载图片是源代码里有标准样式标签的图片地址。

比如是一个直接的图片地址http://locoy/logo.gif ,或者不规则的图片源码，采集器将会视为文件下载。

①将相对地址补全为绝对地址：勾选后会把标签采集到的相对地址补全为绝对地址。

②下载图片：勾选后源代码里的含标准样式的代码图片将被下载。

③探测文件真实地址但不下载：有时候采集到的是附件下载地址，而非真实的下载地址，点击后会有跳转。这种情况下勾选此项会将真实地址采集出来，但是只是得到下载地址并不下载。

④探测文件并下载：勾选后可以把采集到的任何格式的文件附件下载下来。

3、内容过滤：对于一些不符合条件的记录，可以通过设置内容过滤来删除或标记为未采。内容过滤有以下几个处理方法：

①内容不得包含和内容必须包含：可以设置多个词，支持选择所有条件都必须满足或满足其中一个条件即可。

②采集结果不得为空：该功能可以让某个字段不出现空内容。

③采集结果不得重复：该功能可以让某个字段不出现重复内容。设置此项前请确保没有采集过数据，或者需先清空采集数据。

④当内容长度小于(大于，等于，不等于)N时过滤：一个符号或一个字母或一个数字或一个汉字都计作一个。

注意：对于满足上述四条中的任何一条或者多条的情况下，可以在采集器的其他设置功能里设置直接删除此条记录，或把此条记录标记为未采集下次运行任务时会再次采集。

网页抓取工具火车采集器中配备一系列数据处理的好处是，当我们需要进行的只是一个很小的操作时，不需要再去写插件，去生成和编译，而是通过一步点击就可以将数据处理成我们需要的样子了。