对于临床医生在日常诊疗工作的同时，还承担众多医学科研任务这个话题，业内至今仍颇多争议。

现阶段，三级教学医院医生将大量的精力投入在病人诊治、自身学习以及医学教学工作中，能够开展科研项目的时间少之又少，而基层医院医生开展科研的能力、接触有价值病例的机会又相对不足,如此得到的科研成果也差强人意。

临床医生到底应该以诊疗工作为主，还是学术科研为主？两者在促进临床诊疗和科研水平的提高中，本应相辅相成，互相促进，但现实面临的问题，又困扰着医生群体、管理部门、乃至整个社会民众。

随着医疗大数据领域技术的进步和实际应用的快速发展，这一矛盾能否解决，并充分的互相反哺和促进？基于这样的问题，动脉网与医疗工作者和大数据领域专家进行了对话，希望能从他们那里，探索新形式下的思考和方向。

一、临床诊疗与科研脱节：数据处理是瓶颈

现阶段，国内医疗资源还是集中在大的三甲医院中，这导致医生在临床上的工作强度非常大。要在临床工作中穿插完成科研工作，时间和精力的分配面临着巨大压力。

哈尔滨医科大学胸外科马建群教授告诉记者：“我个人科研时间大概占30%左右，大部分时间还是投入到临床工作中。明年我们医院准备引进一位专门从事科研的人员，以提高我们科室的科研效率。

要让临床医生只用30%左右的时间产出高质量的科研成果，显然不太现实。过去我们写科研论文先要查阅文献、参加外部学术会议、了解国际学术动态、确定科研方向，然后要设计研究方案，收集临床病例数据，查阅病理切片和其他检查报告，或开展病例治疗和随访工作。

哈尔滨医科大学胸外科马建群教授，专业方向为肺癌和食管癌诊治

特殊病例报道由于数量少，分析一般很快，一两周就能完成；临床经验总结的回顾性论文普遍要慢一些，一般花费1到2个月左右时间；如果是科研课题，那么需要花费的时间就更长了，至少要半年时间收集、整理和分析数据、然后做统计学处理，整个研究基本以年度计算。但从科研价值上看，前瞻性、随机性的科研课题比起前两种会更具指导意义。”

哈尔滨医科大学放疗科刘晖教授则认为：“医生要做临床研究，随访是一个非常核心的部分。如总生存期 (OS，Overall Survival)、五年生存周期、不良反应等评判都需要长期的随访支撑，离开了随访的数据积累，临床研究价值根本无从谈起。

哈尔滨医科大学放疗科刘晖教授，专业方向为头颈部肿瘤放射治疗

过去我们做科研主要和医院病案室进行衔接，我们提出申请及患者姓名，由病案室给我们随访。一个小型课题至少也得50份病历，大一些的课题可能就要数百份病历，就单单调取病案号都要很长时间。病历调出之后，才是病案室的随访环节。假如这数百个患者的随访得到的信息不完善，还得重新补充随访，这耗费的时间就更长了。”

首先，临床工作占据了医生大部分时间，使得医生在科研上投入的精力相对有限。

其次，病历数据的收集和查询大大延长了医生的科研周期。由于过去医生在使用电子病历时缺乏数据结构化录入，更多是用文字的形式记录下来，医院过往的电子病历中留存着大段的空白段落，这让医院在科研数据利用等方面存在困难。

所以，如何将这些存量数据进行高效、准确地结构化处理，在临床诊疗与医学科研之间建立一条“数据通路”，或许是解决问题的关键。

二、从高质量数据获取到提出临床科研解决方案

数据是医生科研的基础，这一点毫无疑问。但问题是医生究竟需要怎样的数据进行支撑？这一点，需要真正明确。

对此，杨海英表示：“目前国内对临床研究数据规范化、标准化处理的经验在不断地积累，并依据和参考一系列的国际化标准。但目前仍然存在着数据标准不一致、各医院或研究单位数据不能集成共享等问题。高质量、大数量、良好结构化的医疗数据，才会对科研效率的提升和科研成果的产出有重要价值。”

怎样帮助医生获得一份高质量的数据，在杨海英看来，这涉及三个方面：

第一，医院EMR(Electronic Medical Record,电子病历)的数据质量。“为什么一些杂志上的论文被下架，就是因为这些论文在数据处理过程中，存在弄虚作假的情况。这与医生书写EMR的规范性、自律性有关。”

因此医院在使用临床数据采集系统时，病历书写应尽可能完整和标准，以电子病历为平台，建立临床科研一体化病历书写与采集体系，在实现科研数据收集的同时，不增加日常工作量。

第二，医院EMR数据的处理环节，尤其是数据结构化的过程，这直接决定着科研数据的质量好坏。基于大数据和人工智能技术的后结构化数据处理，是解决这一问题的主要技术之一。

通过后结构化处理，在保证医生书写的原始病历数据可溯源的基础上，实现对既往病历的结构化处理，满足科研数据采集需求。

第三，数据质控/核查/数据分析环节。医疗大数据企业必须有专业的质控团队进行数据的核查，包括人工核查、逻辑核查和医学核查，并且每年都需要对相关人员进行一次资质考核。

此外，医生采用的统计方法是影响数据质量的重要因素。国外的杂志普遍对统计方法学十分看重，如该项研究所涉及的人群筛选、统计方法等，因此需要专业的统计团队针对数据进行统计分析。

杨海英表示：“从标准的数据采集、高效高质量的数据结构化，到数据平台中心提供的高效率的人工审核、逻辑核查，这一整套框架体系的搭建非常困难，而我们正是基于这样一整套智能化数据处理体系，来保证处理的海量数据的质量以及为医生所提供的临床科研解决方案的规范和严谨。”

三、大数据于临床医学价值的探索与呈现

在探讨完医生科研的问题和解决方案之后，我们不禁要问，高质量的科研级数据会对整个医疗行业产生何种价值？从医疗机构和企业的实践案例中，动脉网找到了以下4个方面的答案：

支撑从RCT到RWS的扩展

RWS（Real-World Study，真实世界研究）起源于实用性的临床试验，是基于临床真实的情况采取的一种非随机、开放性、不使用安慰剂的研究，其得出的结果具有很高的外部有效性。

真实世界研究的大数据来源非常广泛，可以是患者在门诊、住院、检查、手术、药房、可穿戴设备等多种渠道产生的海量数据，可纳入患有多种疾病、且病情较复杂的患者。

杨海英表示：“在临床诊疗实践中，每年都会有新的药物和诊疗手段出现。这些新技术要用于比临床研究中受试患者更广泛的人群，还面临着很多实际应用的问题。因为真实世界人群要远远大于药物、器械等研究环节的人群。因此如何放大到RWS（真实世界研究），还困难重重。”

如药物联合其他治疗手段的可行性、药物的治疗周期、符合中国人群的剂量等，这些都是临床医生每天面临的问题。这需要医生从实践中总结经验、数据和依据，得出不同患者的最合理的治疗方案。

真正要把临床数据用好，就必然要在数据产生和累积的过程中实现规范化。

吴阶平医学基金会肿瘤医学部副主任委员姚晨教授在对比RCT（Randomized Controlled Trial，随机对照研究）和RWR（同RWS）时提出，相对于RCT强调标准化治疗，而且一般都在临床试验机构实施，RWR更强调真实的治疗，且可以在所有医疗机构开展。

2016年底，美国国会通过《21世纪治愈法案》（21st Century Cures Act），以及对可以利用“真实世界证据”取代传统临床试验进行扩大适应症的批准，更是确定了基于大量病例积累数据的真实世界研究的重要意义。

推动中国指南建设

所谓临床指南，是指通过研究生成的证据以及对各种备选干预方式的利弊评价之后提出的最优指导意见。国外的指南存在大量的临床依据，常常被中国应用和参考。

但由于人群差异性和基因特征，不同人种的治疗方案存在差异，因此中国必须有基于中国人群证据体系的指南。

在这一点上，数据的价值便凸显出来，医生将自己临床过程中的诊疗经验，通过数据进行专业、系统地分析处理，这样无论是临床对照研究结果，还是基于病例数据的真实世界研究结果，都构成了高等级的临床证据。

杨海英称：“目前基于中国人群的前瞻性临床研究证据积累不够，但是可以通过真实世界研究的结果在一定程度上进行弥补，我们希望这些证据可以协助中国的肿瘤专家完善中国的指南，进而指导医生的诊疗行为。”

“其实建立了高质量的医疗大数据库，借助目前的技术手段，医生诊疗和科研的矛盾会得到很有效地解决，”杨海英说。

2017年9月，由吴阶平医学基金会肿瘤医学部牵头主持，天津市胸科医院、四川华西医院、河南省肿瘤医院、中日友好医院等10家医院共同参与的“胸部肿瘤大数据临床科研协作”项目，经过对10家医院近4年的病历汇集，累积肺癌病历超过32000份，食管癌病历超过16000份，依托LinkDoc进行数据处理的真实世界数据库，凭借高价值、完整数据处理的科研解决方案，最终在4个半月里完成10个真实世界研究，并于2018年初向全球最大亦最具影响力的肿瘤组织ASCO（美国临床肿瘤学会）投稿10篇。

吴阶平医学基金会肿瘤医学部主委张逊教授指出，不同医院的数据汇聚到一起对科研效率和成果有显著提升。

基于真实世界数据的多中心临床科研协作研究，能快速提升中国胸外科临床医生的科研能力和临床水平，从而加强中国胸外科临床专家在国际舞台上的话语权。

支持AI辅助医生诊疗

作为国内知名三甲医院，哈尔滨医科大学胸外科在应用方面有着不少建树。据马建群教授介绍，他们科室采用大数据分析工具，帮助医生在做患者的精准肺段时，肺段切除与肺楔形切除相比，两者各自的优势在哪，可以根据工具提供的结构化数据库进行科研分析来得出答案。

“假设在一定年龄段之中，在一定的大小范围（如1cm）之内，患者做精准肺段切除和常规的肺楔形切除无差别，那可能以后我们就不会再对该类患者进行精准肺段切除了。因为肺楔形切除又简便、又省时、又省成本，对病人的伤害小。”

哈尔滨医科大学胸外科的应用告诉我们，高质量、多组学数据集的价值并不局限于科研。基于这些数据，可以通过深度学习形成人工智能辅助诊疗工具，从而帮助医生提高诊疗效率。

据杨海英介绍，目前辅助临床诊疗的人工智能产品，一类是基于知识库（临床指南、相关文献），只能做到按照临床指南，文献依据，给出某一类患者固定的诊疗建议，但由于不同患者的特征差异，存在一定的局限性。

另外一类是基于病历数据和算法模型的人工智能临床辅助产品，通过将患者真实的病历数据和算法模型，构建精准的诊疗模型并提供数据支持，从而可以指导典型病例、罕见病例的临床诊疗决策。而完全基于中国病例数据的底层数据和训练材料，将更利于实现在中国人群及临床个体病例的应用价值。

加速新药研发，扩大药物适应症

利用大数据挖掘和人工智能技术，从散布在世界各地的大量的专利、临床试验结果等海量信息中提取出能够推动药物研发的知识，提出新的可以被验证的假说，从而加速药物研发的过程。

此外，国家明文规定药物上市以后5年内，药企必须要提交药物安全性监测数据，否则药物面临退市的风险。而基于真实世界的大数据则是药企完成这类法规需求的好方法。

一位医药行业从业者告诉动脉网：“药企传统上只能通过昂贵的RCT临床试验，经历漫长的时间去发现新的适应症。并且，不仅注册标准的经费非常高，而且担的风险也较高。而RWS可以帮助药企和专家提前做分析，提前启动实验。”

另一方面，医生基于产品说明书来决定药物的使用范围。

事实上，很多医院都会出现超出药物产品说明书的使用情况，医生根据自己的经验判断去开具药方，这个情况在看整个药品行业中并不少见，如果能通过智能化数据处理平台，不仅可以很好的控制研究费用，且可以最大化的探索临床疗效和安全性，药企便能够以此为证据，决定是否需要扩大产品的适应症，从而为药物打开更旷阔的使用空间。

四、大数据赋能临床医学：技术能力是基础，专业医学能力是核心

综上可以看出，医疗大数据企业对于整个医疗行业的赋能关键在于两点：

一是技术能力，包括建立真实世界数据库、搭建大数据处理系统/平台，人工智能平台等。

二是医学能力，包括主导疾病数据库设计，进行标准、规范化数据处理和质量控制，以及真实世界科研设计，数据管理、标准严谨的数据统计分析等。

当前，随着如零氪科技、太美医疗等国内主要医疗大数据�...

许多考生在填报高考志愿前对于专业并没有深入了解，总是喜欢主观臆断。下面我们就看看高考过来人解说易被误解的八大专业，看看与你的想象有无偏差。

1、社会学：要天天学“理论”？

【学长吐槽】：人们往往认为社会学像哲学一样枯燥，是一个理论得很吓人的专业，其实不然。

社会学关注的对象是各种社会问题，非常注重社会调查在理论分析中的作用，主张用事实和数据说话，调查方法和统计学是社会学很重要的两门课程。

社会学对我的工作帮助也甚大。尽管在就业时遇到了一些暂时性的困难和苦恼，但一旦进入工作角色，社会学使我受益匪浅。

本人做行政工作时，得益于社会学在分析问题上的训练，往往比行政管理等专业的同事更深刻些；在做广告文案与策划工作时，社会学让我形成了从群体文化、从消费心理进行思考的习惯，这往往不是中文系学生能短期做到的。

开设课程 : 社会学概论、社会研究方法、社会心理学、中外社会思想史、古典及现代社会学理论、社会统计与计算机应用、中国社会等。

培养目标:本专业培养具有扎实的社会学理论基础、熟练掌握社会调查研究方法，具备科学认识、研究社会的基本能力和创新意识，能在党政机关、教育、科研、文化等事业单位、企业单位和社会团体中从事社会调查研究与数据分析、政策研究与政策评估、社会管理与社会规划等方面工作的复合型人才。

2、汉语言文学：就是舞文弄墨？

【学长吐槽】：说到中文，得从“误解”二字说起，隔行如隔山，任何一种专业都会遭到来自外界的各种误解，而中文系尤甚。

通常人们不是用极高的眼光把中文看成高不可攀的学术象牙塔，就是从应用的眼光将其当做舞文弄墨的培训地，但事实上，中文系带给我的远远不只是知识和技巧。

但凡选择这个专业，总在心中多少有着对中文的喜爱，中文系不是生产流水线，不会批量生产千篇一律的毕业生。

中文是找工作时的“万金油”，因为它所关联的是无论何时何处都要使用的语言文字。

开设课程 : 语言学概论、古代汉语、现代汉语、文学概论、中国古代文学汉语言文学史、中国现当代文学史、马克思主义文论、比较文学、中国古典文献学、外国文学史、民间文学、汉语史、语言学史学、美学、批评文学等。

培养目标：本专业培养具备扎实的汉语言文学基础和良好的人文素养，熟悉汉语及中国文学 的基础知识，具有较强的审美能力和中文表达能力，具有初步的语言文学研究能力，同时具有一 定的跨文化交流能力，能在文化、教育、出版、传媒机构以及政府机关等企事业部门从事与汉语言 文字运用相关工作的中国语言文学学科复合型人才。

3、外国语言文学：学了就能当翻译？

【学长吐槽】：很多人认为学习了外语就能进行翻译，这是一种误区。另外还有一种误区是，认为学习翻译就是学习语言。

事实上，真正高质量的翻译远非人们想象的那样简单。除对语言(本国语言和另一外语)的要求外，它需要译者有一个相当广阔的知识面，但除此之外，更需要的是各种翻译技巧，灵活的应变能力，严谨的工作态度……

因此，并非人人都能胜任翻译。

开设课程 : 初级视听、高级视听；英语语音、基础英语口语、商务英语口语；基础英语、高级英语(IV、V)；基础英语写作、商务英语写作；英语基础笔译、英语高级笔译、经济学通论、管理学通论、商科经典阅读、国际市场营销、国际商务谈判、国际贸易实务、进出口业务、国际项目管理、国际商法、商务伦理学、剑桥商务英语（高级）、国际商务文化、国际商务合同写作

培养目标：培养既具有扎实的英语基本功和深厚的人文素养，同时又掌握较宽广的国际商务基础知识与技能，具备较强的跨文化沟通能力

4、信息与计算科学：是计算机系？

【学长吐槽】：这个有时会被误以为是计算机系的专业，不过要是你足够牛，这里的基础知识还是可以为以后的计算机学习打下一定基础的。

这个专业可以训练人的逻辑思维能力，培养人简洁利落的作风。读起来比较苦，可以培养坚强的意志。

开设课程 : 操作系统，计算机网络,C语言,C++程序设计语言，软件设计方法,数据结构与算法,计算机图形学,信息理论基础,编码理论与应用,数字信号处理，信号与系统，图像语言处与模式识别,应用密码学与信息安全,软件工程方法,以及数学分析,离散数学，高等代数，科学计算与数学软件，线性代数,空间解析几何,复变函数，实变函数与泛函分析，数据分析，最优化理论，运筹学，常微分方程,偏微分方程，计算方法，数值分析，数学建模，管理运筹学,概率论与数理统计，数学模型，数学实验，金融分析，数学物理方程。

培养目标:本专业是以信息技术、计算技术和运筹控制技术的数学基础为研究对象的理科类 专业，培养具有良好的数学基础和数学思维能力，掌握信息或计算数学的基本理论、方法与技能， 接受科学研究的初步训练，能解决信息技术或科学与工程计算中的实际问题的高级专门人才。

5、自然地理与资源环境：其实偏向地理学

【学长吐槽】：看到专业名字，大家都会以为是环境资源学院的，但其实是属于理学院的，偏向于地理学理论知识的学习。

在专业学习过程中，我们首先对基本课程进行学习，如数学、语文、物理、化学、法律等课程；

其次是与地理学相关的基础课程，如综合地理、人文地理、自然地理、GIS等课程。专业学的知识比较广泛，但也比较有趣，有去野外考察，接近自然的机会。

开设课程 : 地理学、环境科学、管理科学地质学、自然地理学、城市地理学、经济地理学、国土规划、地图学、遥感应用、环境科学、土地评价与土地管理、水资源计算与管理、生态环境规划、环境化学、地理信息系统、城市总体规划、区域规划等

培养目标：本专业培养具备自然地理与资源环境的基本理论、知识和技能，具有创新意识和实践能力，接受严格科学思维的训练和良好的专业技能训练，具有一定的开展科学研究的能力，立足于地球表层特征及其变化、自然资源管理、环境保护，能在科研教育单位、相关政府部门、企事业单位从事自然地理过程、环境变化研究和资源管理、环境保护或应用的高素质复合型科技专门人才。

6、统计学：就是每天画表格？

【学长吐槽】：中学生可能容易将此专业和数学或者会计混淆，其实两者是相差非常大的学科。因为中学生听到统计，可能会理解成画画表格等的国民经济统计学。

事实上，它是基于数学，但又偏重与应用的一门学科，特别是随机、时间序列等知识被广泛应用于医疗试验、保险精算、股票预测等行业。

开设课程 : 数学分析、几何代数、数学实验，常微分方程，复变函数，实变与泛函、概率论、数理统计，抽样调查，随机过程，多元统计，计算机应用基础，程序设计语言，数据分析及统计软件、回归分析，可靠性数学，实验设计与质量控制，计量经济学，经济预测与决策，金融数学，证券投资的统计分析，数值分析，数据结构与算法，数据库管理系统，计算机网络系统，系统分析与软件设计。

培养目标:本专业培养具备系统的统计学理论知识和应用知识，掌握统计学的主要方法，具有处理特定行业数据问题的能力，能在相关领域中从事数据搜集整理

7、数字媒体艺术：就是电影艺术？

【学长吐槽】：这个专业跟声音艺术及电影艺术容易混淆。专业所学的东西有很多实用性，可以接触不少新东西。

我的同学毕业后有些继续深造，有些在做网页，有些做电影艺术，也有做声音艺术的。

开设课程 : CSS网页设计,ASP动态网页设计,XML语言,平面版式设计,视频特效与编辑,网络信息检索,程序设计语言、素描、动画概论、数字平面艺术、数字色彩艺术、数字立体艺术、三维图形设计、数字媒体技术及应用、数据结构、图像处理技术、计算机图形学、计算机网络、数据库系统原理、软件工程、Windows编程、CAD技术、JAVA语言、动画运动规律、计算机动画原理与技术、虚拟现实技术、视觉传达设计、游戏程序设计、数字媒体后期制作等。

8、计算机类：毕业就当程序员？

【学长吐槽】：不要以为念计算机就是做网站、修电脑，有可能念完还是不会干这些事，但是你能很容易地学会这些，而会做这些的人却很难做你能做的事情，这就是读大学和做学徒的区别。

念计算机专业也不是就为了当个程序员，程序员现在很多非计算机专业的人都在做。

如果只是看到做网页、写程序什么的很赚钱，可能甚至不需要念计算机系，这些都是靠实践积累的能力，念书念不来的。

开设课程 : 离散数学、电路与电子技术、汇编语言程序设计、C语言程序设计、面向对象技术、数据结构、数字逻辑、计算机组成原理、微机系统与接口技术、计算机网络、计算机系统结构、操作系统、编译原理、数据库原理与应用、软件工程等。

培养目标：培养计算机科研、开发、应用与管理、系统与维护的应用型高级专门人才。

看完学长们的吐槽，你还想报这些专业吗？

一、首先要更正的一个观念：统计学类中，只有统计学和应用统计学。没有大数据技术。

教育部2012年本科目录中，统计学类，只有统计学和应用统计学。在经济学类下设经济统计学专业。

“统计学”起源于政治学与经济学，最早被称之为“政治的算术”，是一门关于如何正确、有效地搜集资料、整理资料、分析资料的科学，是一种研究随机数据的科学艺术。

二、统计学是理学门类下的一级学科。

随着现代科学技术的迅猛发展，统计学的应用领域已不再限于经济学。

统计学发展至今，已诞生出许多边缘分支学科，如生物统计学、医学统计学、气象统计学、地质统计学、教育统计学、经济计量学、社会计量学、政治计量学、语言计量学、历史计量学等。

正因为如此，才有了应用统计学这门专业的产生。

在经济学科中，诺贝尔经济学奖得主大多数都是经济计量学家兼统计学家，经济计量学本质上就是统计学在经济学中的应用。

从这个意义上说，经济统计学，也是应用统计学的一类分支而已。

三者之间目前的区别，在于学位和主干课程。

经济统计学主干学科：理论经济学，应用经济学，统计学，发经济学学士学位。

应用统计学，主干学科：统计学，发理学学士学位

统计学：主要学科：统计学、数学，发理学学士学位。

三、数据科学与大数据技术专业是新兴专业，不只是统计学。

数据科学与大数据技术，不只是涉及到统计学，还有数学、计算机及各行业的学科内容。是学科交叉融合的一门新兴专业。

涉及领域

1、统计学

2、数学

3、计算机

4、数据采集相关技术

5、不同行业的数据应用

数据科学与大数据技术专业为2015国家新增专业，首批仅北京大学、中南大学和对外经济贸易大学三所学校申报成功。

但在2018年有近100多家申办这类专业。

四、勋哥建议

1、选择统计学类专业，应具备扎实的数学基础，后继课程的学习离不开数学能力的培养。

现代的统计学专业是在随机抽样基础上建立的推断统计学，在专业课程中，概率论是基础课程，其次是数理统计。基本的统计方法包括回归分析、多元统计分析、抽样调查、试验设计、时间序列分析及描述性统计等，是主要的专业课程。具备良好的专业素养也能为将来的继续深造打下基础。

2、选择数据科学与大数据专业，要仔细选择就读院校。

因为新办这个专业院校的太多，所以选择这个专业，应该看学校原来是不是有基础？有没有开设数据相关方向的研究生专业，博士生专业，研究中心、实验室的层次是怎样的？

另外，新增设的专业，交叉学科，课程任务繁重，最好要有考研的打算和安排。

前言

在日常生产中，我们经常根据获得的过程加工部件的测量数据去分析过程的状态、过程的能力和监控过程的变化；那么，怎么确保分析的结果是正确的呢？

我们必须从两方面来保证，一是确保测量数据的准确性/质量，使用测量系统分析（MSA）方法对获得测量数据的测量系统进行评估；二是确保使用了合适的数据分析方法，如使用SPC工具、试验设计、方差分析、回归分析等。

测量系统的误差由稳定条件下运行的测量系统多次测量数据的统计特性：偏倚和方差来表征。偏倚指测量数据相对于标准值的位置，包括测量系统的偏倚（Bias）、线性（Linearity）和稳定性（Stability）；而方差指测量数据的分散程度，也称为测量系统的R&R，包括测量系统的重复性（Repeatability）和再现性（Reproducibility）。

01

一般来说，测量系统的分辨率应为获得测量参数的过程变差的十分之1。测量系统的偏倚和线性由量具校准来确定。测量系统的稳定性可由重复测量相同部件的同一质量特性的均值极差控制图来监控。测量系统的重复性和再现性由Gage R&R研究来确定。

分析用的数据必须来自具有合适分辨率和测量系统误差的测量系统，否则，不管我们采用什么样的分析方法，最终都可能导致错误的分析结果。在QS9000中，对测量系统的质量保证作出了相应的要求，要求企业有相关的程序来对测量系统的有效性进行验证。

02

测量系统：是用来对被测特性定量测量或定性评价的仪器或量具、标准、操作、方法、夹具、软件、人员、环境和假设的集合；用来获得测量结果的整个过程。

03

构成测量系统的主体元素之测量仪器必须经过校准至可追溯的标准

国家标准

第一级标准(连接国家标准和私人公司、科研机构等) 第二级标准(从第一级标准传递到第二级标准)工作标准(从第二级标准传递到工作标准)04

术语

4.1 分辨率 ：最小的读数单位、测量分辨率、刻度限度或探测度。由设计决定的固有特性，是测量或仪器输出的最小刻度单位。做GRR时选择仪器应该遵守1：10经验法则 。

4.2 重复性EV（Repeatability）：指以同一测量设备，同一测量人员，测量同一批待测物之同一品质特性所产生的测量差异。

再生性AV（Reproducibility）

4.3再现性AV（Reproducibility）：指以同一测量设备, 不同测量人员测量同一批待测物之同一品质特性所得平均测量值的差最大值。4.4 GRR或量具R＆Ｒ（重复性与再现性）：是测量系统重复性和再现性合成的评估。

来源：检测狮

撰文 | 藤子

2016 年感恩节前一天，美国一家跨国药企的总部，这家药企的负责人「惊呆了」，因为一家来自中国的成立不到两年的小公司从盲测竞争中脱颖而出，以完美的结果 PK 掉了多家欧美研究机构。

这家成立不到两年的小公司就是 XtalPi 晶泰科技，致力于将量子化学计算与人工智能相关技术应用于药物研发的关键环节。他们的切入点是化学药物的「固相」研发――包括晶型、盐、水合物的预测和筛选。

在药物的研发流程中，对药物固相的研究贯穿药物发展始终，对一款药的研发成功、顺利上市发挥着至关重要的作用。因为，药物的晶型等固相的选择不仅关系着药物的质量、决定后续的药物制剂设计，实际上，以对创新药为主的药企来说，药物的核心专利有效期通常是 20 年，然而，专利通常在药物上市之前就已生效，大多数药物在正式上架销售后被核心专利保护的时间通常只有 7―12 年。而药物固相专利可以使药物专利保护延长 2―6 年。这对于年销售额上十亿美元的重磅药物，无疑意味着巨大的价值。

左起：AI 项目负责人赖力鹏、董事长温书豪、CEO 马健

晶型研究在药物研发阶段的重要性

在药物工业，尽管每年二三十种的新药上市，但这背后是超高的研发失败率，以及漫长复杂的研发过程――仅临床实验失败率就超过 90%。德勤曾经发布一份报告显示，研发一款新药的平均成本已达 15.4 亿美元，耗时 14 年。复杂和艰难的研发过程使世界上很多国家都没有生产创新药的能力，而是以仿制药为主。

研发阶段非常复杂，分为基础研发、临床试验、药物审批三个阶段。对于药企来说，降低成本、提高效率则是硬需求。由于临床试验和药物审批，既无法避免，也很难缩短时间，因此为了节约成本、提高效率，药企们在基础研发新技术的开发上一直在探索。

药物研发流程

基础研发又分为药物发现与临床前研究，一般花费 3-6 年时间。首先要进行药物靶标确认（target identification），确认引起疾病的因子或者病原体（pathogen）生存和增殖所必需的生物分子，也就是靶标。比如，人类免疫缺陷病毒（HIV）能导致艾滋病，而它增殖的必需生物分子是 HIV 蛋白酶，抑制这个蛋白酶的活性，就能破坏 HIV 病毒的增殖，进而阻止艾滋病的扩散。与其他酶类似，HIV 蛋白酶有一个活性位点，能与其他小分子相结合或作用。

确定靶标以后，药企便开始寻找与这个靶标有较强结合能力的合适的分子。合成新的化合物或对现有化合物的结构进行改造和优化，再筛选出先导化合物（lead compound），也就是有活性的化合物。对活性不够高、化学结构不稳定、毒性较大、药物动力学性质不合理的先导化合物再进行优化，一旦药物分子的化合物结构确定后，研究人员就要确定药物晶型，这往往需要不同规模、时期、详尽程度的数次实验研究。

然而，在形成晶体的过程中，药物分子以及其他辅助成分（比如溶剂、盐和其他小分子等）通常具有多种空间排列方式，不同排列方式则构成不同的晶型。比如，金刚石和石墨，都是碳的同素异形体，但因为晶体结构的不同，使他们成为了不同的物质，价值也天差地别。

那么，即使是同一化学药物分子，但如果固相不同，溶解度、熔点、溶出度、生物有效性等方面就可能会有显著不同，而药物的稳定性、生物利用度及疗效都会受到影响，直接导致临床试验的成败，有的稳定性问题甚至在药物上架之后才被发现，而那时，药物就不得不下架，给药企造成不可挽回的经济损失和品牌形象的损害。

世界著名药企雅培就曾经发生过这样的事情。1998 年，其抗艾滋药物 Ritonavir（利托那韦）采用了晶型 form I，但在该药物上市两年后，发现 form I 会转变成一种新的更稳定的晶型 form II。form II 的溶解度只有 form I 的四分之一，由于溶解度更差，生物可利用度远低于预期。雅培不得不召回药物，经济损失超过 2.5 亿美元。

将量子化学计算和人工智能技术用于固相设计与筛选

在传统药物研发的流程中，采取实验试错的思路，通过 X 线衍射法、磁共振法、热分析法等方式探索晶型，不但周期长，而且成本也很高。

「传统的方式是完全通过实验的，在成本、准确性、通量上都有很大的瓶颈存在；现在我们可以用一种很巧妙的物理数学算法进行精确的预测，还可以利用发展很快的云端超级计算，极大提升整个研发过程的效率，让这种算法能够在药物工业上得到真正的实现。」晶泰科技的联合创始人兼董事长温书豪认为，通过计算，药物研究的时间可以大为缩短，成本大为减少，效率大为提高，成功率也大为提升。

具体来说，药物分子及其形成的不同晶型是一个立体的三维结构，计算分子内部以及分子-分子之间的力可以得知热力学稳定性。晶泰科技则通过量子化学计算，计算药物分子的相互作用，评估所有的三维可能，从而进行准确的晶型预测，并与人工智能的技术结合，为高性能科学计算提速，实现效率的进一步提升。

什么是量子化学计算，晶泰科技联合创始人兼 AI 研发负责人赖力鹏解释道，计算是采用传统计算机，但算法则是基于量子物理和量子化学的原理来构建。他表示，药物相关的计算，要看分子之间，分子和蛋白质之间或者蛋白质之间的相互作用。计算如果需要很高精度，就需要量子力学的知识。他用初中学物理的方式来比喻这种量化计算思维：初中物理计算中，把地球和太阳各抽象成一个点，根据两点之间的距离，计算他们之间的作用，而忽略地球上的山川河流这些微观元素。

赖力鹏介绍，在粗略的分子动力学中，计算分子之间的相互作用力，也是如此，忽略微观结构，都看成是一个点。但是这个分子间的相互作用力，是通过模拟了精确的电子和电子、电子和核等相互作用的量子化学计算得到的。按照晶体的现代点阵理论，构成晶体结构的原子、分子或离子都能抽象为几何学上的点。这些没有大小的点在空间排布形成的图形叫做点阵，以此表示晶体中结构粒子的排布规律。

实际上，随着计算机技术的发展，计算机也开始辅助药物晶型的预测，一些开源程序可以基于药物的分子结构，直接预测其可能的多晶型结构。但是该方法在药物中的成功率普遍还较低，无法达到工业应用的标准。

赖力鹏认为，根据量子力学的思路，就比「点近似」考虑得更微观，比如这个分子比那个分子多了一个原子，这个原子的微观特征与那个原子有些细微不同。如果考虑这些细小变化，计算精度则会更高。

对于人工智能技术在药物研发中的应用，赖力鹏介绍，一个基本的思路就是相似的药物分子会具有相似的性质，因此算法研发的基础是要科学、准确地量化和评价两个候选分子的相似度。好的相似性描述可以大大提高预测的准确度。在真实情景中，这种相似度的描述要起决于具体的研究问题。因此，早先基于人工特征定义（分子描述符）的 QSAR（Quantitative Structure-Activity Relationship）方法在一些特定的科研问题上就很难达到好的效果。但晶泰科技使用深度神经网络，将特征提取的工作交由机器动态执行，进而获得药物研发过程中最关心的，诸如溶解度、毒性、蛋白质作用亲和力、选择性等特征，最大限度获得高准确度的预测。

通过量子化学计算的方法和深度学习的技术，晶泰科技能计算出化合物所有可能的晶体结构，再通过迭代优化，最终锁定动力学中最具稳定性、最适合成药的固相、晶型。并以人工智能对药物分子物理、化学性质的预测，在后续的研发中优先选择那些药物性质最有可能成功的候选和固相，从而降低研发决策中盲目、随机的因素，以人工智能的「先见之明」解决药物研发的「后顾之忧」，让研发科学家的研发决策更加有的放矢。

商业之路始于盲测获胜

晶泰科技的创立之路始于波士顿的麻省理工学院，几位创始人正是在麻省理工学院完成博士后研究时的同窗。

波士顿作为制药业的「硅谷」，在剑桥地区、尤其是肯德广场（Kendall Square）周边聚集着大量来自全球的知名制药企业与生物科技领域的创新企业、生命科学研究组织、研究型医院，也有很多外国药企将美国总部设置在波士顿的剑桥市，借助与哈佛、麻省理工这些生命科学领域的老牌科研院校与相关人才的近便，掌握这一领域的前沿动态。可以说，作为「世界的药物研发实验室」的美国，其动力引擎就在波士顿/剑桥地区。

浓厚的制药氛围与完善的行业生态圈，再加上麻省理工学院的创业传统，潜移默化地影响着晶泰科技的创业团队。作为麻省理工的博士后，董事长温书豪的主要研究方向为量子经典杂化和多尺度模拟，在求学期间，他一直在进行晶型能量排位的研究。这一技术在新材料设计的诸多领域都可以应用，他们决定切入药物的研发，用这一算法提高药物工业的研发效率。

「我们当初为什么要做这个事情，就是符合这几个方向：有地理位置的天然优势原因，也看到工业界的痛点和需求， 但我们的最终决定还有社会的角度――这 一技术能加速仿制药与创新药的研发，使病人更快地用上价格更低的药品。」温书豪说。

在温书豪的设想中，将人工智能应用于药物研发 ，以智能、精确的算法超越研发人员个人经验的局限，能使成本降低、研发周 期缩短，药物的价格也会更低，另一方面，能使药物研发的效率提升，药企的研发产能提高，从而能使患者更快地用上更多优质的药。

2016年，晶泰科技受到某大型跨国药企一线研发科学家的邀请，在详尽而严苛的背景调查之后，获得了药企内部一个盲测机会――使用该企业内部的分子数据，让晶泰科技用自己的算法预测药物分子的固相，再跟他们已经合成的稳定晶体、固相做对比。

几个月内，晶泰科技就完成了盲测，结果却是百分之百吻合，从一同被测试的欧洲、美国顶级研究所中脱颖而出。这个结果使药企对这支成立不久的中国团队能做出这个成绩大为震惊。

通过药企的内部测试后，该企业提供的订单数量以及与他们长期合作的热情都超乎温书豪的想象。「你要进入这个行业，就要看能为这个行业到底带来什么，做研究的要以独特的角度切入创业，早期通过技术输出的方式合作，有了技术就有更多的拓展机会。」温书豪说道。

从晶型预测平台到药物研发平台

2015 年 11 月，晶泰科技的药物固相高精度筛选与设计云平台上线，起初是基于亚马逊 AWS 云服务的云平台，如今已经扩展到腾讯云、阿里云、谷歌云，调配上百万核的计算资源。据赖力鹏介绍，依托平台的算法，晶泰科技对每个药物分子的计算中都会产生数百万到数千万的结构数据。之后，他们再通过人工智能针对这些高质量的数据进行深度学习，在进行海量计算的初期预判不同晶体结构的堆积能量，从而大大减少能量计算的资源耗费，进一步提高算法的效率。

「这对我们更加准确地预测药物分子的物理、化学性质起到重要的推进作用。」赖力鹏解释说。这个平台目前已经服务于世界级最顶尖的药企，并受到 一线研发科学家们 的一致推崇。

「我们把技术本身做到极致，然后把技术部署到云端或者跨云端的平台，使全世界的研发型药企都能方便地使用我们的技术，整体提升药物工业的效率。」温书豪说。

除了药物固相设计与筛选云平台之外，2017 年 7 月，晶泰科技推出了面向合作科研单位的人工智能药物研发平台 AtomPai。

之所以要推出 AtomPai，赖力鹏表示，团队的灵感来源于某次跟制药以及化工化学背景的朋友聊天时，朋友提起神经网络、自编码器等等，但不知道如何将这些方式用在化学及医药研究上。同时，在研究当中，存在大量重复代码开发，反复造轮子的资源损耗。

为了将科研人员的创造性从重复、陌生的编码工作释放出来，赖力鹏表示，晶泰科技将化学医学、制药及其它研究领域相关常用的数据分析及预测的机器学习方法部署到 AtomPai，科研工作人员就能直接在平台上调用已经实现好的，包括逻辑回归、主成分分析、支持向量机、神经网络在内的模型（已部署 30+的标准模型）进行数据分析，完成常规及复杂的数据分析任务。而如果他们有更深入的需求，这些研究人员则可以与晶泰科技进行细分项目的合作，实现针对性更强的数据分析与数据挖掘任务。更重要的是，科研人员在这个平台上可以实现高质量模型的分享与数据分析方法的交流，大大提高研发的效率。

目前，AtomPai 已面向合作科研单位与数据分析者发放邀请码进行测试。据赖力鹏介绍，在未来一段时间，AtomPai 还将对更多的研发人员、科学家、学术工作者开放，在持续研发的过程中寻求广泛合作，让不会写代码的使用者也能根据自身需求建立高效的 AI 模型。

如今，晶泰科技已获得腾讯、真格、峰瑞等投资机构数千万元的 A 轮投资，并即将于近期完成来自国际知名投资机构数千万美金的 B 轮融资，成为目前人工智能结合制药领域全球范围内单笔金额最高的融资之一。

晶泰科技核心团队

温书豪，XtalPi 联合创始人，�...

前言

最近重新梳理《设计调研》读书笔记。秉着啃完书就想做图示消化的习惯，把这本书的脉络和重点划出来了。

ps.因为最近在做一个大型农牧业项目，所以特喜欢大自然的颜色（绿啊蓝啊哈哈哈）所以，本篇配图以清新淡雅的自然色为主～不喜欢唔系欢哈哈哈也没有用滴！

目的

设计调研 - 顾名思义，就是关于设计的调查和研究。设计调研的目的是为了能有效的指导设计活动开展和产生积极的结果。通俗点说，就是要弄清楚人们想要什么，然后通过设计来给予他们。

调研形式

针对产品所处的阶段，设计调研通常可以分为两种形式「已有产品」和「全新产品」。

针对「已有产品」，通过调研找出产品存在的问题并进行改进，提升产品体验。

针对「全新产品」，通过调研提出设计原型，让用户进行体验，并不断改进和完善产品，直到满足用户需求。后者包含前者，贯穿于产品形成到消亡的整个过程。

调研方法

设计调研根据时间顺序分为「数据采集」和「调研分析」。但是在设计调研中也不仅仅在开始时需要数据采集，可以说，每个阶段都可能进行一定的数据采集来帮助调研的进行。

调研的流程

设计调研的方法是多样性的，设计师需要在某些关键设计阶段，根据产品状态，选择最佳的调研方法和方法组合，完成调研目标。以下为设计调研的通用流程。

一、明确调研目标与方法

调研的第一步，也是最重要的一步，就是明确调研目标，并根据目标选择正确的调研方法。在这个过程中，我们需要对调研需求进行分析，明确产品目前所处的阶段，调研希望解决的问题及具体内容，同时初步确定调研将会采用的方法。

调研方法有很多种，分为「定性」和「定量」两个相对的概念。

定性：用于发掘问题，理解事件现象，分析人类的行为和观点，主要解决‘为什么’的问题。

定量：是对定性问题的验证，常用于发现行为或者事件的一般规律。主要解决‘是什么’的问题。

在产品的不同阶段，我们需要解决不同的问题，因此选择的方法类型也就不同。下图为所有调研方法在四个象限的分布，横轴区分了该方法得到的数据是客观的（行为）还是主观（目标和观点）的，纵轴区分了该方法的类型是定性的还是定量的。

1.与产品生命周期对应的调研方法

（1）产品开发期：这个阶段还没有用户，需要解决的问题是“目标用户的需求应该如何被满足？”这可以通过用户访谈（竞品用户，专家用户）和二手资料研究之类的定性方法来解决。

（2）产品成长期：这个阶段需要保证和提高产品的质量，维持高增长率。用定量的方法调查积累的用户数据帮助我们更好的进行人群细分，再结合定性的方法来获得特定类型用户对产品的使用反馈，从而办证产品质量，提高竞争力。

（3）产品成熟期：这个阶段产品趋于稳定，需要不断创新来保持竞争力，所以需要发现新的用户群，增加新特性来开辟市场，重新进入成长期。可以通过定性的方法发现需求，并结合定量的调查来验证评估可行性。

（4）产品衰退期：当产品走向消亡，我们就需要调整产品以适应新的用户群，那么回到“开发期”。

2.与产品设计阶段对应的调研方法

（1）细察环境：了解市场同类产品，探索客观环境，定义并描述设计需要解决的实际问题。竞品研究：竞品优劣势，我们的机会？如何差异化设计？

（2）形成方案：探索多种解决方案，考虑可行性，进行快速测试和反馈，避免后期做高成本修改。

（3）选择方案：对方案进行测试，评估与验证，选择最佳方案，并通过用户反馈不断优化设计方案。

（4）评估结果：通过论坛，问卷，后台数据等各渠道收集用户反馈，建立各类指标等来衡量与跟踪产品满意情况。

二、制定调研计划

在明确调研目标与方法之后，需要定制详细的调研计划。对整个调研的细化，能帮助我们在调研过程中明确方向与重点，在实施过程中把控时间节点，并对结果的输出具有大致的方向。

1.调研背景

描述设计调研的背景，产品所处阶段，希望通过调研解决的问题。

2.调研目的

为了解决背景中的问题，需要在调研中完成的具体内容，也是最终报告输出时的需求阐述。

3.调研方案

（1）调研方法（2）调研计划（3）调研对象（4）进度安排

4.预计成果

对调研目的的逐一回答，会获得一份对调研产品的全面评估报告，报告包括3个部分：1.问题说明2.原因分析3.解决方案。

5.人员分工

设计调研项目需要一个团队来配合完成，不同角色承担不同的工作。可绘制文档记录跟踪：1.环节2.具体任务3.负责人。

三、邀请调研用户

在实际调研中，根据调研目标的不同，选择设计调研的对象也会不同。以下为邀请用户的3个步骤：

1.确定招募用户的条件和方式

注意不要过分确定目标用户，即招募的用户可能比目标用户更宽。例如一个儿童网站，我们的目标用户是儿童，也要考虑儿童家长的意见。

2.编撰用户甄别问卷及筛选符合条件的用户

甄别问卷主要用于筛选符合条件的用户。无论是利用自己的数据还是借力专业招募公司的数据库，编写甄别问卷都是招募过程中最重要的部分。在编撰时要注意避免会直接透露所招募条件的问题。

3.确定邀请的用户信息和时间

完成招募工作后，我们需要讲用户信息和时间安排整理成表格，主要指可用性测试，单人访谈，焦点小组等需要用户在特定时间到特定地点参与调研。

四、执行调研过程

不同的调研方法在具体执行过程中会遇到不同的问题，下边列举几种调研方法的适应场景与方法组合。

1.焦点小组-定性

焦点小组是一种多人同时访谈的方法，6-8人为宜。聚焦在一个或一类主题，用结构化的方式揭示目标用户的经验，感受，态度，愿望，并努力客观的呈现其背后的理由。

用于产品开发早期，重新设计或者周期迭代中。善于发现用户的愿望，动机，态度，理由；利于对比观察，是很好的探索方法。但是，不能用来证实观点和判断立场。

2.卡片归纳分类法-定性

卡片法是以卡片为载体来帮助人们做思维显现，整理，交流的一种方法。便于整理，随时抽取，方便查找，还可以将不同时间记下的信息做比较，排列。

常用于产品目的，受众以及特性的确定，但在开发信息架构或设计还未确定之前，这种方法处于设计的中间环节。也广泛用于创造型思维的激发方法中，比如在头脑风暴中使用。

3.问卷调查法-定量

问卷调查是指调查者通过统一设计的问卷来向被调查者了解情况，征询意见的一种资料收集方法，是发现用户是谁和他们有哪些意见的最佳工具。

问卷类型分为结构问卷，无结构问卷和半结构问卷。问卷调查省时省钱省力，不受空间限制，利于做定量的分析和研究。

4.可用性测试-定量

可用性测试是一种基于试验的测试方法，6-10名为宜。在于发现人们如何执行具体任务，因此用这种方法来检查每个独立特性的功能点向预期用户展示的方式。是发现可用性问题最快，最简单的方式。

5.问卷法和焦点小组-定性&定量

这种组合是讲定性和定量的方法结合起来，如通过定量的问卷发现人们行为中的模式，通过焦点小组对造成这些行为的原因进行研究。反过来又可以再通过问卷法来验证这个解释。如此交替的调查方式在实践中经常使用。

五、输出调研结果

在明确调研目标与方法之后，需要定制详细的调研计划。对整个调研的细化，能帮助我们在调研过程中明确方向与重点，在实施过程中

1.定性报告

写报告的关键点在于，是要围绕调研目的来写。不要把所有的研究结果罗列出来，然后告诉大家每个用户说了什么做了什么。较好的方式：确定目标-分析结论-摆出证据-给出相应的建议。

2.定量报告

定量报告最重要的是图表的呈现方式，要选择合适的图表来表达你要呈现的信息。

最后

设计调研能够帮助设计师跳出以自我为中心的设计观念局限，从个人思维换位到用户思维，逐步体谅、理解用户，了解用户对具体产品的功能需求、价值评定、审美观念等。

是设计从业者应该要具备的基本职业思维方式和行为方式之一，是设计师应该具有的能力和知识，更是设计过程必不可少的步骤之一，希望每个设计师在设计的道路上越来越专业。

转载声明：本文转载自「叫我牙套」

前言

1.“回归”一词的由来

我们不必在“回归”一词上费太多脑筋。英国著名统计学家弗朗西斯·高尔顿（Francis Galton,1822—1911）是最先应用统计方法研究两个变量之间关系问题的人。“回归”一词就是由他引入的。他对父母身高与儿女身高之间的关系很感兴趣，并致力于此方面的研究。高尔顿发现，虽然有一个趋势：父母高，儿女也高；父母矮，儿女也矮，但从平均意义上说，给定父母的身高，儿女的身高却趋同于或者说回归于总人口的平均身高。换句话说，尽管父母双亲都异常高或异常矮，儿女身高并非也普遍地异常高或异常矮，而是具有回归于人口总平均高的趋势。更直观地解释，父辈高的群体，儿辈的平均身高低于父辈的身高；父辈矮的群体，儿辈的平均身高高于其父辈的身高。用高尔顿的话说，儿辈身高的“回归”到中等身高。这就是回归一词的最初由来。

回归一词的现代解释是非常简洁的：回归时研究因变量对自变量的依赖关系的一种统计分析方法，目的是通过自变量的给定值来估计或预测因变量的均值。它可用于预测、时间序列建模以及发现各种变量之间的因果关系。

使用回归分析的益处良多，具体如下：

1) 指示自变量和因变量之间的显著关系；

2) 指示多个自变量对一个因变量的影响强度。

回归分析还可以用于比较那些通过不同计量测得的变量之间的相互影响，如价格变动与促销活动数量之间的联系。这些益处有利于市场研究人员，数据分析人员以及数据科学家排除和衡量出一组最佳的变量，用以构建预测模型。

2.为什么使用回归分析

1）更好地了解

对某一现象建模，以更好地了解该现象并有可能基于对该现象的了解来影响政策的制定以及决定采取何种相应措施。基本目标是测量一个或多个变量的变化对另一变量变化的影响程度。示例：了解某些特定濒危鸟类的主要栖息地特征（例如：降水、食物源、植被、天敌），以协助通过立法来保护该物种。

2）建模预测

对某种现象建模以预测其他地点或其他时间的数值。基本目标是构建一个持续、准确的预测模型。示例：如果已知人口增长情况和典型的天气状况，那么明年的用电量将会是多少？

3）探索检验假设

还可以使用回归分析来深入探索某些假设情况。假设您正在对住宅区的犯罪活动进行建模，以更好地了解犯罪活动并希望实施可能阻止犯罪活动的策略。开始分析时，您很可能有很多问题或想要检验的假设情况。

回归分析的作用主要有以下几点：

1）挑选与因变量相关的自变量；

2）描述因变量与自变量之间的关系强度；

3）生成模型，通过自变量来预测因变量；

4）根据模型，通过因变量，来控制自变量。

回归分析方法

现在有各种各样的回归技术可用于预测，这些技术主要包含三个度量：自变量的个数、因变量的类型以及回归线的形状。

1.回归分析方法

1）线性回归

线性回归它是最为人熟知的建模技术之一。线性回归通常是人们在学习预测模型时首选的少数几种技术之一。在该技术中，因变量是连续的，自变量（单个或多个）可以是连续的也可以是离散的，回归线的性质是线性的。线性回归使用最佳的拟合直线（也就是回归线）建立因变量 (Y) 和一个或多个自变量 (X) 之间的联系。用一个等式来表示它，即：

Y=a+b*X + e

其中a 表示截距，b 表示直线的倾斜率，e 是误差项。这个等式可以根据给定的单个或多个预测变量来预测目标变量的值。

一元线性回归和多元线性回归的区别在于，多元线性回归有一个以上的自变量，而一元线性回归通常只有一个自变量。

线性回归要点：

1）自变量与因变量之间必须有线性关系；

2）多元回归存在多重共线性，自相关性和异方差性；

3）线性回归对异常值非常敏感。它会严重影响回归线，最终影响预测值；

4）多重共线性会增加系数估计值的方差，使得估计值对于模型的轻微变化异常敏感，结果就是系数估计值不稳定；

5）在存在多个自变量的情况下，我们可以使用向前选择法，向后剔除法和逐步筛选法来选择最重要的自变量。

2）Logistic回归

Logistic回归可用于发现 “事件=成功”和“事件=失败”的概率。当因变量的类型属于二元（1 / 0、真/假、是/否）变量时，我们就应该使用逻辑回归。这里，Y 的取值范围是从 0 到 1，它可以用下面的等式表示：

odds= p/ (1-p) = 某事件发生的概率/ 某事件不发生的概率

ln(odds) = ln(p/(1-p))

logit(p) = ln(p/(1-p)) =b0+b1X1+b2X2+b3X3....+bkXk

如上，p表述具有某个特征的概率。在这里我们使用的是的二项分布（因变量），我们需要选择一个最适用于这种分布的连结函数。它就是Logit 函数。在上述等式中，通过观测样本的极大似然估计值来选择参数，而不是最小化平方和误差（如在普通回归使用的）。

Logistic要点：

1）Logistic回归广泛用于分类问题；

2）Logistic回归不要求自变量和因变量存在线性关系。它可以处理多种类型的关系，因为它对预测的相对风险指数使用了一个非线性的 log 转换；

3）为了避免过拟合和欠拟合，我们应该包括所有重要的变量。有一个很好的方法来确保这种情况，就是使用逐步筛选方法来估计Logistic回归；

4）Logistic回归需要较大的样本量，因为在样本数量较少的情况下，极大似然估计的效果比普通的最小二乘法差；

5）自变量之间应该互不相关，即不存在多重共线性。然而，在分析和建模中，我们可以选择包含分类变量相互作用的影响；

6）如果因变量的值是定序变量，则称它为序Logistic回归；

7）如果因变量是多类的话，则称它为多元Logistic回归。

3）Cox回归

Cox回归的因变量就有些特殊，它不经考虑结果而且考虑结果出现时间的回归模型。它用一个或多个自变量预测一个事件（死亡、失败或旧病复发）发生的时间。Cox回归的主要作用发现风险因素并用于探讨风险因素的强弱。但它的因变量必须同时有2个，一个代表状态，必须是分类变量，一个代表时间，应该是连续变量。只有同时具有这两个变量，才能用Cox回归分析。Cox回归主要用于生存资料的分析，生存资料至少有两个结局变量，一是死亡状态，是活着还是死亡；二是死亡时间，如果死亡，什么时间死亡？如果活着，从开始观察到结束时有多久了？所以有了这两个变量，就可以考虑用Cox回归分析。

4）poisson回归

通常，如果能用Logistic回归，通常也可以用poission回归，poisson回归的因变量是个数，也就是观察一段时间后，发病了多少人或是死亡了多少人等等。其实跟Logistic回归差不多，因为logistic回归的结局是是否发病，是否死亡，也需要用到发病例数、死亡例数。

5）Probit回归

Probit回归意思是“概率回归”。用于因变量为分类变量数据的统计分析，与Logistic回归近似。也存在因变量为二分、多分与有序的情况。目前最常用的为二分。医学研究中常见的半数致死剂量、半数有效浓度等剂量反应关系的统计指标，现在标准做法就是调用Pribit过程进行统计分析。

6）负二项回归

所谓负二项指的是一种分布，其实跟poission回归、logistic回归有点类似，poission回归用于服从poission分布的资料，logistic回归用于服从二项分布的资料，负二项回归用于服从负二项分布的资料。如果简单点理解，二项分布可以认为就是二分类数据，poission分布就可以认为是计数资料，也就是个数，而不是像身高等可能有小数点，个数是不可能有小数点的。负二项分布，也是个数，只不过比poission分布更苛刻，如果结局是个数，而且结局可能具有聚集性，那可能就是负二项分布。简单举例，如果调查流感的影响因素，结局当然是流感的例数，如果调查的人有的在同一个家庭里，由于流感具有传染性，那么同一个家里如果一个人得流感，那其他人可能也被传染，因此也得了流感，那这就是具有聚集性，这样的数据尽管结果是个数，但由于具有聚集性，因此用poission回归不一定合适，就可以考虑用负二项回归。

7）weibull回归

中文有时音译为威布尔回归。关于生存资料的分析常用的是cox回归，这种回归几乎统治了整个生存分析。但其实夹缝中还有几个方法在顽强生存着，而且其实很有生命力。weibull回归就是其中之一。cox回归受欢迎的原因是它简单，用的时候不用考虑条件（除了等比例条件之外），大多数生存数据都可以用。而weibull回归则有条件限制，用的时候数据必须符合weibull分布。如果数据符合weibull分布，那么直接套用weibull回归自然是最理想的选择，它可以给出最合理的估计。如果数据不符合weibull分布，那如果还用weibull回归，那就套用错误，结果也就会缺乏可信度。weibull回归就像是量体裁衣，把体形看做数据，衣服看做模型，weibull回归就是根据某人实际的体形做衣服，做出来的也就合身，对其他人就不一定合身了。cox回归，就像是到商场去买衣服，衣服对很多人都合适，但是对每个人都不是正合适，只能说是大致合适。至于到底是选择麻烦的方式量体裁衣，还是选择简单到商场直接去买现成的，那就根据个人倾向，也根据具体对自己体形的了解程度，如果非常熟悉，自然选择量体裁衣更合适。如果不大了解，那就直接去商场买大众化衣服相对更方便些。

8）主成分回归

主成分回归是一种合成的方法，相当于主成分分析与线性回归的合成。主要用于解决自变量之间存在高度相关的情况。这在现实中不算少见。比如要分析的自变量中同时有血压值和血糖值，这两个指标可能有一定的相关性，如果同时放入模型，会影响模型的稳定，有时也会造成严重后果，比如结果跟实际严重不符。当然解决方法很多，最简单的就是剔除掉其中一个，但如果实在舍不得，觉得删了太可惜，那就可以考虑用主成分回归，相当于把这两个变量所包含的信息用一个变量来表示，这个变量我们称它叫主成分，所以就叫主成分回归。当然，用一个变量代替两个变量，肯定不可能完全包含他们的信息，能包含80%或90%就不错了。但有时候我们必须做出抉择，你是要100%的信息，但是变量非常多的模型？还是要90%的信息，但是只有1个或2个变量的模型？打个比方，你要诊断感冒，是不是必须把所有跟感冒有关的症状以及检查结果都做完？还是简单根据几个症状就大致判断呢？我想根据几个症状大致能确定90%是感冒了，不用非得100%的信息不是吗？模型也是一样，模型是用于实际的，不是空中楼阁。既然要用于实际，那就要做到简单。对于一种疾病，如果30个指标能够100%确诊，而3个指标可以诊断80%，我想大家会选择3个指标的模型。这就是主成分回归存在的基础，用几个简单的变量把多个指标的信息综合一下，这样几个简单的主成分可能就包含了原来很多自变量的大部分信息。这就是主成分回归的原理。

9）岭回归

当数据之间存在多重共线性（自变量高度相关）时，就需要使用岭回归分析。在存在多重共线性时，尽管最小二乘法（OLS）测得的估计值不存在偏差，它们的方差也会很大，从而使得观测值与真实值相差甚远。岭回归通过给回归估计值添加一个偏差值，来降低标准误差。

上面，我们看到了线性回归等式：

y=a+ b*x

这个等式也有一个误差项。完整的等式是：

y=a+b*x+e (误差项), [误差项是用以纠正观测值与预测值之间预测误差的值]

=> y=a+y= a+ b1x1+ b2x2+....+e, 针对包含多个自变量的情形。

在线性等式中，预测误差可以划分为 2 个分量，一个是偏差造成的，一个是方差造成的。预测误差可能会由这两者或两者中的任何一个造成。在这里，我们将讨论由方差所造成的误差。岭回归通过收缩参数 λ（lambda）解决多重共线性问题。请看下面的等式：

在这个等式中，有两个组成部分。第一个是最小二乘项，另一个是 β2（β-平方）和的 λ 倍，其中 β 是相关系数。λ 被添加到最小二乘项中用以缩小参数值，从而降低方差值。

岭回归要点：

1）除常数项以外，岭回归的假设与最小二乘回归相同；

2）它收缩了相关系数的值，但没有达到零，这表明它不具有特征选择功能；

3）这是一个正则化方法，并且使用的是 L2 正则化。

10）偏最小二乘回归

偏最小二乘回归也可以用于解决自变量之间高度相关的问题。但比主成分回归和岭回归更好的一个优点是，偏最小二乘回归可以用于例数很少的情形，甚至例数比自变量个数还少的情形。所以，如果自变量之间高度相关、例数又特别少、而自变量又很多，那就用偏最小二乘回归就可以了。它的原理其实跟主成分回归有点像，也是提取自变量的部分信息，损失一定的精度，但保证模型更符合实际。因此这种方法不是直接用因变量和自变量分析，而是用反映因变量和自变量部分信息的新的综合变量来分析，所以它不需要例数一定比自变量多。偏最小二乘回归还有一个很大的优点，那就是可以用于多个因变量的情形，普通的线性回归都是只有一个因变量，而偏最小二乘回归可用于多个因...

在我国，数据科学与大数据技术专业的建设已成为新的热点话题。 在系统调研 世界一流大学数据科学专业建设现 状的基础上，从特色课程视角重点分析 加州大学伯克利分校、约翰·霍普金斯大学、华盛顿大学、纽约大学、斯坦福大学、卡内基梅隆大学、哥伦比亚大学、伦敦城市大学等 8所大学的数据科学专业，提出 数据科学与大数据技术这一新专业 应重视的10门特色课程，并分析了现阶段我 国 数据科学教育中 普遍存在的8种曲解现象及对策建议 。

2016 年，教育部发布的《 2015 年度普通高等学校本科专业备案和审批结果》中就首次增设“数据科学与大数据技术专业”，并获批了北京大学、对外经济贸易大学及中南大学的新增专业申请。接着， 2017 年，中国人民大学等 32 所高校出现在第二批次的获批名单中。另， 全国高校大数据教育联盟的统计数据显示， 2017 年申请该专业的院校高达 263 所，其中工学 190 所，理学 73 所 [1] 。从申请资料看，国内数据科学专业是一门主要以统计学和计算机科学与技术专业为基础建设的全新专业。数据科学专业已成为我国现阶段高等教育的热点问题之一。但是，建设什么样的专业以及如何建设该专业仍为各高校面临的难点问题。

在国外，数据科学（ Data Science ）专业是以数据分析学（ Data Analytics ）专业为基础发展而来的，可追溯至 2007 年北卡罗来纳州立大学（ North Carolina State University ）率先设立的数据分析硕士学位（ Master of Science in Analytics ） [2] 。与统计学和计算机科学与技术等基础学科不同的是，数据分析学进一步抽象了这些底层科学中的数据问题，连接了包括统计学和计算机科学在内的基础学科与数据科学之间的空白，为数据科学这一新学科的出现奠定了直接基础。从“数据分析学”向“数据科学”的实质性过渡出现在 2013 年左右，比较有代表性的是纽约大学于 2013 年新开设的数据科学硕士专业（ The Master of Science in Data Science ） [3] 。 之后，包括加州大学伯克利分校、约翰 · 霍普金斯大学、华盛顿大学在内的多个学校设立了数据科学专业。可见，国外一流大学的数据科学专业建设至少早于国内 三 年。

为此，本文在调查分析世界一流大学数据科学专业的培养方案，重点分析数据科学专业中开设的特色课程，并对探讨我国数据科学专业建设的借鉴意义。

1 数据调研及分析

作者通过 Study Portal 进行调查发现，截止 2017 年 11 月，国外数据科学专业的本科、硕士、博士学位项目分别已达到 5601 、 4179 和 301 项，主要分布在美国、英国、澳大利亚、加拿大、德国和意大利等国家。但是，从课程体系和人才培养定位看，能够体现国外数据科学专业教育的本质与特色的是硕士层次的教育，比较有典型的学校有加州大学伯克利分校、约翰·霍普金斯大学、华盛顿大学、纽约大学、斯坦福大学、卡内基梅隆大学、哥伦比亚大学、伦敦城市大学，如表 1 所示。

表 1 典型数据科学专业及其特色课程（ Typical Data Science Programs and their Core Courses ）

学校

学位名称

特色课程

加州大学伯克利分校 [4]

信息与数据科学硕士

（ Master of Information and Data Science ）

Python 与数据科学 /Python for Data Science

研究设计及数据与分析中的应用 /Research Design and Application for Data and Analysis

数据存储与检索 / Storing and Retrieving Data

应用机器学习 / Applied Machine Learning

试验与因果分析 /Experiments and Causality

大数据 —— 人与价值 / Behind the Data: Humans and Values

( 纵向扩展及真正的 ) 大数据 / Scaling Up! Really Big Data

数据可视化与沟通 / Data Visualization and Communication

（数据科学）综合训练课程 / Synthetic Capstone Course

约翰 · 霍普金斯大学 [5]

数据科学理学硕士

（ Master of Science in Data Science ）

数据科学 /Data Science

数据可视化 /Data Visualization

随机优化与控制 /Stochastic Optimization and Control

数据科学家的工具箱 / Data Scientist's Toolbox

数据采集与清洗 /Getting and Cleaning Data

探索性数据分析 /Exploratory Data Analysis

可重复研究 /Reproducible Research

实用机器学习 /Practical Machine Learning

数据产品开发 /Developing Data Products

数据科学综合训练课程 /Data Science Capstone

华盛顿大学 [6]

数据科学理学硕士

Master of Science in Data Science

数据可视化与探索性分析 / Data Visualization & Exploratory Analytics

应用统计与试验设计 /Applied Statistics & Experimental Design

数据管理与数据科学 /Data Management for Data Science

数据科学家常用的统计机器学习 /Statistical Machine Learning for Data Scientists

面向数据科学的软件设计 /Software Design for Data Science

可扩展的数据系统与算法 /Scalable Data Systems & Algorithms

以人为中心的数据科学 /Human-Centered Data Science

数据科学综合训练课程 /Data Science Capstone Project

纽约大学 [7]

数据科学理学硕士 MS in Data Science

数据科学导论 / Intro to Data Science

大数据 /Big Data

面向数据科学的统计学与概率论 /Probability and Statistics for Data Science

推理与表示 / Inference and Representation

机器学习与计算统计学 / Machine Learning and Computational Statistics

数据科学综合训练课程 / Capstone Project in Data Science

基于优化的数据分析 /Optimization-based Data Analysis

非光滑凸优化 /Convex and Nonsmooth Optimization

斯坦福大学 [8]

统计学 : 数据科学 理学硕士学位

M.S.in Statistics:Data Science

现代应用统计学 : 学习 /Modern Applied Statistics: Learning

现代应用统计学 : 数据挖掘 /Modern Applied Statistics: Data Mining

数据驱动型医学 / Data Driven Medicine

现代统计学与现代生物学 /Modern Statistics for Modern Biology

大数据商务智能 / Business Intelligence from Big Data

基于数据的计算范式 /Paradigms for Computing with Data

卡内基梅隆大学 [9]

计算数据科学硕士学位

Master of Computational Data Science

云计算 /Cloud Computing

高级云计算 /Advanced Cloud Computing

多媒体数据库及数据挖掘 /Multimedia Databases and Data Mining

移动与普适计算 /Mobile and Pervasive Computing

大数据集的机器学习 /Machine Learning with Big Data Sets

智能信息系统的设计与开发 /Design and Engineering of Intelligent Info Systems

大数据分析学 /Big Data Analytics

哥伦比亚大学（纽约） [10]

数据科学理学硕士

Master of Science in Data Science

数据科学导论 /Introduction to Data Science

面向数据科学的计算机系统 /Computer Systems for Data Science

探索性数据分析与可视化 /Exploratory Data Analysis & Visualization

数据科学中的因果推理 / Causal Inference for Data Science

大数据分析学 /Big Data Analytics

数据科学综合训练及伦理 /Data Science Capstone & Ethics

伦敦城市大学 [11]

数据科学理学硕士

MSc in Data Science

数据科学原理 /Principles of data science

大数据 /Big Data

可视分析学 /Visual analytics

数据可视化 /Data visualization

神经计算 /Neural computing

研究方法与专业问题 /Research Methods and Professional Issues

高级并发编程 /Advanced Programming: Concurrency

1.1加州大学伯克利分校

该学校的数据科学专业由信息学院（ School of Information ）开设，专业名称为信息与数据科学，授予的学位为信息和数据科学专业硕士（ Professional Master of Information and Data Science, MIDS ） [12] 。该专业主要侧重于培养学生的研究设计、数据清洗、存储与检索、挖掘与探索、数据可视化、道德与隐私、数据分析、沟通与呈现的能力，如图 1 所示。

图 1 加州大学伯克利分校 MIDS 专业所关注的学生能力

（ Key Skill Areas of MIDS at UC Berkeley ） [12]

为了达到上述人才培养目的，该专业开设基础课程、高级课程和综合训练课程等 3 类课程。其中 ，基础课程共有5门，即面向数据科学的Python语言（Python for Data Science）、面向数据与分析的研究设计（Research Design and Application for Data and Analysis）、面向数据科学的统计学（Statistics for Data Science）、数据存储与检索（Storing and Retrieving Data）以及应用机器学习（Applied Machine Learning）；高级课程有7门，包括试验与因果分析(Experiments and Causality)、数据、人与价值（Behind the Data: Humans and Values）、（纵向扩展及真正的）大数据（Scaling Up! Really Big Data）、面向离散响应，时间序列和面板数据的统计方法（Statistical Methods for Discrete Response, Time Series, and Panel Data）、可扩展的机器学习（Machine Learning at Scale）、基于深度学习的自然语言处理（Natural Language Processing with Deep Learning）以及数据可视化与沟通(Data Visualization and Communication)。除了基础课程和高级课程，该学校还开设一门综合训练课程（Synthetic Capstone），培 养学生综合运用所学专业知识及解决现实问题的能力。

从总体上看，人才培养定位在培养数据科学领域的领导者，侧重培养学生的运用新工具和新方法，从现实数据中获得洞见（ Insights ）以及如何有效地沟通与阐释自己的研究发现，进而改变他人行动和思想的能力。 该学校的数据科学专业的人才培养具有如下几个特点 ：

强调数据科学的多学科交叉特点 ，将社会科学，计算机科学，统计学，管理学和法学等多学科知识融入具体课程之中；

凸显数据科学本身的讲解 ，注重提升学生的基于数据提出好问题的能力以及面向数据科学的研究设计、数据清理、存储与检索、交流与沟通、统计分析、道德与隐私、数据可视化以及数据挖掘与探索等关键技能；

引入基于项目的学习方法 ，借鉴本校信息学院其他专业的培养经验，通过基于项目的教学方式，鼓励学生综合运用多种不同的工具和方法来解决复杂问题；

强调动手实践能力的培养，为学生提供亚马逊 Web 服务和 IBM 大数据平台等实践平台。

1.2 约翰 · 霍普金斯大学

该学校的怀廷工程学院（ Whiting School of Engineering ）开设名为数据科学（ Data Science ）的新专业，授予的学位为数据科学理学硕士（ Master of Science in Data Science ）。

该专业的课程体系包含先修课程（ Prerequisite Courses ）、基础课程（ Foundation Course ）、必修课程（ Required Courses ）、选修课程（ Electives ）以及独立学习（ Independent study ）课程等近 60 门课程 [13] 。 基础课程有 2 门，即算法基础（ Foundations of Algorithms ）和统计方法与数据分析（ Statistical Methods and Data Analysis ）；必修课程包括数据库系统原理、数据科学、数据可视化、优化导论（ Introduction to Optimization ）、统计模型与回归、计算统计学；选修课分为机器学习和统计学两个大方向，共有 14 门主要课程，均为较为常见课程。 值得一提的是，该专业另提供了近 30 门扩展选修课程（ Additional Selections ），供学生用于置换同一个领域的必须 / 选修课程，这些扩展课程均为统计学和计算机科学与技术专业常见课程。 独立学习（ Independent study ）课程主要包括独立动手实战（ Capstone 项目）和独立学习（ Independent Study ）。

从总体上看， 该学校的数据科学专业的人才培养具有如下几个特点 ：

从人才培养的目的看，专业旨在培养“有竞争力”的数据科学家，要求学生具备三方面的能力：综合运用计算机科学和应用数学的知识，分析与处理大规模数据集的能力；从复杂数据中快速洞察到有价值信息的能力和从信息中发现相关关系的能力；基于规范的技术和抽象的方法以及面向现实世界中的具体问题的建模能力[14]。

强调学生对数据科学的理论基础的掌握程度，突出了三个主要领域：计算机科学与技术、统计学与应用数学。其中，对应用数学的重视是该学校数据科学专业的一大特色。

从课程设计及内容选择看，该专业鼓励在每一门课程中引入来自现实世界的具体问题作为例题和主要关注点。例如，独立学习（Independent Study）课程中强调对具体行业中实际问题的处理能力。

强调培养学生的数据全生命期管理、统计 分析和故事化描述能力。

1.3华盛顿大学

整合自己的应用数学系、生物统计学系、 Paul G. Allen 计算机科学与工程学院、以人为本的设计与工程系、统计系、信息学院 6 大院系以及电子科学研究所的资源，开设出了一种面向在职人员的夜大类数据科学专业项目，所授予的学位为数据科学理学硕士（ Master of Science in Data Science ）。该专业的课程设计较为简洁，包括 8 门核心课程以及 1 个 Capstone 项目。其中， 8 个核心课程分别是统计与概率论（ Introduction to Statistics & Probability ）、信息可视化（ Information Visualization ）、应用统计与试验设计（ Applied Statistics & Experimental Design ）、面向数据科学的数据管理（ Data Management for Data Science ）、数据科学家常用的统计机器学习（ Statistical Machine Learning for Data Scientists ）、面向数据科学的软件设计（ Software Design for Data Science ）、可扩展的数据系统与算法（ Scalable Data Systems & Algorithms ）和以人为中心的数据科学（ Human-Centered Data Science ）。 Capstone 项目要求学生自...

大数据并不是一种概念，而是一种方法论。简单来说，就是通过分析和挖掘全量的非抽样的数据辅助决策。大数据可以实现的应用可以概括为两个方向，一个是精准化定制，第二个是预测。比如像通过搜索引擎搜索同样的内容，每个人的结果却是大不相同的。

随着大数据的愈演愈热，相关大数据的职业也成为热门，给人才发展带来带来了很多机会。数据工程师、数据分析师已经成为大数据行业最热门的职位。

数据分析师是什么？

数据分析师不同行业中获取数据，并通过获取到的数据对问题进行解答。最后还需要以合适的方式对结果进行展示，以辅助企业做出商业决策。一般来讲，数据分析师的任务是对数据进行清洗、分析以及可视化。

根据行业的不同，数据分析师的头衔也可能不同。比如：业务分析师、商业智能分析师、运营分析师、数据库分析师等等。不管头衔是什么，数据分析师都可谓是通才。他们能够胜任诸多岗位与团队角色，同时也能在极大程度上帮助企业做出基于数据的决策。

数据分析师所需技能

编程，统计学和数学，机器学习，数据可视化和通信技术，数据处理和数据集定义

数据工程师是什么？

在大数据的时代，数据工程师的角色愈发地重要。数据工程师一般被定义成“深刻理解统计学科的明星软件工程师”。数据工程师是系统的构建者与优化者，所有公司正常运营的基础之一，数据工程师的职责就是保证数据在接收、转移的准确性，并且保证其它用户对数据的可访问性。

和数据分析师不同，他们不太关注统计、分析技能、建模等。他们的工作重点在于数据架构、计算、数据存储、数据流等。因此，数据工程师必须具备相当强的编程能力—包括编写数据查询程序的能力。也就是说，他们的能力必须达到开发运营高手的级别。

数据工程师还负责数据库设计、仓储数据库、建立数据库等。 这就意味着，他们必须十分熟悉现有的数据库技术和数据管理系统，比如和大数据有关的Hadoop与HBase 等。此外，非功能性的基础设施问题，如数据的可扩展性、可靠性、韧性、有效性，备份等也由数据工程师来负责。

数据工程师所需技能

数学和统计学，程序设计和计算机科学，分析技能，商业战略

对于招聘市场端在大数据工程师和大数据分析师二个方向所涉及的岗位具体名称如下图所示：

大数据工程师方向：

大数据分析师方向：

总结：

数据工程师的重心在“后端”，他们需要持续的优化数据通道，才能保证企业数据的准确性与可用性。同时还需确保在需要的时候能够顺畅地将数据提供给用户。

数据分析师则是通过使用数据工程师所构建的自定义API来提取新的数据集，并对其中的数据趋势进行识别，同时对异常数据进行分析。分析师们将会对结果进行总结，并以一种清晰直观的方式来展示这些结果，以便于其它非技术团队能够更好地了解他们目前的工作效果。

有了以上信息，数据分析师和大数据工程师之间的差异应该清楚。对于数据驱动的职位来说，通过数据来找到正确的问题，并据此进行更加精确的试验，这就是其最根本的工作内容。进一步的，数据科学领域将不断发展进步，同时也会对相关从业人员提出持续学习的要求。

分享 IT 技术和行业经验，请关注-技术学派。

【IT168 技术】作为一个在这个行业已经好几年的数据科学家，在LinkedIn和QuoLa上，我经常接触一些学生或者想转行的人，帮助他们进行机器学习的职业建议或指导方面相关的课程选择。一些问题围绕教育途径和程序的选择，但许多问题的焦点是今天在数据科学领域什么样的算法或模型是常见的。

由于可供选择的算法太多了，很难知道从哪里开始学起。课程可能包括在当今工业中使用的不是很典型的算法，而课程可能没有包含目前不是很流行的但特别有用的方法。基于软件的程序可以排除重要的统计概念，并且基于数学的程序可以跳过算法设计中的一些关键主题。

我为一些有追求的数据专家整理了一个简短的指南，特别是关注统计模型和机器学习模型(有监督学习和无监督学习);这些主题包括教科书、毕业生水平的统计学课程、数据科学训练营和其它培训资源。(其中有些包含在文章的参考部分)。由于机器学习是统计学的一个分支，机器学习算法在技术上归类于统计学知识，还有数据挖掘和更多的基于计算机科学的方法。然而，由于一些算法与计算机科学课程的内容相重叠，并且因为许多人把传统的统计方法从新方法中分离出来，所以我将把列表中的两个分支也分开了。

统计学的方法包括在bootcamps和证书程序中概述的一些更常见的方法，还有一些通常在研究生统计学程序中所教授的不太常见的方法(但在实践中可以有很大的优势)。所有建议的工具都是我经常使用的工具:

1)广义线性模型，它构成了大多数监督机器学习方法的基础(包括逻辑回归和Tweedie回归，它概括了在工业中遇到的大多数计数或连续结果……)

2) 时间序列方法(ARIMA, SSA, 基于机器学习的方法)

3) 结构方程建模 (模拟和测试介导途径)

4) 因子分析法(调查设计与验证的探索和验证)

5) 功率分析/试验设计 (特别是基于仿真的试验设计，以免分析过度)

6) 非参数检验(从零开始的推导, 尤其通过模拟)/MCMC

7) K均值聚类

8) 贝叶斯方法(Na?ve Bayes, 贝叶斯模型求平均值, 贝叶斯自适应试验...)

9) 惩罚回归模型 (elastic net, LASSO, LARS...) ，通常给模型增加惩罚因素(SVM, XGBoost...), 这对于预测值超过观测值的数据集是有用的(常见于基因组学与社会科学研究)

10) 样条模型(MARS...) 用于灵活性建模过程

11)马尔可夫链和随机过程 (时间序列建模与预测建模的另一种方法)

12)缺失数据填补方案及其假设(missForest, MICE...)

13) 生存分析(非常有助于制造建模和消耗过程)

14) 混合建模

15) 统计推断与分组测试(A/B测试和在许多交易活动中实施更复杂的设计)

机器学习扩展了许多这样框架，特别是K均值聚类和广义线性建模。在许多行业中一些有用的常见技术(还有一些更模糊的算法，在bootcamps或证书程序中出人意料的有用，但学校里很少教) 包括:

1)回归/分类树(用于高精度、可解释性好、计算费用低的广义线性模型的早期推广)

2)维数约简(PCA和多样学习方法如MDS和tSNE)

3)经典前馈神经网络

4)装袋组合(构成了随机森林和KNN回归整合等算法的基础)

7)加速整合(这是梯度提升和XGBoost算法的基础)

8)参数优化或设计项目的优化算法(遗传算法，量子启发进化算法，模拟锻炼，粒子群优化)

9)拓扑数据分析工具，特别适合于小样本大小的无监督学习(持久同调, Morse-Smale聚类, Mapper...)

10)深度学习架构(一般的深度架构)

11) KNN局部建模方法(回归, 分类)

12)基于梯度的优化方法

13)网络度量与算法(中央度量法、中间性、多样性、熵、拉普拉斯算子、流行病扩散、谱聚类)

14)深度体系架构中的卷积和汇聚层(专门适用于计算机视觉和图像分类模型)

15)层次聚类 (聚类和拓扑数据分析工具相关)

16)贝叶斯网络(路径挖掘)

17)复杂性与动态系统(与微分方程有关，但通常用于模拟没有已知驱动程序的系统)

依靠所选择的行业，可能需要与自然语言处理(NLP)或计算机视觉相关的附加算法。然而，这些是数据科学和机器学习的专门领域，进入这些领域的人通常已经是那个特定领域的专家。

学术项目之外的一些学习这些方法的资源包括:

Christopher, M. B. (2016). 《模式识别与机器学习》，施普林格出版社，纽约。

Friedman, J., Hastie, T., & Tibshirani, R. (2001). 《统计学习的要素》(卷1, 337-387页). 纽约: 统计中的斯普林格级数。