在这个用数据说话的时代，能够打动人的往往是用数据说话的理性分析，无论是对于混迹职场的小年轻，还是需要数据进行分析和研究的同学，能够找到合适的数据源都是非常重要的。特别是想要对一个新的领域进行研究和探索，拥有这个领域的数据那都是有十分重要的意义的。

在这里给大家推荐一些能够用上数据获取方式，有了这些资源，不仅可以在数据收集的效率上能够得到很大的提升，同时也可以学习更多思维方式。

1、公开的数据库

－ 国家数据 －

http://data.stats.gov/index.htm

数据来源于中国国家统计局，包含了我国经济民生等多个方面的数据，并且在月度、季度、年度都有覆盖，较为全面和权威，对于社会科学的研究不要太有帮助。最关键的是，网站简洁美观，还有专门的可视化读物。

－ CEIC －

http://ceicdata/zh-hans

最完整的一套超过128个国家的经济数据，能够精确查找GDP、CPI、进口、出口、外资直接投资、零售、销售以及国际利率等深度数据。其中的“中国经济数据库”收编了300,000多条时间序列数据，数据内容涵盖宏观经济数据、行业经济数据和地区经济数据。

－ wind（万得）－

http://wind/

万得被誉为中国的Bloomberg，在金融业有着全面的数据覆盖，金融数据的类目更新非常快，据说很受国内的商业分析者和投资人的亲睐。

－ 搜数网 －

http://soshoo/

已加载到搜数网站的统计资料达到7,874本,涵盖1,761,009张统计表格和364,580,479个统计数据，汇集了中国资讯行自92年以来收集的所有统计和调查数据，并提供多样化的搜索功能。

－ 中国统计信息网 －

http://tjcn.org/

国家统计局的官方网站，汇集了海量的全国各级政府各年度的国民经济和社会发展统计信息，建立了以统计公报为主，统计年鉴、阶段发展数据、统计分析、经济新闻、主要统计指标排行等。

－ 亚马逊aws －

http://aws.amazon/cn/datasets/?nc1=h_ls

来自亚马逊的跨科学云数据平台，包含化学、生物、经济等多个领域的数据集。

－ figshare －

https://figshare/

研究成果共享平台，在这里你会发现来自世界的大牛们的研究成果分享，同时get其中的研究数据，内容很有启发性，网站颇具设计感。

－ github －

https://github/caesar0301/awesome-public-datasets

如果觉得前面的数据源还不够，github上的大神已经为大家整理好了一个非常全面的数据获取渠道，包含各个细分领域的数据库资源，自然科学和社会科学的覆盖都很全面，简直是做研究和数据分析的利器。

随便上几个图，满满的都是资源啊

2、数据交易平台

－ 优易数据 －

http://youedata/

由国家信息中心发起，拥有国家级信息资源的数据平台，国内领先的数据交易平台。平台有B2B、B2C两种交易模式，包含政务、社会、社交、教育、消费、交通、能源、金融、健康等多个领域的数据资源。

－ 数据堂 －

http://datatang/

专注于互联网综合数据交易，提供数据交易、处理和数据API服务，包含语音识别、医疗健康、交通地理、电子商务、社交网络、图像识别等方面的数据。

3、网络指数

－ 百度指数 －

http://index.baidu/

大家都很熟悉的指数查询平台，可以根据指数的变化查看某个主题在各个时间段受关注的情况，进行趋势分析、舆情预测有很好的指导作用。除了关注趋势之外，还有需求分析、人群画像等精准分析的工具，对于市场调研来说具有很好的参考意义。同样的另外两个搜索引擎搜狗、360也有类似的产品，都可以作为参考。

－ 阿里指数 －

https://alizs.taobao/

国内权威的商品交易分析工具，可以按地域、按行业查看商品搜索和交易数据，基于淘宝、天猫和1688平台的交易数据基本能够看出国内商品交易的概况，对于趋势分析、行业观察意义不小。

－ 艾瑞咨询 －

http://iresearch/

艾瑞作为老牌的互联网研究机构，在数据的沉淀和数据分析上都有得天独厚的优势，在互联网的趋势和行业发展数据分析上面比较权威，艾瑞的互联网分析报告可以说是互联网研究的必读刊物。

－ 友盟指数 －

http://umeng/

友盟在移动互联网应用数据统计和分析具有较为全面的统计和分析，对于研究移动端产品、做市场调研、用户行为分析很有帮助。除了友盟指数，友盟的互联网报告同样是了解互联网趋势的优秀读物。

－ 爱奇艺指数 －

http://index.iqiyi/

爱奇艺指数是专门针对视频的播放行为、趋势的分析平台，对于互联网视频的播放有着全面的统计和分析，涉及到播放趋势、播放设备、用户画像、地域分布、等多个方面。由于爱奇艺庞大的用户基数，该指数基本可以说明实际情况。

－ 猫眼专业版－

http://piaofang.maoyan/

电影票房统计分析平台，猫眼专业版有实时的票房统计，影片的排盘情况、上座率和影院数据，对于当前电影的分析是必不可少的。

4、网络采集器

网络采集器是通过软件的形式实现简单快捷地采集网络上分散的内容，具有很好的内容收集作用，而且不需要技术成本，被很多用户作为初级的采集工具。

－ 火车采集器 －

http://locoy/

一款专业的互联网数据抓取、处理、分析，挖掘软件，可以灵活迅速地抓取网页上散乱分布的数据信息，并通过一系列的分析处理，准确挖掘出所需数据，最常用的就是采集某些网站的文字、图片、数据等在线资源。接口比较齐全，支持的扩展比较好用，懂代码的话，可以使用PHP或C#开发任意功能的扩展。

－ 八爪鱼 －

http://bazhuayu/

简单实用的采集器，功能齐全，操作简单，不用写规则。特有的云采集，关机也可以在云服务器上运行采集任务。

－ 集搜客 －

http://gooseeker/

一款简单易用的网页信息抓取软件,能够抓取网页文字、图表、超链接等多种网页元素，提供好用的网页抓取软件、数据挖掘攻略、行业资讯和前沿科技等。

5、网络爬虫

作为极客们最喜欢的数据收集方式，爬虫高度的自由性、自主性都使其成为数据挖掘的必备技能，当然精通python等语言是必要前提。

利用爬虫可以做很多有意思的事情，当然也可以获取一些从其它渠道获取不到的数据资源，更重要的是帮你打开寻找和搜集数据的思路。

－ 利用爬虫爬取网络图片 －

爬取的图像素材

你看到某个网站上的图片恰好是你需要的，但是量大单个下载太麻烦，那么利用爬虫你可以快速地进行抓取，并可以根据标签、特征、颜色等信息进行分类储存。从此不缺设计素材，不缺美女图片，连斗图都多了几分自信。

－ 利用爬虫爬取高质量资源 －

爬取的音乐资源

我们总是想快速地去搜集高质量的网络资源，但是人工查找比对实在太麻烦，利用爬虫你就可以轻松解决。比如爬取知乎点赞最多的文章列表，爬取网易云音乐评论最多的音乐，爬取豆瓣网高评分的电影或图书……总之，你可以从此拒绝平庸。

－ 利用爬虫获取舆情数据 －

爬取的某招聘网站职位信息

比如你可以批量爬取社交平台的数据资源，可以爬取网站的交易数据，爬取招聘网站的职位信息等，可以用于个性化的分析研究。

总之，爬虫是非常强大的，甚至有人说天下没有不能爬的网站，因而爬取数据也成为了很多极客的乐趣。开发出高效的爬虫工具可以帮助我们节省很多时间，可以完全按照自己的需求来订制，想想这个世界就太美好。

6、小工具

－ Web Plot Digitizer －

http://arohatgi.info/WebPlotDigitizer/app/

比如我们在查看期刊文献的时候看到一张成型的图表，但其本身数据是缺失的，你想获得这个图表的相关数据怎么办？有了这个小工具就非常easy了。直接上传我们需要获得数据的图表，如下：

然后我们就会获得如下的数据反馈，感觉运筹帷幄有木有，对于一些不需要十分精确的分析研究足够使用。

当然并不推荐用这个作为量化分析的依赖，对于定性的分析，做ppt级的数据统计分析就足够了。

－ you-get －

https://you-get.org/

这是一个程序员基于python 3开发的项目，已经在github上面开源，支持64个网站，包括优酷、土豆、爱奇艺、b站、酷狗音乐、虾米……总之你能想到的网站都有! 还有一个黑科技的地方，即使是名单上没有的网站，当你输入链接，程序也会猜测你想要下载什么，然后帮你下载。

下载优酷视频

批量下载图片

当然you-get要在python3环境下进行安装，用pip安装好后，在终端输入“you get＋你想下载资源的链接”就可以等着收藏资源了。

7、数据导航

收集数据是一种能力，学习收集数据也是一种能力，数据的来源是没有穷尽的，转换一种思维，你就可以获得不一样的数据，下面推荐几个可以用到的大数据导航，从这里面你可能会发现一些你自己想要的东西。每个人喜欢的收集数据的渠道不尽相同，只有尽量多地去见识和实践才会发现更多的适合自己的数据获取方式。

－ 199IT大数据导航 －

http://hao.199it/

－ 数据分析网导航 －

http://afenxi/hao

－ 大数据人导航 －

http://hao.bigdata.ren/

在互联网高度发达的今天，数据资源异常的丰富和庞大，如何高效地获取数据成为一种重要的能力，毕竟获取数据是一切用数据说话的前提。当然往往只需要熟练掌握一两种方法，便足够大多数人应付大多数场景和需求，所以选择合适的数据获取渠道还需要亲自探究。

这一节看似好讲实则难以表述清楚，

讲不到的地方请别较真，也不要问爬虫哪家好？

我只说我知道的，怎么选择，兄弟们请随意。

想了解更多大数据时代各个热词之间的对比，请加大数据学习交流8群640193172，共同讨论。

MES制造执行系统的特点，就是能实时收集生产过程中的各类信息、数据，然后汇集到数据库中，作数据分析及供管理层查询。如何高效的采集车间的各类数据，是决定一个MES制造执行系统软件项目实施成败的重要关键环节。为您简单介绍一下几类常见的数据采集方式。

数据收集是MES制造执行系统业务进行的根本，也是MES制造执行系统进行统计分析的基础。MES制造执行系统软件应用中根据不同的数据、应用场景、人员能力、设备投入等方面的因素需要采用不同的数据收集方式，选择不同的数据收集设备。根据各类数据的分类，采用不同的数据采集方式。

1、必须录入的数据

必须录入的数据指系统必须直接从外部获得的数据。系统可以通过规格基础定义功能以及过程数据基础定义功能完全的自行建立属于企业自己的数据收集项目库。

例如产品的编码、产品流程、工序名称、工艺条件目标等。

2、系统自动生成的的数据

生产过程中的部分由事件触发的数据可以由系统在过程中自动收集，主要包括：工序开始操作的时间、结束时间、设备状态等。这一类的数据，可由时间触发之后，根据原本设定的基础数据，由系统自动收集。

3、通过条码采集的方式

通过条码收集制造数据的方式是最为普遍的方式之一。条码收集数据的前提是信息可以以编码的方式表达或与预设的数据通过编码建立对应关系。

条码方式可收集的数据主要包括：产品批号、物料批号、加工资源编号、运输资源编号、人员编号、异常类别、异常现象、设备状态(维修、保养、故障停机等)、作业开始、作业结束等。

条码可以提高数据录入的准确性，提高录入速度，且成本较低。因此，建议尽可能的将数据进行分类然后编码处理，转化成条码的方式表达以便于现场的数据采集。

4、传感器采集数据

某些行业对温度、压力、湿度等的要求有严格要求的，其相关数据来源可以增加各类传感器。采集模式主要为温度传感器、压力传感器、无线数据采集卡和PC等构成。

5、RFID数据采集

在汽车行业中，由于完全依据订单进行生产，并且几乎没有两辆完全一样的订购汽车，因此自动化的物流跟踪是顺利生产的前提条件。对于每道生产工序，必须要对汽车进行明确的识别，以避免诸如错误安装了空调、调漆颜色不对等问题。在装配流水线上应用RFID技术以尽可能大量地生产用户定制的汽车，用户可以从上万种内部和外部选项中选定自己所需要的颜色、引擎型号等，这样汽车装配流水线上就得装配上百种样式的汽车。在装配流水线上配有RFID系统，使用可重复使用的电子标签，该标签上可带有详细的汽车所需的所有信息，在每个工作点都有RFID读写器，这样可以保证汽车在各个流水线位置处能毫不出错的完成装配任务。

实时、准确的生产数据采集并实现是MES制造执行系统得以成功的重要基础，企业MES制造执行系统软件建设中应该充分考虑其数据采集的特点，在采集过程中，根据完整性、实时性原则、多种采集技术综合应用、人机结合原则、易于集成应用原则，运用多种数据采集方式，并利用计算机、数据网络语通信设备、各种技术标准和实时历史数据库软件的有机组合来实现生产数据的集成应用。

效率MES解决方案在自动化的基础上，显著提高工厂的智能化水平，降低人为因素的影响，便捷、“傻瓜式”的操作将大大降低人力成本。

来源：深圳效率科技efficient.hk

数据采集内容

数据采集包括历史数据的采集和当前市场数据的采集，是科学进行数据分析的基础，数据采集的准确与否直接决定了数据分析的价值。

在企业运营过程中，假设企业环境基础不稳定，项目发展的规律在运营期间内没有大的变化，我们可以通过搜集准确的历史数据或可比历史数据，根据以往的发展规律，运用定量预测技术对未来收入和成本加以预测，直接推算出预测的相关数据。当运营环境略有改变时，可以利用定性预测技术对预测结果加以修正。因而，这类项目的数据采集主要是对历史数据的有效采集。

对于新开的发的项目，由于缺乏可比性历史数据，或者市场发展规律不明确或不稳定，我们则先需要通过市场调研甄别影响市场需要求的主要市场因素的变量，根据项目具体情况选择市场调研的途径和方法，进而采集相关的市场数据，形成预测主要市场因素间关系的数据基础。

企业所在的市场不同，影响需求的主要因素不同，数据采集的途径也不同。

1、制定市场研究的具体计划

在市场研究工作中数据采集是最重要的部分，它帮助解决投资与经营中相关的重要数据的确定和决策的改进。然而，数据采集工作是要花费资金的，尽量其带来的益处不言而喻，但是，如果要采集数据，就一定要让这笔费用华的物超所值。为了达到这一目标，需要周密的计划、安排和监控。这样做，不仅从协调计划的方面看是很重要的，而且也确保在预计时间内获得重要的数据，同时也可将成本监控在一定的范围内。

2、明确数据来源

在数据采集前，必须要对数据资料来源进行选择。数据资料按其来源不同，可分为第一首资料和第二手资料。第一手资料指为了一定的目的采集所得的原始资料。采集第一手资料的费用比较高，但资料的价值相当大。这种资料常常来自现场的调查，其准确度高且针对性强。第二手资料是指采集现成的资料，包括互联网上的信息，各种报刊

文献上的资料，还有各类权戚机构发布的统计和研究报告等等，在现代项目研究中，由于互联网应用的普及，获取各种二手资料比起以往变得更加便捷，内容也异常丰富，所以二手资料的采集成为非常重要的调研手段．它有方便、快捷．成本较低的优点。数据分析人员还可以从内部资料中提取第二手资料．也可以利用外部资料间接获取。常见的内部资料往往来自企业的财务报表．比如．资金平衡表、销售统计以及其他报表档案。项目数据分析的起点始于采集第二手资料．但是这样的二手资料必须经过仔细统计、筛选及甄别．以尽可能保证资料的精确、可靠和真实。

3、明确抽样方案及样本容量

在一手数据的采集中，根据项目所属的特定行业及特定市场定位，许多数据可以通过直接采集得到全部样本，尤其对于成本、费用等可控制的要素；然而，对于其他数据的采集，比如说产销硫及其趋势变化数据，其总体范围很广，很难直接获取全部数据。这时我们常采川抽样技术，从拟采集数据的总体中抽取有代表性的部分单位作为样本，对样本进行调查或观察，并根据样本统计城估计总体参数，对所猫投资数据进行顶测

4、明确数据采集方法

数据采集往往采用三种方法：访问调查法、实验法和观察法。访问调查法通过访问代表性样本而获得数据，强调语言应答。而观察法强调非语言方式，通过调研人员在事件发生时或在过去已发生事件的记录中采集信息 · 与上述两种方法相比，实验法能够有效控制调研环境，在实际项目数据采集中，可根据项目特点、数据采集成本费用预算标准、时间及精度要求，采用不同的方法。

5、问卷设计

为了达到采集数据的目的，采川问卷方式进行调査是近年应用最广的一种调査手段。问卷设计的好坏，在很大程度上取决于调查问卷的回收率和有效率。另外，—张好的调查问卷必须满足后期数据分析的两个基本标准:相关性与准确性。

问卷设计部分包括了对问卷结构、问卷设计原则、问卷的问题格式等问题的讨论与分析。

6、数据处理及分析

原始数据收集回来后，可能出现虚假、差错、冗余等现象，如果简单地把这些数据投 入预测分析，可能会导致错误的分析结论，从而使整个分析工作失去意义。因此，首先要对数据进行整理和加工，才能进行分析研究并得出科学的结论。数据的处理是指运用科学的方法，将调査所得的原始资料按调査目的进行审核、编码、录人及预分析的过程

心血管病一直被称为疾病领域的“头号杀手”，根据《中国心血管病报告2016》的数据显示，心血管病死亡占城乡居民总死亡原因的首位，根据推算，心血管病现患病人数约2.9亿，正处在慢性病快速增长和高发时期，未来10年，心血管治疗领域的发展潜力巨大。

除了院中的诊疗外，院前的筛查及预防，以及院后的随访、干预环节，对控制心血管病的发病率及复发率而言起到至关重要的作用。由于可穿戴式医疗设备的可持续跟踪性及使用场景的便利，通常用于诊前的筛查以及治疗后跟踪患者的后续情况。

据不完全统计，在市场中，主流的可穿戴心电监测设备有70余款，以可穿戴式和便携式为主，同时功能也极为相似，在竞争对手众多的心电监测领域，博迪加如何做出差异化的产品形态，他们的产品有何特别之处？近日，动脉网记者专访了博迪加科技创始人兼CEO高向东。

从军工转入医疗，在服装上实现心电动态监测

研究电子测量仪器出身的高向东此前一直服务于军工、航天领域，同时从事于高端电子测量仪器的国产化工作，用他的话来说，在此前的十几年，他一直是“跟信号打交道”。在2014年移动医疗兴起之时，他意识到军工行业的小众和封闭性，于是便依托在电子测量仪器行业的基础，与此前的团队一起，瞄准了健康管理的可穿戴医疗设备方向开始创业。

高向东指出，目前， 医院用于长时间心电监测的方式主要是24小时动态心电图监测，即俗称的“豪特”，这类设备的特点是，虽然可以离院使用，但其电生理传感器采用的是湿电极，主要靠传感器和病人皮肤之间的电解凝胶来提高传感器感知身体电信号的能力，同时，患者需要在身上粘贴10个以下的电极，并携带记录盒。

无论是从就诊体验或使用体验上来说，这样的产品一定程度上为患者带来了不便。

对标以色列的可穿戴式心电监护设备Healthwatch，团队想到做一款能够使患者穿在身上的产品。在历时2年研发后，博迪加心电衣正式推出市场。虽然外表看起来是一件普通的T恤，其实质是一个对心电活动的实时动态健康监测和预警系统，该系统可持续分析嵌入T恤的特有柔性传感器的输出信号，实现长时间的心电数据监测。

博迪加心电衣（企业供图）

好的产品要做到准确、舒适、漂亮、成本低

目前博迪加的产品分为两部分，一是以肌电、心电为主的硬件产品，其中，肌电产品主要应用于科研、运动康复、神经康复等领域，而心电产品主要是用于心血管慢病的筛查与随访管理；二是以APP、PC端形态为主的软件，包括监测、分析心电数据的云平台。

对于博迪加来说，摆在第一位的问题就是如何使数据变得准确。心电信号监测以无入侵式为原则，通常采用体表电极，而不需要配合导电膏使用的电极称为“干电极”，其阻抗、极化特性、稳定性等对测量的精确度影响较大

目前的生物医电传感器无法与服装整合，且不能拉伸，体感较差，同时其抗干扰能力较弱，在运动过程中会导致与皮肤接触不良，可靠性较差，影响生物医电信号的传输。在服装上收集人体的数据，而且是连续动态心电数据，存在难度。

高向东告诉动脉网记者：“从电环境来说服装其实是比较不干净的环境，服装的面料摩擦会产生静电，静电的干扰，包括电极材料、电极贴放方式，电信号传输方式，都会对数据采集产生影响。”

为了解决以上问题，博迪加与全球领先化工企业杜邦（DuPont）开展战略合作，历时两年，开发了基于导电墨水打印技术的柔性传感器及柔性传感器模组。该模组解决了传统干电极接触不良的问题，同时解决了可伸缩、可弯折、可水洗的核心问题，高向东认为团队的这项成果是研发出了“最接近湿电级准确度的干电级”。他表示：“在保证产品功效的前提下，实现100次的水洗，每件智能衣的使用周期在一年左右。”

博迪加智能衣的柔性传感器（企业供图）

参照YY1079-2008心电监护仪的对比实验，博迪加智能衣在QRS波检测敏感度、QRS波检测阳性预测敏感、PVC阳性预测度上分别达到99.7%、99.8%及96.5%的精确度。

在实现了数据的准确性后，考虑到服装的形态，高向东接下来面对的两个问题是舒适及美观，在他看来，博迪加的产品，“不能像Holter一样，出门的时候 还带个‘大盒子’，给用户打上病人的标签。”而应是一件看起来普通却可以保护心脏的背心，也是我们贴身的“铠甲”。

在材质及内置智能硬件上，博迪加的心电衣主要采用尼龙和莱卡面料，同时搭载世界上体积最小、重量仅7.8g的高精度心电、呼吸信号采集、存储和传输系统，可实现连续24小时心电数据的采集与记录。

高精度心电、呼吸信号采集、存储和传输系统（企业供图）

在成本方面，虽然存在技术难度，但是是否具备自动化的工艺生产条件是决定产品最终能否实现“量产”的关键，高向东认为：“这样的产品不应该成为’奢侈品‘，需要用自动化的工艺降低生产成本，售价要合理，要让大家都穿得起。”目前，植入传感器的博迪加心电衣已达到与普通服装相差无几的售价。

赋能心血管医联体，提高基层诊疗能力

在应用领域，博迪加主要聚焦医疗，同时辐射体育与工业应用。2018年是博迪加发力医疗领域的第一年。但实际上，博迪加从创立初期，就瞄准了医疗市场。在医疗方面，博迪加主要面向B端客户，利用博迪加心电衣等产品赋能合作机构。通过智能服装打通患者与医疗机构的联系, 成为医疗与健康大数据的入口，医疗服务机构的工具平台。

中国著名心血管专家，中国工程院张运院士曾指出，目前我国心血管疾病治疗领域要积极应对两大问题，一是患者从大医院到基层医院下沉的人群数量巨大， 二是心血管疾病的基层诊治能力尚急需提高。面对我国2.9亿心血管病人，专科医生分布极不平衡，各基层医院心血管疾病诊治水平还在一定程度上存在参差不齐的情况。因此，各地涌现了许多在心血管专科医联体模式。

博迪加产品应用模式（企业供图）

针对这样的痛点，博迪加目前已与心脏联盟、心医国际等机构展开合作，助力心血管病的远程诊疗，用云端的算法为企业提供远程的服务，对基层患者的数据进行管理。携手合作伙伴共同建立基层医院建立房颤筛查中心，同时建设院前筛查、院后随诊、长期监测的诊疗体系。

通过智能心电衣与配套的APP软件，可以实现长程心电监测以及事件心电记录的功能，对患者进行24小时心电采集与记录，生成心电图PDF报告。同时，根据指标判断心律失常等事件，在心电衣监测到异常时对特殊时事件进行标记，并记录事件前后1min的心电图，数据上云后，医疗机构可通过Web端查看数据、报告，对患者情况进行复核。

与安贞医院合作患者院后慢病管理项目，监测异常事件

博迪加在与医疗机构的合作过程中，打通患者与基层医疗机构的联系, 成为医疗与健康大数据的入口，医疗服务机构的工具平台。通过一系列的解决方案，解决基层医疗中缺乏数据采集手段、对数据判读能力不强、无法对患者进行监测管理的问题，提高基层医疗机构诊疗的准确性。在远程的随诊方面，医生也可以通过平台对患者进行院外的管理。

高向东强调，博迪加在医联体的系统之中，扮演的是数据采集者的角色，“院前是筛，院后是管，在这两个环节中数据作为周转的桥梁，挑战在于怎么让用户愿意产生这个数据，而且数据是准确的。”

高向东认为，团队此前一直是与信号打交道，以电子工程师为主，在信号处理与分析方面有丰富的经验。因此，医疗的专业性取决于和心脏联盟、安贞医院这样的医生、专家团队的合作，整个产品的研发的思路，专业性和使用的验证，有大量的我们的合作的专业的医学专家团队的输入。

此外，与医学专家团队合作的意义在于，在研发生产的过程中，及时针对医生的临床需求对产品进行相应的调整，医生会帮助博迪加在研发的过程中不断的验证需求，成为产品的试用者和指导者。

高向东告诉动脉网记者：“从一开始博迪加产品就是从医生提的需求开始做的，在研发的过程中，医生在阶段性的去替我们去验证，打磨产品，最后产品面世的时候，我们做出来的产品就是医生心目中想要的产品。

利用医生标注心电数据迭代人工智能算法，探索多种商业路径

据高向东透露，除了用传统的传感器实现心电监测外，公司还与科研高校合作进行人工智能技术的开发。高质量的数据是人工智能诊断的前提和基础，数据的质量对诊断准确率至关重要，他表示：“人工智能数据处理中80%的时间都是在做数据预处理工作，标注的准确性关乎结果的准确性。”

因此，在数据的获取方面，博迪加选择与医生集团合作，获取大量高质量带标注的医学病例样本，完成算法的迭代，获取更为准确的数据模型。“在云端，我们和一些医联体合作，大量的数据产生回来需要医生去标注的、核准的。标注的数据不断迭代，人工智能算法会越来越精准。”用高向东的话来说，人工智能是博迪加的另一个支点。

在提供算法服务的分成之前，博迪加主要的商业模式以销售产品设备为主，此外，基于心电数据收集，为用户提供体征数据分析，与机构协作，实现为用户实现线上问诊、医疗诊断等多场景的服务变现。

目前，博迪加已获得由数智匠人、昆山内衣科技等机构投资的三轮融资，融资额达数千万。未来，博迪加还将利用智能设备对体征信号进行高频、连续的采集和分析，将其沉淀的数据为医疗研究、保险控费提供帮助。

在辅导企业开展绩效考核的过程中，发现绩效数据的提供是一项工程量浩大、繁琐的工作，也是考核中最容易出问题的地方，对于考核数据到底应该由谁提供，每个企业有着不同的认知，在操作中也各有不同，因此一个规范、严谨的程序是必须建立的。

今天在跟踪A公司绩效考评时发生了一件事引起了笔者的反思，事情的经过是这样的：人力资源部小张将各部门的考核打分表和考核数据汇总起来后，上报给分管领导审核，结果被分管领导一顿狠批，认为其中有几项考核指标的打分非常不合理，明明这个月已经接到了几个客户的投诉电话，可是现场服务的得分还是很高。小张非常的委屈，这些数据都是各个部门之间互相提供给对方的，双方也都签字确认了，人力资源部只是一个二传手，怎么可能知道数据是否准确，如果人力资源部要参与所有数据的提供和审核，那人力资源部还有什么精力去干别的？

但是在有些企业情况恰恰相反，一到考核打分的阶段，绩效专员就忙得团团转，因为各个部门的打分都找他要数据，甚至有些企业干脆就是由人力资源部给各部门打分的。绩效专员为了给各部门搜集数据，就只能找这个要、找那个要，找谁要谁都觉得你影响了我的工作，不积极配合，或者干脆推脱没有数据、应该由别人提供等等，数据好不容易收集上来了，人力资源部还得一一的审核和反复的确认，搞得绩效专员很头大，很无奈。

这两个现象很有意思，它们虽然是两个极端，但其实都是因为人力资源部没有梳理清楚自身在绩效管理过程中所能发挥的作用和应该履行的职责，人力资源部在整个绩效管理过程中仅承担组织者、技术支持者、信息提供者、监控者的作用，而不是亲力亲为者。一方面是因为人力资源部不可能对公司的所有业务和所有管理行为都了如指掌，另一方面也是因为各个部门自身必须对本部门的绩效负责任，而不能让人力资源部负责任。

具体到绩效管理的各个阶段，绩效计划阶段，人力资源部负责组织各部门制定绩效计划，并将各部门的绩效计划汇总起来，审视其对公司战略目标的支撑性，相互之间的牵制性、平衡性等问题，但对具体指标和标准只能是提供建议而已。绩效实施阶段，人力资源部负责跟踪各部门绩效管理日志的记录、绩效数据的积累工作，并不能参与其绩效实施过程。绩效评估阶段，人力资源部负责组织各部门考核打分，在这个过程中，人力资源部要负责为各部门的绩效打分提供数据平台，但不应该代替各部门打分。绩效改进阶段，人力资源部要负责跟踪各部门对绩差的指标或个人制定改进计划，并跟踪改进计划的实施情况，而不能对改进的结果负责。

其他几个方面的责任其实还是比较好界定的，大多数的企业也都能做到人力资源部和运营部门各尽其责，就在绩效数据到底由谁提供方面还存在着分歧。各部门在考核打分时，部分绩效数据必须来源于第三方，这是客观事实，也是绩效管理的要求。各部门通常既是数据的提供方，也是数据的需求方，这样就形成了纵横交错的一个网，如果不能梳理清楚，就会存在较大问题。

如A公司在刚开始实行绩效考评时，为了减轻人力资源部的工作量，没有采用笔者提出的数据采集程序和工具，而是让数据提供方和需求方自行对接，结果第一个月考核时，发现几乎没有一个部门有扣分或加分现象。究其原因，各部门有的是并没有找其他部门要数据，有的是去要了，对方没给，反正都是应付着打的分。因此第二个月考核时，人力资源部要求各部门在考核时，必须让数据提供部门在考核表上签字确认，这样情况确实好多了，基本真实反映了各部门的实际工作情况，但是繁琐的程序让各部门抱怨不断，对绩效考核的配合度也一直不高。

而另外一家公司就是相反的情况，有些考核指标是需要在各部门提供的数据基础上进行进一步计算的，例如成本降低额，是需要将当月的各产品成本按照不变价重新核算后与公司核定的标准成本进行比较，而财务部仅提供根据当月市场价格结算的成本，人力资源部必须根据不变价重新计算，造成了大量的工作量，并且被考核部门也总是在质疑人力资源部考核打分的合理性。

这两家公司我们都建议他们实施绩效数据的统一采集、集中审核流程，具体操作方式分为以下几步：

1、人力资源部在组织各部门建立考核指标时，就要求各部门明确其数据的来源部门，如果数据来源不明的，由人力资源部组织相关部门共同讨论确定。

2、人力资源部编制《绩效考核数据一览表》，按部门分类，将各个部门应该提供给其他部门的数据列示清楚，包括需求岗位、考核指标、指标说明、计算公式等，要求各部门分析提供的可能性后签字确认。

3、人力资源部根据考核周期收集各部门的《绩效考核数据一览表》，并根据重要程度排序，分别上报至相应的分管领导处审核，并采集部分来源自高层的考核信息，如客户的抱怨、各种分析报告的质量等。

4、人力资源部将审核汇总后的考核数据重新整理，按照数据需求部门分类反馈。

在上述流程中，人力资源部统一采集汇总数据，避免了各部门交叉提供数据的混乱和遗漏；分管领导对数据的审核，确保了数据的准确和高层信息的及时补充，提高了考核质量和效率；人力资源部统一将数据反馈给各部门，确保了各部门数据来源的客观和可信，简化了后续审核。

大家有好的想法，欢迎在评论区给我留言

前言：个人数据采集经验总结，也许在审计过程中会遇到很多数据无法采集到AO审计软件的情况，就目前来说，随着各类业务软件、财务软件的不断更新，在数据采集上，AO已经无法满足要求了。当然，作为审计人员，不应该将数据采集作为无法开展工作的借口。只有多学习，多研究数据结构，在了解底层数据库结构的情况下，才能更好的提取所需数据。以下数据采集方法，仅为大家抛砖引玉，更多的是依靠大家多思考、多总结。

审计数据采集中的问题及解决方法

审计信息化给审计工作带来便捷、高效的同时，也带来了一些问题和挑战。审计软件开发已经跟不上财务软件的更新速度。目前市场占有率较大的“用友”“金碟”等财务软件几乎每年更新一次版本，如果数据结构没有调整，对审计数据采集的影响不大，一旦结构调整之后，审计软件没有做出对应的更新，那么“过时”的审计软件难以驾驭更新后的财务软件，尤其是在基层审计机关，没有专业人员，仅依靠自身学习和互联网查询，难以解决其遇到的问题。同时，各种数据库软件的导出方法都有所不同，数据采集操作的方式多种多样，很难掌握。针对类似问题，结合自身数据采集经验，提出以下解决办法。

一、借助互联网。互联网是最好的老师，在采集过程中遇到问题，多向网络请教，根据采集过程中的问题提示，以问题找答案，大部分采集问题都能得到解决。

二、多思考。依靠自身学习的计算机应用技术，对数据进行全方位，多维度的分析，力争找到能够突破的点。

三、多用转换工具。很多数据我们无法直接进行采集，但可以通过在网络上查找转换工具，将数据转换后，以其他格式进行采集。比如oracle数据库，我们并不熟悉，但可以通过使用工具转换为SQL数据库，然后再对数据进行分析采集。

四、多看开发文档。对于没有见过的小众财务软件或者更新后的财务软件，在数据结构有改动或者不熟悉的情况下，多看开发文档，了解后台数据表、结构。再使用“找表”采集或者使用采集模块采集。

五、多向软件公司技术人员请教。在数据采集过程中，向软件公司人员请教问题，是最好的学习途径，不仅对解决问题有帮助，还能让自己学到更多的技术。

企业做精准营销

简单的来说就是利用互联网信息技术手段来实现个性化营销的活动

需要依靠大数据信息采集系统作支撑

企业精准营销可以从以下几个方面进行

1.存在于网络中的信息碎片是独立错乱的

需要将这些信息打通、链接实现信息共享

为此要构建大数据交换共享平台

实现用户的精准识别和数据汇集

2.利用大数据信息采集工具实现精准营销和用户维系

比如通过云速数据挖掘

采集筛选精准需求客户信息

进行一对一产品信息推广

提高营销转化率

3.实现运营精准化的基础是细分用户市场

要求根据用户的消费习惯、需求等分析研究

定位目标市场

才能为精准营销提供依据

最后要以客户为中心进行市场营销活动

传统的营销模式以产品为导向

对市场的反应速度缓慢

大数据时代的精准营销

是以客户的需求着手

进行市场营销活动

对于具体的业务场景问题，我们该怎么办呢?我们以一个电子商务网站为例，用数据分析产品 GrowingIO 对该网站进行快速地数据采集、清晰和可视化展示，然后给大家分享这 8 种常见的数据分析方法。

1 数字和趋势

看数字、看趋势是最基础展示数据信息的方式。

在数据分析中，我们可以通过直观的数字或趋势图表，迅速了解例如市场的走势、订单的数量、业绩完成的情况等等，从而直观的吸收数据信息，有助于决策的准确性和实时性。

对于电子商务网站，流量是非常重要的指标。

上图中，我们将网站的访问用户量(UV)和页面浏览量(PV)等指标汇汇聚到统一的数据看板(Dashboard)，并且实时更新。

这样的一个数据看板，核心数字和趋势一目了然，对于首席增长官来说一目了然。

2 维度分解

当单一的数字或趋势过于宏观时，我们需要通过不同的维度对于数据进行分解，以获取更加精细的数据洞察。

在选择维度时，需要仔细思考其对于分析结果的影响。

举个例子，当监测到网站流量异常时，可以通过拆分地区、访问来源、设备、浏览器等等维度，发现问题所在。

3 用户分群

针对符合某种特定行为或背景信息的用户，进行归类处理，是我们常常讲到的用户分群(segmentation )的手段。

我们也可以通过提炼某一群用户的特定信息，创建该群体用户的画像。 例如访问购物网站、寄送地址在北京的用户，可以被归类为“北京”用户群体。

而针对“北京”用户群体，我们可以进一步观察他们购买产品的频度、类别、时间，这样我们就创建出该用户群体的画像。

在数据分析中，我们往往针对特定行为、特定背景的用户进行有针对性的用户运营和产品优化，效果会更加明显。

上图中，我们通过 GrowingIO 的用户分群功能将一次促销活动中支付失败的用户挑选出来，然后推送相应的优惠券。

这样精准的营销推广，可以大幅度提高用户支付的意愿和销售金额。

4 转化漏斗

绝大部分商业变现的流程，都可以归纳为漏斗。

漏斗分析是我们最常见的数据分析手段之一，无论是注册转化漏斗，还是电商下单的漏斗。

通过漏斗分析可以从先到后还原用户转化的路径，分析每一个转化节点的效率。　　其中，我们往往关注三个要点：　第一，从开始到结尾，整体的转化效率是多少?　　第二，每一步的转化率是多少?　　第三，哪一步流失最多，原因在什么地方?流失的用户符合哪些特征?

上图中注册流程分为 3 个步骤，总体转化率为45.5%;

也就是说有 1000 个用户来到注册页面，其中 455 个成功完成了注册。

但是我们不难发现第二步的转化率是 56.8% ，显着低于第一步 89.3% 和第三步转化率 89.7%，可以推测第二步注册流程存在问题。

显而易见第二步的提升空间是最大的，投入回报比肯定不低;如果要提高注册转化率，我们应该优先解决第二步。

5 行为轨迹

关注行为轨迹，是为了真实了解用户行为。

数据指标本身往往只是真实情况的抽象，例如，网站分析如果只看访问用户量(UV)和页面访问量(PV)这类指标，断然是无法全面理解用户如何使用你的产品。通过大数据手段，还原用户的行为轨迹，有助于增长团队关注用户的实际体验、发现具体问题，根据用户使用习惯设计产品、投放内容。

上图中展示了一位用户在某电商网站上的详细行为轨迹，从官网到落地页，再到商品详情页，最后又回到官网首页。

网站购买转化率低，以往的业务数据无法告诉你具体的原因;通过分析上面的用户行为轨迹，可以发现一些产品和运营的问题(比如是不是商品不匹配等等)，从而为决策提供依据。

6 留存分析

在人口红利逐渐消褪的时代，留住一个老用户的成本要远远低于获取一个新用户。

每一款产品，每一项服务，都应该核心关注用户的留存，确保做实每一个客户。

我们可以通过数据分析理解留存情况，也可以通过分析用户行为或行为组与回访之间的关联，找到提升留存的方法。

在 LinkedIn，增长团队通过数据发现，如果新用户进来后添加 5 个以上的联系人(上图红色线条)，那么他/她在 LinkedIn 上留存要远远高于那些没有添加联系人(上图绿色和紫色的线条)的留存。

这样，添加联系人称为 LinkedIn 留存新用户的最核心手段之一。除了需要关注整体用户的留存情况之外，市场团队可以关注各个渠道获取用户的留存度，或各类内容吸引来的注册用户回访率，产品团队关注每一个新功能对于用户的回访的影响等等，这些都是常见的留存分析场景。

7 A/B 测试

A/B 测试用来对比不同产品设计/算法对结果的影响。

产品在上线过程中经常会使用 A/B 测试来测试不同产品或者功能设计的效果，市场和运营可以通过 A/B 测试来完成不同渠道、内容、广告创意的效果评估。

举个例子，我们设计了两种不同的产品交互形式，通过比较实验组(A 组)和对照组(B 组)的访问时长和页面浏览量两个衡量指标，来评估哪一种交互形式更佳。要进行 A/B 测试有两个必备因素：

第一，有足够的时间进行测试;

第二，数据量和数据密度较高。

因为当产品流量不够大的时候，做 A/B 测试得到统计结果是很难的。而像 LinkedIn 这样大体量的公司，每天可以同时进行上千个 A/B 测试。所以 A/B 测试往往在公司数据规模较大时使用会更加精准，更快得到统计的结果。

8 数学建模

当一个商业目标与多种行为、画像等信息有关联性时，我们通常会使用数学建模、数据挖掘的手段进行建模，预测该商业结果的产生。

作为一家 SaaS 企业，当我们需要预测判断客户的流失时，可以通过用户的行为数据、公司信息、用户画像等数据建立流失模型。

利用统计学的方式进行一些组合和权重计算，从而得知用户满足哪些行为之后流失的可能性会更高。

我们常常说，不能度量，就无法增长，数据分析对于企业商业价值的提升有着至关重要的作用。

当然，仅仅掌握单纯的理论还远远不够，实践出真知。数据分析的方法大家不妨在自己日常工作中，有分析相关项目里尝试使用，相信可以事半功倍，创造更多商业价值。

背景描述

近期，宁波山能收到了宁波某水利部门1000座山塘静态影像数据采集项目委托。

客户起初只是计划通过航拍的手段，仅仅获取目标山塘的静态影像，经深入交流后，山能发现客户的需求远远不止如此。整个项目除了获取水塘的静态影像， 还需要收集水塘的其他信息并呈现（如水塘面积、坝高、坝宽、泄洪道宽度等）。但这些工作的是使用传统人工测量手段进行。

在宁波山能看来，无人机仅仅用来获取静态影像，那完全没体现出无人机应用的价值，甚至产生价值割裂。

通过后期处理数据采集过程中所产生的冗余数据，就完全可以满足整个项目的需求，不需要再进行人工传统测量。

此外，此项目的山塘大部分都位于深山老林，环境复杂不易接近。为接近山塘都须有徒步3~4小时都是常有的事儿。对于人工采集来说，也是巨大的挑战。

于是宁波山能根据客户的实际需求和实际的作业环境，为客户提供了更为完备、高效的无人机应用方案——无人机采集高空影像数据，对每个山塘建立三维模型。通过对模型进行测量，获取围坝高差、长宽、水域面积、溢洪道宽度等数据，最后生成报告。

人员与设备

参与此次任务共计4人，2人一组，基本上都是1名飞手和1名观察员搭配操作。

飞手基本上会控制飞机在法定的范围内飞行，部分飞行的作业，公司都会统一安排提前向相关部门申报。

设备使用的是大疆M210行业应用级无人机和大疆P4RTK无人机。

效果评估

提交数据后，客户将人工测量与无人机采集的数据进行比对，结果令客户非常满意。传统的现场数据测量转变为内业软件测量，极大的节省人力物力，也可将获取数据进行制表存档。1000座水塘传统人工测量需6个月，而航测只需1个月，航测大大的节省了时间成本，提高了作业效率。

建立三维模型可应用的数据远大于客户需求。而且所有模型数据均可加载到GIS平台上进行存储、查看和数据处理。相比于传统数据表更为直观，数据量更全面（带地理信息的三维数据），更新更便捷，并且具有很强的二次开发性。

无人机的应用方向有很多，航测只是其一，想要安全合法的运行无人机还是要符合法规要求。近期无人机相关法规密集出台，体现了国家对无人机行业的重视程度，也希望大家重视安全飞行。