在“制造2025战略”、“大数据”以及“工业4.0”已经广为探讨和实践的今天，依然有大量的制造企业仍然停留在通过Excel制作SPC质量分析报告的阶段。Excel的工作流程往往是这样子的：

虽然Excel能够利用已有的数据进行多种图表和表格的制作，能够完成部分的分析工作，但是对于整体生产过程的质量控制和管理来说，它是无法实现对品质管理的有效控制的。 Excel在数据采集及分析管理方面存在的挑战： ① 生产数据必须依靠一线人员手工录入，无法实现数据的自动采集，容易导致数据出错； ② 所有人员都可以对Excel中的数据进行直接修改，无法确保数据的准确性和客观性；③ Excel文件本身缺乏安全的保护和备份机制，容易被损毁、破坏和恶意删除；④ Excel只能一个方向数据录入，如往下或往右，无法控制数据的录入跳转方向； ⑤ 无法实时计算CPK、PPK等SPC分析指标； ⑥ 缺少权限控制功能，容易出现数据造假的现象； ⑦ 历史文件查找困难，无法对历史文档进行可追溯性和持续跟踪； ⑧ 无法对数据进行实时监控分析，对于超规格值无法进行实时报警功能； ⑨ 其他问题； 在“制造2025战略”、“大数据”以及“工业4.0”等背景下，我们需要寻求一款更好的工具来协助我们实现SPC质量分析，【QCData软件】---一款专门应用于品质数据采集管理与分析的软件。功能强大，操作简单，效率高，性价比高！

一个高效的采集工具，能帮助我们更快速地完成采集。

火车采集器，就是这样一款高效能地网页数据采集软件，它实现了将数据从采集到处理到发布的一系列智能操作，真正意义上做到了采集智能。

不仅如此它还能够快速稳定地应对大量的数据采集需求，取代手动采集模拟人工操作，大幅提升了工作效率，节约人力资源。

作为一款专业的网站抓取工具，火车采集器在网页数据抓取、处理、分析、挖掘方面尤其擅长。

现如今市场上的网页采集软件优劣纷杂，火车头无疑是一款非常值得信赖并且极其好用的网页数据采集软件。

它可以灵活迅速地抓取网页中散乱分布的文本，图片等资源信息，然后通过一系列的分析处理，准确挖掘出你所需要的绝大部分数据信息。

这些数据信息你可以选择发布到网站后台、导入数据库，也能够保存在本地 Excel，Word 等格式的文件中。

采集新闻，采集文章统统不在话下。老板再也不用担心做不完，一切变得so easy

历经十年的升级更新，火车采集器积累了大量用户和良好口碑，是目前市场上最受欢迎的网页数据采集软件。

官方网站：locoy

为采集而生

2005年~2015年，火车采集器的用户量一直稳居国内第一。

十年口碑

火车采集器目前用户突破十万，十年间在用户中形成了良好口碑，为我们的品牌传播奠定了基础。

真正通用

采集不限网页，不限内容，支持多种扩展，打破操作局限。采什么，如何采，都由您决定！

高效稳定

分布式高速采集系统，多个大型服务端同时稳定运作，快速分解任务量，最大化提升效率。

数据精准

内置采集监控系统，实时报错及时修复；采集发布时确保数据零遗漏，为用户呈现最精准的数据。

对于中小型企业来说，火车采集器是一款实用价值相当高的采集软件。

采集智能化，采集自动化带来的便利，大大降低了数据采集的难度。现如今的社会，信息便是资源，资源决定了企业在商场上能够走多远，所以信息储备至关重要不容忽视。

作为一个有点编程基础的人来跟你讲，火车头采集器，是一款就算零基础的门外汉都能很快熟悉，并且掌握操作的网页数据采集软件，新手体验度实在是不能更友好了。

对新手小白而言，火车头是一款非常合适好用的采集工具，学会熟练的使用火车头采集器也会让要用到网络数据采集技术的新手小白们事半功倍。

下面我就来详细介绍一下有关火车头采集器这款软件的特点吧

分布式高速采集

任务分配至多个客户端，同时运行采集，效率倍增。

多识别系统

配备正文识别、中文分词识别、任意编码识别等多种识别系统，智能识别操作更轻松。

可选验证方式

可选择是否使用加密狗，随时保障数据安全。

全自动运行

无需人工值守操作，任务完成后自动关机。

替换功能

同义，近义词替换、参数替换，伪原创必备技能。

任意文件格式下载

图片、压缩文件、视频等任意格式的文件都能轻松下载。

采集监控系统

实时监控采集，确保数据的准确性。

支持多数据库

支持Access/MySQL/MsSQL/Sqlite/Oracle多种类型的数据库保存及发布。

无限级多页采集

支持包含ajax请求数据在内的多个页面信息的无限级采集。

支持扩展

支持接口和插件扩展，满足各种采发需求。

以上便是全部，但是火车头采集器的好处却不止这么多。这些仅是其中的万分之一。

你还可以用它来采集文章、新闻素材填充你的网站内容，如果你想要采集更多有趣内容，有兴趣的小伙伴们可以转战火车采集器官方论坛，那里有更多车友们可以为你答疑解惑。

作为一款网页数据采集器，火车头秉承一句格言：

“好的软件的作用是让复杂的东西看起来更简单。”

潜心修炼自己的产品，给客户以最好的服务，才对得起客户对我们的支持

火车头一直以来坚持一句口号：“做数据采集，我们是专业的！”

好了，今天的文章就写到这里了，君问归期未有期，红烧茄子油焖鸡。

迷弟迷妹们咱们下期见！

日常工作中，涉及到数据的表格、计算、图表和分析，大家首选的一定是Excel。

但我也看到不少知友困惑于Excel的深入学习难度，鸡肋的大数据处理效率。

比如某同事为处理七八个维度，近万条数据崩溃不已；又有人几十万行的数据把电脑频频跑崩；再者，随着多任务线之间的交叉，汇总任务呈几何级数增加……

倒不是说Excel完成不了这类任务，如果是日常的表格记录、数据计算、Excel确实无法替代。但如果说做企业管理的业务报表、庞大而又复杂的数据分析、财务分析、预算编报，Excel就很不擅长了，因为其数据不统一，也没有独立的计算引擎，数据在各个Excel文件中独立存在，数据合并非常费事。

比如，最近我媳妇入职一家新公司，任某品牌的卖场数据专员。虽然之前也是这个行业的，可并不擅长数据报表的制作。

负责交接的同事是个毕业后就入职这家公司3年多的老员工，一直在做报表这块的工作，交接的时候为了更准确，我让媳妇使用录屏软件，将他每天要做的事情都录下来。

结果发现，这家伙从早上开始，就开始问信息部要数据，然后用excel各种复制、粘贴、求和、求百分比、vlookup、再复制、粘贴、求和、求百分比、vlookup、删除、调整……，几个小时后，第一张报表诞生了……

看了录像后的我，整个人都是崩溃的，这也太逆天了。好吧，这小伙子确实厉害，操作速度绝对是一流的，LOL里至少也是钻石V。

但我可舍不得媳妇每天这样，而且对于计算机专业的我来说，只要有数据库，这些重复性的工作都是分分钟代码/工具能解决的。

考虑到会有不少需求变化，让媳妇改代码是完全不可行的，于是我就找现成的报表工具。比较了SPSS、SAS、cognos、水晶、foxtable、finereport之后，确定了报表软件finereport。从mysql建表、数据导入、制作日报、周报、月报，各种对比报表开始逐个攻破，终于在手速不低于黄金段位的我进过一个星期的努力后，全部完工了，经过和小伙子做出来的手工表进行校对，确认没有问题后，安装部署到了媳妇的办公电脑上。

几天后，小伙子离职了，从此，媳妇上班只需要早上向个卖场的负责人收集数据，然后花几分钟导入数据库，然后点点鼠标，生成各种报表，然后……先存起来，喝水、吃零食、水果，休息，上网。

所以，从效率上来讲，专业的报表工具是可以替代很多重复性的excel处理工作的，比方说FineReport，信息部门部署安装后，可以连接各业务系统数据，将常规的各业务报表，还有周报月报这些，开发成可自动抽取数据并展示的模板，做好一次，每次只要查询即可。

因为这个工具大多为信息部开发报表所用，可能很多人都不太了解！我尽量以简洁易懂的语言，从技术的角度讲讲这个报表工具，操作上为何能省时省人力，并且有可以替代数据透视表的惊艳可视化。

一、用FineReport做一张模板，可以替代N张手工重复劳作的Excel !

为什么这么说？先来了解FineReport的制表原理

1、FineReport的制表原理

做报表首先得有数据，数据哪里来？一个是直接连接业务系统或者数据库的数据，还有可以导入excel文件数据，连好数据后，开始制作模板，类似于做excel表格一样，设计展现的样式，计算的公式，最后在web端展示。

但是和excel不用，excel处理的是一个个数据，finereport制作模板时处理的对象是数据字段，模板中一个单元格放一个数据字段，web端展示时字段扩展。FineReport报表中单元格的扩展是有方向的，可纵向扩展，也可横向扩展，也可以不扩展。

单元格的扩展是针对某一个单元格，当报表主体中绑定了多个单元格时，单元格与单元格之间依靠父子格关系跟随扩展。子格的数据会根据父格的数据进行过滤分组显示，并且还会跟随父格的扩展方向而扩展。

2、三大类报表设计方式，解决日常所有报表需求，并且一表复用。

1）普通模板设计，此者最常用。依靠着单元格的扩展与父子格的关系来实现模板效果，可进行参数查询，填报报表，图表设计等。比如交叉报表、行式报表、分组报表等等。

2）聚合报表设计，针对不规则大报表。适用于一张模板中显示多个独立模块的报表，几个报表块汇总在一起的复杂报表。

3）决策报表设计，就是表单，也是dashboard，也就是大家常见的各种图表拼接在一起的可视化数据报表。

通过拖拽图表来制作，制作好的dashboard可以自己适配屏幕的大小，多以也可以做成手机端的报表，大屏可视化，下面有细讲。

以下举例一些常见的报表格式：

3、参数实现数据查询和过滤

查询报表是怎么做呢？在FineReport中，通过设置参数绑定数据字段和过滤的控件（单选框、复选框等等），通过界面输入查询条件来控制报表显示的内容及形式，而后导出打印。

很多人工作上会做周报月报季报等，有些全国性的公司有分公司、门店、办事处。经常性地要做这些重复性很大的报表。那用FineReport就可以集中将每一条数据明细上传到数据库中（填报功能，下面会讲）。在做报表时，做将一些常用的维度“地区”、“时间”、“城市”等等作为一个查询的参数控件，类似Excel中的筛选，导出。基本上一个周报模板，就解决了一些人一年52张手工excel报表的工作量。

4、填报

数据采集是一个很重要的步骤。填报就是向数据库中录入数据，用来收集数据的，就好比你注册网站时提交的邮箱、收集、用户名、密码，都会按照格式存放到数据库中。

填报也需要模板，操作流程如下：

填报模板由控件组成，文本控件、数字控件、密码控件、单复选框、网页、文件等等。控件对应着数据字段。有了填报，就可以收集数据，并且允许用户实现对数据库的增删改。出于数据质量和数据安全的考虑，还可以对填报进入的数据做校验操作。

填报最大的用处是替代了excel收集数据，做好了模板，奖模板链接发送给相关人，填完数据审核过后即可入库，省得excel传来传去，而且是在web端填写，非常方便。

二、不只是报表，还有数据可视化

酷炫的dashboard都需要通过FineReport的表单（决策报表）来设计展现。通过拖拽报表块、图表块和各类控件初步设计界面。

不同于普通报表，普通报表是一个整体，无法实现局部刷新。表单是由各个组件组成，可以实现组件内刷新，即局部刷新。像动态大屏都是全局或者局部刷新的，所以需要用决策报表制作实现。

1、决策报表制作过程

新建表单：FineReport支持新建工作薄，即普通报表模板，还支持新建表单，两种设计模式；

拖入组件：FineReport表单支持多种不同的组件类型，包括报表块、tab块、绝对画布块、参数、图表和控件等等；

定义数据集：定义各个组件数据来源，图表组件数据即可来源于数据集，也可来源于单元格；

设置表单样式：即设置表单的显示样式。

2、数据可视化与交互

当下，数据分析盛行的年代，格子报表枯燥无味，可视化报表才能博得领导赞赏。之前很多网友问如何做可视化，其实，用FineReport自带的H5图表，就可以做出很炫的可视化dashboard。此前提到FineReport良好的开放性，可让技术同事写代码开发，所以在制作时，也可接入Echarts等第三方控件来制作图表。

3、实用而强大的数据地图

finereport有很强大的地图功能：基本地图、GIS地图、热力地图、大数据流向地图等，基本一键生成。

GIS地图基于GIS地图层进行数据展示，支持自定义GIS主题风格，能够与数据表钻取联动。比如省级钻取到市级、县级、街道。

三、总结

篇幅有限，以上只展现了FineReport的一部分功能，很多细节无法展开，感兴趣的可以去官网了解更多。

要说效率，最大的好处就是从数据库中读出数据自动产生报表，且一类报表做成一个固定样式的模板，每次只要同步一下，自动生产周期性的报表，如日报、周报、月报、季报等。 每次按照条件查询，Excel批量导出/打印，少了人力去一个一个用Excel统计汇总。

而且操作上，大多数功能FineReport都封装成模块了，包括写SQL取数，汇总筛选过滤等，基本上都有对应的功能键。像著名的资产负债表，如果按照以往写代码或者写复杂的SQL语句，就有点摧残生命了，而且那天书般的SQL语句要是出点错谁来查，如果数据来自多个源，那就彻底无法解脱了。

其次，在数据处理速度上，由于性能一部分依靠数据库，一部分依靠FineReport的形式报表引擎，相比于Excel的单机效率，几十万行的数据秒出。再者，企业数据库有各种自带或第三方的集群方案，通过堆机器就可以近似于无限的加大数据储存能力。

小R刚毕业，每天都在公司忙到10点半回家。

作为室友的我，总是打趣地问他：“是不是又在公司蹭空调蹭网络，干嘛不早点回来陪我吃鸡！”

没想到小R低下头落寞地抱怨道：“我也想早点回来，可是我真的搞不定啊！”

原来，小R每天的工作标配就是统计数据。可同事们十几分钟就能轻松搞定的Excel表格，他经常要加几个小时班才能勉强完成。刚开始，他以为是自己不够熟练，多多练习就好了。没想到埋头苦练了半个月，他还是全组最慢的那个，每天被领导催到怀疑人生，甚至被质疑工作能力。

没有对比就没有伤害。看着旁边妹子敲几下键盘就能轻松搞定表格，小R开始惧怕做Excel和数据统计。

如今，几乎所有公司在招聘时都离不开这条要求：熟练使用Excel，精通数据分析者优先。

做方案、汇报工作、数据分析、总账录入、项目进度、工作记录、写代码、帮助记忆、思维导图.......Excel几乎能解决你工作中的所有问题，它不仅仅是某一职业的必备技能，而真实涵盖所有行业：

做行政，你要学会做考勤表；做财务，你要学会做财会报表；做销售，你要学会做销售业绩表；做运营，你要数据分析、工作汇报；做数据分析师，Excel玩得6也是最最最基本的条件.....

大数据是眼下非常时髦的热词，同时也催生出了一些与大数据处理相关的职业，数据分析师便是其中之一。由于专业技能和量化的数据分析为客户或所在公司控制决策分析、保证利益最大化，“数据分析师”一职备受各界青睐，甚至被视为21世纪的黄金职业。

虽然发展前景大好，但很多想要转行数据分析的小白心里多少都会有些疑惑：不会R、Python、SPSS、Tableau，是不是做不了数据分析师？

事实上，精通Excel，对于转行数据分析来说相当重要。因为Excel拥有最大的客户群体，基本上所有的企业、个人的电脑中装的都是office，这也就意味着90%以上使用电脑的人，都会用到Excel，即便如BAT这样的企业，在处理百万级、千万级数据的时候，也会优先使用Excel。

那么，在没有统计学、数学、计算编程等基础的情况下，如何只用Excel，成功转行成为数据分析师呢？

这里就不得不介绍三款用Excel就可以实现数据分析的插件：Power Query（数据查询）、Power Pivot（数据建模）、Power View（数据可视化）。

这三个模块组成了数据分析全过程，这个过程就好比烹饪过程：

第一个模块数据查询——Power Query。与数据源直接对接，就像获取新鲜的食材，对食材进行清洗、分类、整理，使其达到准备入锅的使用状态。这一步非常重要，因为如果食材不新鲜，那么再厉害的大厨也不可能做出一道健康的美味，所以好的数据源是成功的一半。

第二个模块是数据建模——Power Pivot。这一步是数据分析过程中最具有技术含量的核心部分。我们把数据组合起来实现不同维度的分析，就像把食物组合起来利用烹、炸、煎、炒等方式，再添加油、盐、酱、醋等调料，以烹制出想要的味道。

但是光有味道是不够的，最后我们要呈现给顾客的是一道色、香、味俱全的菜，是否能以视觉效果吸引顾客品尝你的美味，这就要看第三个模块——Power View（数据可视化）的功力了。

例如，如果以前你的做表是这样的 :

那现在通过Power View几秒钟就可以做成这样：

是不是相当神奇？！

无论你是像小R一样的职场小白想要提高工作效率实现逆袭，还是零基础转行成为高大上的数据分析师，精通Excel可以让你彻底告别被数据搞晕的日子，实现加薪不加班！

Excel这么重要，如何在短时间内熟练掌握呢？这有一套为你打造的Excel精品课程：容大教育《Excel速成班——数据处理与分析实战》在线课程，教你用Excel实现数据采集、数据转换和清洗、数据分析与建模等，关注容大教育IT培训机构百家号获取学习资料！

对于企业和职场人士，特别是HR、财务等经常处理表单和数据的职位，日常工作中一定会接触到一些数据收集和分析的工作任务。多数情况下，用户需要从大量相同表单里提取一两项关键数据，针对这种场景，假若用户使用传统手工录入的方式，往往会有大量重复动作，毫无工作效率。

其实，用对工具，能极大提升工作效率。这篇文章里，为大家推荐5款数据处理软件。

1、Formtalk

Formtalk 提供企业级一站式办公应用定制平台，它不仅具备数据采集和管理，而且还能够满足企业内外部包括报名、登记、预约、投票、调查等在内的数据采集需求。这款软件能够帮助用户实时跟踪需要采集的数据，呈现为可视化报表，同时，它的PC表单设计引擎、移动表单设计引擎、安全引擎和数据集成接口四项核心技术能够为用户提供表单复制、表单授权及表单提取功能，让用户能够有效提高工作效率。

2、PDFelement

PDFelement 在处理 PDF 表单和提取数据这一块可谓占领行业制高点。 它能帮助用户一键识别表单域（交互式表单域和非交互式表单域皆可识别），也能帮助用户自定义创建个性表单，比如单选、多选、下拉表、文本框、数字签名等。 当用户面对海量 PDF 表单，需要提取其中一项或者多项关键数据时，它能帮助用户准确提取表单数据，批量处理为用户节省了大量时间和精力。

用户仅需将大量 PDF 拖入程序中，选择需要提取的区域，这些数据将会导入到Excel中。 如果这些 PDF 文档是扫描文件，也无需担心，PDFelement 执行 OCR，将文档转换为可编辑的文档，再进行数据提取操作。

3、金数据

这款表单处理工具是通用型的表单工具，主要功能聚集于数据收集和数据提取上，在数据统计和数据分析上有所欠缺。用金数据生成的表单不仅能以 Excel 表格的形式呈现，而且能够以链接或者 HTML 代码的形式嵌入到网页、微信文章之中。除此之外，这款软件在收集、提取数据的同时能够接入不同的支付端口，非常适合微店订单、用户反馈等业务数据的收集和提取。

4、易表

这款软件的功能介于电子表格与数据库软件之间，拥有类似电子表格的界面，也具备数据库软件特有的功能和灵活性。易表在数据处理上是非常优秀的软件，能够帮助用户完美完成复杂的数据管理和统计分析工作。但是，它的功能要求用户具备一定的开发能力，只有了解基本的编程知识才能快速建立属于自己的数据管理系统，比较适合专业性较强的用户，普通用户使用这款软件的学习成本过高。

5、Foxtable

这款软件将 Excel、Access、Foxpro、VB 等软件的优势融合在一起，无论是数据录入、提取，还是报表生成，用户都无需编写代码即可完成以上这些复杂的数据管理工作。这款软件的亮点之一是内置了 HTTP 服务和手机网页功能，用户无需任何专业知识就能够开发出自己移动端的管理软件，做到 PC 端与移动端的数据联通。相比于其他数据处理软件，这款软件更像是一个高效开发工具，让用户在开发属于自己的数据库时更关注商业逻辑，导致具体功能的实现比较艰难。同时，由于Foxtable支持外部数据源，也就意味着用户提供的数据有一定的安全风险。

你是否也有兴趣看看《身在职场不会处理这5种文档，还谈涨薪？》

半个世纪以来，随着计算机技术全面融入社会生活，信息爆炸已经积累到了一个开始引发变革的程度。它不仅使世界充斥着比以往更多的信息，而且其增长速度也在加快，创造出了“大数据（BigData）”这个概念。如今，这个概念几乎应用到了所有人类智力与发展的领域中。

BigData是近来的一个技术热点，历史上，数据库、数据仓库、数据集市等信息管理领域的技术，很大程度上也是为了解决大规模数据的问题。被誉为数据仓库之父的BillInmon早在20世纪90年代就经常提及BigData。

21世纪是数据信息大发展的时代，移动互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围，各种数据正在迅速膨胀并变大。

近年来互联网、云计算、移动和物联网的迅猛发展。无所不在的移动设备、RFID、无

线传感器每分每秒都在产生数据，数以亿计用户的互联网服务时时刻刻在产生巨量的交互。

互联网（社交、搜索、电商）、移动互联网（微博）、物联网（传感器，智慧地球）、车联网、GPS、医学影像、安全监控、金融（银行、股市、保险）、电信（通话、短信）都在疯狂产生着数据：1）全球每秒钟发送2.9百万封电子邮件；2）每天会有2.88万个小时的视频上传到Youtube；3）推特上每天发布5千万条消息；4）每天亚马逊上将产生6.3百万笔订单；4）每个月网民在Facebook上要花费7千亿分钟；5）Google上每天需要处理24PB的数据。

我们在一个大数据的时代漩涡中，每天都有是以亿计的数据产生，如何获取这些数据，如何使用这些数据，如何用好这些数据，都是一个难题。之前遇到的一位做语言学研究的小姐姐，研究课题需要建立自己的语言数据库，每次都要在新闻网站上去搜索关键字的文章，然后复制黏贴下来，非常的辛苦和费事费时，我听说之后非常吃惊，问她这种机械却又累人的工作，为什么不让软件解决，而要自己一个个手动复制黏贴。她的回答是自己是学文科的，又不会写代码，又搞不懂编程，所以她只能自己辛苦一点了。听完她的回答之后，我很心痛，所以我立马给他推荐了一款软件，帮助她从复杂的复制黏贴工作中解脱出来。

这款软件对小白用户十分友好，智能模式只要输入网址就能帮忙采集了，是谷歌大牛回国写的一款软件，而且还是免费采集和导出的，现在把这个软件分享出来，希望对大家有所帮助。我会以新闻网站中国日报为例，为大家演示如何通过这款爬虫软件自动采集数据。

首先，需要下载安装软件，大家可以到官网上下载最新版本的软件，然后注册新用户登录，游客用户也可以采集数据，但是可能会丢失，建议还是注册新用户。

首先，复制需要采集的网址，打开软件输入网址，新建智能采集任务。

在智能模式下，我们输入网址后软件即可自动识别出页面上的数据并生成采集结果，每一类数据对应一个采集字段，可以右击字段进行相关设置，包括修改字段名称、增减字段、处理数据等。

由于在列表页上只展示了部分的新闻信息，如果需要采集具体的新闻内容，我们需要右击链接使用“深入采集”功能，跳转到详情页进行采集。

接着点击“保存并启动”按钮，可在弹出的页面中进行一些高级设置，包括定时启动、自动入库和下载图片，我们如果没有用到这些功能，可以直接点击“启动”运行任务。

数据采集完毕后我们可以导出数据，这款软件比较好的一点是不仅采集免费，而是可以导出多种格式的文档，对导出也没有什么限制。

为方便查看我们导出一个Excel2007的表格，我们可以看到数据质量还是挺高的，大家可以直接使用这些数据，也可以在这个基础上对数据进行加工处理。

在《中国制造2025》战略实施后，“制造业数字化、网络化、智能化”被定义为新工业革命的核心技术。

离开生产数据采集，生产管理部门不能及时、准确地得到工件生产数量；无法准确、科学地制定生产计划；无法实现生产管理协同等。

可见，只有有效的实现生产数据的采集和分析，才能从根本上解决车间管理中计划跟踪迟滞、设备利用率低、产品质量难以提升等问题。

自动地、及时地、准确地数据采集，是现代化工业车间的基础。而我们，能为数字化工厂打造一个更加可视、实时、精细、可追溯的制造环境。

东芝，是日本最大的半导体制造商，也是第二大综合电机制造商。公司创立于1875年，业务领域包括数码产品、电子元器件、社会基础设备、家电等。东芝信息机器（杭州）有限公司是日本东芝株式会社的全资子公司，也是东芝笔记本电脑全球唯一的生产基地。

面临的挑战

东芝电脑产品及机板配件生产部门每天都需要及时产出大量的生产数据统计报表，同时质检部门也需要定时定期巡检设备生产相关的异常信息，方便对生产数据进行快速高效和精细化的管理。

但是东芝之前通过excel记录生产数据已无法满足现有业务量的需求：

1、数据采集难：依然采用人工采集、手工输入等方式采集生产线信息；

2、手工数据质量差：excel记录不仅准确性不足，还存在一定的错误率；

3、报送周期长，统计延时：手工输入只能定时进行，无法实时更新系统中的生产数据，滞后情况严重，不利于生产线的顺利进行，制约了产能的进一步提高。

4、事后监管机制：不能及时发现生产过程问题，生产效率提升缓慢；

5、数据分析不足：不能进行可视化的展现，无法给领导提供决策支撑。

为什么选择亿信华辰

1、经受考验的成熟度

支撑30多个国家级部委完成监管、普查、抽查、统计等应用场景的数据采集与分析，助力100余家银行完成统一报表平台和统一数据平台的建设，业务稳定运行。

2、技术先进性

12年的技术沉淀，围绕数据全生命周期自主研发了多款重量级核心智能产品，产品线涵盖了数据采集、数据处理、数据存储、数据分析、数据挖掘等多个领域。

3、高品质强口碑

亿信华辰不仅提供成熟的平台化产品，而且不断地给客户成功交付数据中心、决策支持等应用系统，并以几乎100%的项目成功率，取得了远超同业公司的客户满意度。

平台建设

东芝制造车间生产过程中的数据包括车间人员、物料、加工设备、工票、工装、加工过程等，涉及车间各个部分。面向东芝内部的生产部门，为一线生产人员及质检部门提供数据填报及数据分析平台，是一个完全基于互联网技术构建的智能数据系统。

1、生产数据自动采集并上报

生产部门需要定时每天填写电脑产品及机板配件等的生产信息日报等，利用亿信华辰i@Report产品可以自动将数据库中的设备相关信息初始化到固定格式的报表中，然后根据相关业务逻辑公式，自动统计工数、时长、产出等，生产业务人员确认后直接上报，即可完成数据的采集填报工作，生产组长可以快速汇总其下属各个人员的生产数据，并将数据逐层上报。

2、异常数据提前预警

品质部门需要监管生产流水线的产品生产情况，并形成品质报告定期输出，利用i@Report移动填报功能，品质部门会去现场定时定期巡检，并将异常原因、设备编号等信息在平板电脑上立即进行填报，并拍照上传相关图片留档；同时，对于异常原因利用亿信BI进行历史数据的相关分析，形成问题检索表，方便对比分析。

方案价值

总体而言，利用i@Report+亿信BI两个产品，将以往需要大量的人工通过excel方式报送报表，改为只需要在移动端/PC端在线填报数据的工作模式，极大的减少了业务人员的工作量，提高了数据的共享效率；并将手工数据按照统一的标准存储到数据库，增强了数据的完整统一，也更加有利于对历史数据的对比关联分析。

同时，因为有效的流程监控，在生产过程中，可及时发现异动数据，提前预警，进一步提升了生产质量，降低了事故率，亿信华辰帮助客户收获更高的运营效率和生产质量。

目前，通过智能数据平台的搭建，亿信华辰帮助东芝提升生产能力的同时，也保证了数据的安全性和可靠性，着实为互联网时代的制造业注入了新的活力。

根据工作要求，有时候会安排发放一些基本信息调查表，内容各不相同，等收回来的时候，一个一个文档进行重新录入，工作量十分巨大。有没有好的办法能够自动将数据统一录入到一起呢？Office的最大优势就是联动，尤其从2013版本开始，PPT、Word、Excel里功能互相融合的趋势更加明显。今天小编就分享一个通过Word文件收集信息，使用Excel自动摘录数据的方法。

首先按照正常的工作要求制作Word信息收集表，制作完毕后修改待填信息框，切换到开发模式选项卡，点击“Aa”格式文本内容控件（如果没有，点击文件—选项—自定义功能区，右侧勾选“开发工具”）。

接下来单击信息框然后在开发工具中点选“设计模式”。

弹出对话框输入标题，这就是信息框的信息提示文字，要是有需求，还可以修改边框颜色、文本样式等等。

每个信息框都做了相应的修改后，点击开发模式中的“限制编辑”，在Word右侧栏中，勾选“限制对选定的样式设置格式”和“仅允许在文档中进行此类型的修改”并选中“填写窗体”。

Word部分就设置完毕了，这时候可以将文件发送给被收集信息者，待返回后，开始用Excel批量自动摘录Word填表信息。打开Excel，同样是切换到开发工具选项卡，点选最左侧的“Visual Basic”。

双击Sheet1，填写宏代码（登录PC版微信，订阅号中找到办公便签，点击查看历史消息找到本文再进行复制）：

Option Base 1

Sub readDoc()

Dim WordApp As Word.Application

Set WordApp = CreateObject("Word.Application")

Dim WordDoc As Word.Document

Dim diag1 As FileDialog

Dim return1 As String

Dim filePathArray()

Set diag1 = Application.FileDialog(msoFileDialogFilePicker)

'定义文件选择对话框

With diag1

.AllowMultiSelect = True '设置文件选择对话框能够选择多个文件

return1 = .Show '打开文件选择对话框

n = .SelectedItems.Count '将选中文件个数保存至变量n

If return1 = -1 Then

'如选中文件(retun1=-1)则将选中的文件路径保存到filePathArray数组

ReDim filePathArray(n)

For i = 1 To n

filePathArray(i) = .SelectedItems(i)

Next

Else '如果未选中任何文件则提示

MsgBox "未选择任何文件", vbExclamation

End If

End With

For j = 1 To n

Set WordDoc = WordApp.Documents.Open(filePathArray(j))

'根据filePathArray数组中的路径逐个打开Word文件

Dim ccSet

Set ccSet = WordDoc.ContentControls

'将ccSet设为打开文档的内容控件集合

i = 1

For Each cc In ccSet '遍历所有内容控件

Application.ActiveSheet.Cells(j, i) = cc.Range.Text '将内容控件内容保存至单元格

i = i + 1

Next

WordDoc.Close '关闭当前Word文档

Next

WordApp.Quit

End Sub

注意，抄录好宏代码后，不要着急关闭，点选当前Visual Basic界面上方工具栏的“工具—引用”，在“可使用的引用”中找到“Microsoft Word 16.0 Object Library”并勾选确定（Word2013中名称略有不同）。

回到Excel主界面，还是在开发工具选项卡中，点击“宏”，选中刚才编辑的这个宏命令，单击“运行”，这时Excel会自动弹出文件选择框，找到要摘录信息的Word文档点选打开，Excel就可以开始自动摘录信息了。这样一来，数据摘录的工作就完全依靠电脑自动完成了，大大节省了工作时间，也避免了手工摘录的出错几率。

                                                                                                                ——电脑爱好者

前面介绍PowerBI数据获取的时候，曾举了一个从网页中获取数据的例子，但当时只是爬取了其中一页数据，这篇文章来介绍如何用PowerBI批量采集多个网页的数据。

本文以智联招聘网站为例，采集工作地点在上海的职位发布信息。

下面是详细操作步骤：

（一）分析网址结构

打开智联招聘网站，搜索工作地点在上海的数据，

下拉页面到最下面，找到显示页码的地方，点击前三页，网址分别如下，

http://sou.zhaopin/jobs/searchresult.ashx?jl=%e4%b8%8a%e6%b5%b7&sm=0&sg=fe782ca83bfa4b018d27de559d0a5db0&p=1http://sou.zhaopin/jobs/searchresult.ashx?jl=%e4%b8%8a%e6%b5%b7&sm=0&sg=fe782ca83bfa4b018d27de559d0a5db0&p=2http://sou.zhaopin/jobs/searchresult.ashx?jl=%e4%b8%8a%e6%b5%b7&sm=0&sg=fe782ca83bfa4b018d27de559d0a5db0&p=3

可以看出最后一个数字就是页码的ID，是控制分页数据的变量。

（二）使用PowerBI采集第一页的数据

打开PowerBI Desktop，从网页获取数据，从弹出的窗口中选择【高级】，根据上面分析的网址结构，把除了最后一个页码ID的网址输入第一行，页码输入第二行，

从URL预览中可以看出，已经自动把上面两行的网址合并到一起；这里分开输入只是为了后面更清晰的区分页码变量，其实直接输入全网址也是一样可以操作的。

（如果页码变量不是最后一位，而是在中间，应该分三行输入网址）

点击确定后，发现出来很多表，

从这里可以看出，智联招聘网站上每一条招聘信息都是一个表格，不用管它，任意选择一个表格，比如勾选Table0，点击编辑进入Power Query编辑器。

在PQ编辑器中直接删除掉【源】之后的所有步骤，然后展开数据，并把前面没有的几列数据删除。

这样第一页的数据就采集过来了。然后对这一页的数据进行整理，删除掉无用信息，添加字段名，可以看出一页包含60条招聘信息。

这里整理好第一页数据以后，下面进行采集其他页面时，数据结构都会和第一页整理后的数据结构一致，采集的数据可以直接拿来用；这里不整理也没关系，可以等到采集所有网页数据后一起整理。

如果要大批量的抓取网页数据，为了节省时间，对第一页的数据可以先不整理，直接进入下一步。

（三）根据页码参数设置自定义函数

这是最重要的一步。

还是刚才第一页数据的PQ编辑器窗口，打开【高级编辑器】，在let前输入：

(p as number) as table =>

并把let后面第一行的网址中，&后面的"1"改为（这就是第二步使用高级选项分两行输入网址的好处）：

(Number.ToText(p))

更改后【源】的网址变为：

"http://sou.zhaopin/jobs/searchresult.ashx?jl=%e4%b8%8a%e6%b5%b7&sm=0&sg=fe782ca83bfa4b018d27de559d0a5db0&p="&(Number.ToText(p)))),

确定以后，刚才第一页数据的查询窗口直接变成了自定义函数的输入参数窗口，Table0表格也变成了函数的样式。为了更直观，把这个函数重命名为Data_Zhaopin.

到这里自定义函数完成，p是该函数的变量，用来控制页码，随便输入一个数字，比如7，将抓取第7页的数据，

输入参数只能一次抓取一个网页，要想批量抓取，还需要下面这一步。

（四）批量调用自定义函数

首先使用空查询建立一个数字序列，如果想抓取前100页的数据，就建立从1到100的序列，在空查询中输入

={1..100}

回车就生成了从1到100的序列，然后转为表格。gif操作图如下：

然后调用自定义函数，

在弹出的窗口中点击【功能查询】下拉框，选择刚才建立的自定义函数Data_Zhaopin,其他都按默认就行，

点击确定，就开始批量抓取网页了，因为100页数据比较多，耗时5分钟左右，这也是我第二步提前数据整理造成的后果，导致抓取比较慢。展开这一个表格，就是这100页的数据，

至此，批量抓取智联招聘100页的信息完成，上面的步骤看起来很多，实际上熟练掌握以后，10分钟左右就可以搞定，最大块的时间还是最后一步进行抓取数据的过程比较耗时。

网页的数据是不断更新的，在操作完以上的步骤之后，在PQ中点击刷新，可以随时一键提取网站实时的数据，一次做好，终生受益！

以上主要使用的是PowerBI中的Power Query功能，在可以使用PQ功能的Excel中也是可以同样操作的。

当然PowerBI并不是专业的爬取工具，如果网页比较复杂或者有防爬机制，还是得用专业的工具，比如R或者Python。在用PowerBI批量抓取某网站数据之前，先尝试着采集一页试试，如果可以采集到，再使用以上的步骤，如果采集不到，就不用再耽误工夫了。

现在就打开PowerBI/，尝试着抓取你感兴趣的网站数据吧。

前言

IBM大中华区总经理胡世忠曾说：数据构成了智慧地球的三大元素——智能化、互联化和物联化，而这三大元素又改变了数据来源、传送方式和利用方式，带来“大数据”这场信息社会的变革。

从上可见，时代的变革是源于对数据的利用，对企业而言，数据也同样是其发展、转型的命脉。在工作中，我的前辈不止一次地强调，数据是公司的资产，而且举足轻重。我们对待数据，一定要严谨，经得起考验，对自己的数据负责，这是一个数据人的基本要求。

数据资源

大数据时代，数据虽然很多，但是也不是随意得来的，需要利用各种渠道和方式获得。不管从哪个角度来说，数据可分为内部数据和外部数据。内部数据是企业在日积月累的经营中得来的，我们应该对这些数据挖掘、收集有价值的东西，形成企业的数据资产。内部数据重在后期的处理和分析上。

下面先说外部数据的获取方式，以及通过Excel操作来获取外部数据。

外部数据获取方式

1、专业网站看数据（某一个行业、某一件产品）2、通过收费渠道买数据（第三方数据平台等）3、通过特殊形式引数据（网站爬虫，统计网站等）4、自身积累数据（时间久、跨度长）

Excel获取外部数据

作为一个数据分析师以及想更进一步成长为数据科学家，熟练操作基本的办公软件以及SQL查询是很重要的。请看下面通过Excel获取外部数据的步骤。

第1步：打开“新建web查询”框。新建Excel工作簿，在打开的工作表中单击“数据”选项卡，然后在“获取外部数据”组中单击“自网站”按钮，如下图。

第2步：输入网址并选择要导入的表格数据。在弹出的“新建web查询”对话框中的“地址”文本框中复制粘贴上述网页的网址，然后单击“转到”，找到网站中的表格数据后单击表格左上角的箭头→，图标变成选中状态的复选框√。如下图。最后单击下方的“导入”按钮。

第3步：选择数据的放置区域。点击导入后，Excel会出现“导入数据”对话框，如下图，选中你想放置的单元格，单击“确定”开始导入。

第4步：美化导入的数据。由于导入的数据多且乱，要调整格式使数据规范，并启用冻结窗格功能方便浏览。如下图。

好了，上面就是通过Excel操作来获取网站上的外部数据，很简单吧，但网站中的数据并非都是以表格的形式呈现，现在大部分是以json格式呈现，Excel不是万能的，而且现在很多网站需要付费才能导数据（上面说过数据就是企业的资产）。

小结

希望通过上面的操作能帮助大家。如果你有什么好的意见，建议，或者有不同的看法，我都希望你留言和我们进行交流、讨论。

End.