我们知道，阿里巴巴也可以用数据包批量上传商品，可是这个数据包该如何制作?下面为大家揭晓怎么采集数据制作成阿里巴巴数据包为大家批量上传阿里巴巴的商品！

这里介绍的是抓取阿里巴巴中商品制作成阿里巴巴的数据包，首先我们在工具箱的首页先找到”制作阿里巴巴数据包“这个功能选项，

选择抓取商品的使用方式有3种抓取商品方式，在这里以B方式做详细介绍，其他方式请查看相关文字提示输入要抓取的宝贝地址或店铺地址到B抓取方式中，再点击“抓取该地址的商品”按钮，如输入的是某宝贝地址   

选择抓取商品如图：一、可选择抓取整页商品二、抓取整店商品三、批量抓取商品四、按向导抓取商品其中三、四是回到之前界面选择其他方法抓取选择喜欢的方式抓取好商品

选择好好开始下载商品，然后查看是否成功抓取该商品如显示抓取到的宝贝，则成功抓取

转换商品类目（这一步如果是同平台的话请直接进入下一步进行参考）详细查看商品类目匹配的是否正确，如有问题可以手动去编辑或批量去编辑类目，

转换商品详情查看商品详情是否转换正确，如出现属性没有转化正确，可以根据提示批量编辑宝贝的属性

导出数据包请选择导出数据包位置、导出文件类型及商品描述图片处理方式，再点击“导出”按钮

成功导出数据包

注意这个数据包只能用商机助理来上传；在转换商品详情的时候记得多修改宝贝，让宝贝更美观，更个性化，以达到让客户看着更舒心，从而才能提高店铺转化！

这一节看似好讲实则难以表述清楚，

讲不到的地方请别较真，也不要问爬虫哪家好？

我只说我知道的，怎么选择，兄弟们请随意。

想了解更多大数据时代各个热词之间的对比，请加大数据学习交流8群640193172，共同讨论。

朋友圈扫二维码做游戏、搞测评，比如实际年龄和心理年龄比较。《延禧攻略》里你能够闯几关晋级，甚至帮别人砍价，参与这些互联网游戏好玩，但是一旦参与个人信息就泄露给了提供这些游戏测评砍价的平台。最近两年，公民个人信息被平台过度采集，甚至诱惑采集的情况可以说是屡见不鲜，这些信息一旦被贩卖之后，不再是原来简单的用于各种经营性推广，而是更广泛的被用于网络诈骗、小额贷款、暴力讨债、网络盗窃、网络侦探的各类违法犯罪活动，社会危害性极大。

在南京某高校就读大三的学生小李，两年前曾经在消费金融平台爱又米上注册并进行小额借贷，就在这个暑假，小李接到自称是爱又米客服的电话，要求他转4000元以清除先前的借款记录，否则会影响个人征信。当客服准确无误的说出小李个人信息的时候，小李信以为真了，对方能够报出小李的姓名、身份证号码、电话号码、还有QQ号等信息，均准确无误。然后小李就觉得自己的信息他们都知道就相信了。

个人信息泄露一直是互联网领域最严重的安全问题之一。近年来，世界范围内大规模数据泄露事件层出不穷，2018年上半年，中国互联网络发展状况统计报告显示有54%的网民，在2018年上半年，遇到过网络安全问题，在上网过程中遇到个人信息泄露的比例达到28.5%。相关人士透露说：有80%的人的个人信息都曾经录入过或者输送到网上过，这是我们大概统计的大部分的人的信息已经在网上了，这是第一条，第二条就是发现大量的公司，在发展过程中保护手段，其实还没有做得太好。第三条，就是大量的用户其实也担心自己的信息被泄露。

随着互联网应用的深入发展，企业汇聚数据信息愈发便利，特别是大型互联网公司掌握了大量涉及用户隐私，经济运行，社会民生等重要信息。今年8月27号，2018年隐私条款专项工作正式启动，将按照网络安全法和信息安全技术个人信息安全规范，选取与民众日常生活紧密相关，具有较大用户数量的出行旅游类，生活服务类，影视娱乐类，工具咨询类和网络支付类共30款网络产品。对其隐私政策进行评审。以提升企业个人信息保护水平。

目前国内电商除了阿里系，其它的平台还有京东和拼多多等。做电商的人都会同时在各大平台上开有店铺。但不同的平台，数据不会共享。所以从一家京东店要搬到淘宝店，或者从淘宝店搬到京东店，就要重新整理资料和图片，要花费比较多的时间。如果要同时玩转几个平台，那需要更多的精力。

在这里小编教你一个简单的方法，让你轻松玩转几个平台，下面就以京东商场店铺搬家到淘宝店铺为例，给大家详细讲解：

第一步：在电商图片助手里选择【整店宝贝下载】功能；

第二步：把你要克隆的店铺首页网址复制到下方位置，后点访问-获取；

第三步：整店宝贝链接获取完毕之后，点确定进入下一步：

第四步：上一步获取的19个宝贝链接，自动复制到主界面上。点【立即下载】就开始下载图片及宝贝信息。

大概等3-5分钟后，19个宝贝全部下载完成。

上架淘宝之前，我们先来浏览下载好的文件夹。19个宝贝分类清楚，并包含CSV复合数据包。

每个宝贝里包含：属性图、细节图、主图。（如果需要评论图，需要下载之前选择）

下面接着介绍如何批量上架淘宝。

第五步，打开淘宝助理，【宝贝管理】-【导入CSV】-选择上一步下载的《CSV复合数据包》文件

第六步：选择全部的宝贝，点【上传宝贝】就可以完全整店宝贝的上架。

是不是特别简单，本来一天都整理不完的工作，10分钟就可以搞定。其它平台之前的相互克隆，或者同一个平台内的店铺搬家也是同样原理。这里就不一一列举。

一、数据采集功能更新。

1、升级数据采集功能，完善365建站器数据处理能力。

升级数据采集功能，可以多个采集规则批量采集，也可以定时批量或单个采集。

2、增加数据采集接口功能，可发布文章到支持POST接口的所有系统。

增加数据采集接口功能，阶支持365批量建站程序外，还支持其它系统的文章发布，只在提供POST接口就可以批量发布文章，支持文章的批量发布，也支持数据（企业信息等各类数据）的更新。

3、增加支持多字段采集的功能。

增加支持多字段采集，用户可以自定义要采集的字段，在使用接口发布时，自动post提交到接口中，比如你自定义的字段是title,接口中会增加一个字段titile,如果字段命名的是中文，软件会自动拼音化提交。

eg：自定义字段：title,body,senddate,作者,地区

post提交时 会是这样的：

&title=…&body-…&senddate=…&zuozhe=…&diqu=…

4、增加在线采集翻译功能。

增加在线采集翻译功能，翻译的内容质量取决于各大平台翻译接口的质量，用户可定义选择。

5、通过关键词或网址智能化采集，无需写规则。

通过指定关键词(可以多个，用|隔开)或者网址直接智能化采集，无需写规则，方便小白的用户采集内容。

二、增加软文批量发布功能。

1、增加软文批量发布到各大系统。

增加软文批量发布到各大系统（dedecms,帝国cms，wordpress等）（需支持POST接口）。

2、增加软文使用浏览器模式批量发布到各大推广平台。

增加软文使用浏览器模式批量发布到各大推广平台，自动填充账号，自动填充要发布的内容，提高效率。

3、服务器运行环境ZZphpserver升级。

1、升级环境安装包兼容php7和php5程序。

升级环境安装包自带2个版本，用来兼容php7和php5程序。

针对365站群用户，支持域名批量开启https功能。

最新的环境安装包集成批量https开启功能，针对365用户，支持免费域名批量开启https功能。

3、ZZphpserver其它功能修正及升级。

ZZphpserver增加启动和停止，修复检查不对和修复部分bug。

修正ZZphpserver重置MySQL密码时文件不存在的问题。

修正ZZphpserver重置MySQL密码时文件不存在的问题，增加mysql修改密码工具。

三、其它bug修正及功能更新。

1、优化并升级通过关键词采集内容，通过栏目关键发布内容的功能。

2、增加通过关键词库的关键词批量采集内容的功能。

3、修正数据分析，智能挖掘功能获取数据的错误。

4、修正开启远程图片本地化，FastCGI进程超过了配置请求超时的问题。

5、升级404错误页面增加百变功能。

6、修正环境中引起 500错误 FastCGI 进程意外退出的错误。

7、优化模板工具，修正模板工具点击网页链接跳出问题。

8、修正源码模板中底部操作选项在有些浏览器中不显示的问题。

9、升级数据采集功能，完善365建站器数据处理能力。

10、修正当模板太多时批量get提交出错，修改成post提交。

11、修正编辑器中在ie 中不兼容导致无法的上传的情况。

12、修正网站无栏目时，不能发布的情况（针对宣传页单页用户使用）。

13、修正获取大量栏目超时的情况，增加搜索同类型栏目获取功能。

14、修正模板管理中模板过多，批量操作时超时或超时引起的404错误。

15、优化模板管理，内容管理等，新窗口打开，便于用户操作。

16、增加网站管理后台可以在浏览器中打开的选项让用户选择。

17、增加是否开启网站来访统计让用户选择。

18、修正编辑器在部分页面提交后内容为空的情况。

19、增加文章库预览功能。

20、修正云模板工具保存时标签出错的问题。

21、修正用户反馈的其它问题和建议。

感谢一直陪伴365软件（soft.365jz）成长的用户，我们一直在为让建站和SEO变得简单而努力，如果有更好的建议，可以提交给我们，我们专注快速批量建站，让建站和seo变得简单，支持全网数据采集。 高效稳定的数据和建站产品服务，为您挖掘无限的商业价值。

2008年9月4日，英国《自然》杂志刊登了一个名为“BigData”的专辑，首次提出大数据概念，该专辑对如何研究PB级容量的大数据流，以及目前正在制订的、用以最为充分地利用海量数据的最新策略进行了探讨。2011、2012年达沃斯世界经济论坛将大数据作为专题讨论的主题之一，发布了《大数据、大影响：国际发展新的可能性》等系列报告。

2011年以来，中国成立了大数据委员会，研究大数据中的科学与工程问题，科技部《中国云科技发展“十二五”专项规划》和工信部《物联网“十二五”发展规划》等都把大数据技术作为一项重点予以支持。业界普遍认为，2013年是中国“大数据元年”。

根据IDC作出的估测，数据一直都在以每年50%的速度增长，也就是说每两年就增长一倍（大数据摩尔定律），并且大量新数据源的出现则导致了非结构化、半结构化数据爆发式的增长，这意味着人类在最近两年产生的数据量相当于之前产生的全部数据量，预计到2020年，全球将总共拥有35亿GB的数据量，相较于2010年，数据量将增长近30倍。这不是简单的数据增多的问题，而是全新的问题。

大数据时代的到来，使我们要处理的数据量实在是太大、增长太快了，而业务需求和竞争压力对数据处理的实时性、有效性又提出了更高要求，传统的常规技术手段根本无法应付。

大数据的特征具有数据量大、类型繁多、价值密度低及速度快时效高等特点，面对大数据的全新特征，既有的技术架构和路线，已经无法高效地处理如此海量的数据，而对于相关组织来说，如果投入巨大采集的信息无法通过及时处理反馈有效信息，那将是得不偿失的。可以说，大数据时代对人类的数据驾驭能力提出了新的挑战，也为人们获得更为深刻、全面的洞察能力提供了前所未有的空间与潜力。

而大数据蕴含着极大的价值，对我们的工作和生活具有重大的影响，如何快速有效的获取到这些数据为我们服务，是一个大难题。出现了问题，自然就有解决问题的人，为了解决这一问题，后羿工程师团队经过不断的探索和研发，终于开发出一款基于人工智能技术的网络爬虫软件，只需要输入网址就能够自动识别网页数据，无需配置即可完成数据采集，是业内首家支持三种操作系统（包括Windows、Mac和Linux）的采集软件。同时这是一款真正免费的数据采集软件，对采集结果导出没有任何限制，没有编程基础的小白用户也可轻松实现数据采集要求。

我们以58同城杭州地区二手房源为例，为大家介绍如何运用软件采集二手房房源信息及中介联系电话。

首先复制需要采集的网址，注意需要复制的是结果页的网址，而不是搜索页的网址，然后在软件中输入网址新建智能采集任务。

接着我们对智能识别出的字段进行处理，可以修改字段名称，增加或者删除字段等。

由于在在列表页上只展示出了部分信息，如果需要房源的具体描述的话，我们需要右击房源链接使用“深入采集”功能，跳转到详情页进行采集。

深入采集字段设置完毕后，我们点击“保存并启动”按钮，运行爬虫工具。

数据抽取完毕后，我们可以导出数据，软件提供多种的导出方式，我们可以自由选择。

我们导出一个excel2007的表格，可以看到数据还是非常完整的，我们可以直接使用这个数据，也可以在这个基础上对数据进行加工处理。

软件介绍：淘宝宝贝评价采集工具是易佰软件工作室推出的一款能够批量采集淘宝宝贝评价信息，以及宝贝相关的款式与销量比的软件支持如下功能：1）支持按关键词搜索淘宝宝贝并批量采集宝贝，支持直接输入宝贝链接方式采集宝贝信息。2）支持批量采集宝贝的买家评价信息，批量采集宝贝相关的款式与销量比数据。3）支持数据的自动保存，自动恢复（退出软件自动保存，打开软件自动恢复上次查询的结果）4）支持导出宝贝的买家评价信息为excel格式文件，导出宝贝相关的款式与销量比数据为excel格式文件获取暗号：031界面截图：

提示：本软件仅供参考使用，严禁用于商业用途，使用过程中出现的任何问题均与本公众号无关。

大数据技术用了多年时间进行演化，才从一种看起来很炫酷的新技术变成了企业在生产经营中实际部署的服务。其中，数据采集产品迎来了广阔的市场前景，无论国内外，市面上都出现了许多技术不一、良莠不齐的采集软件。

今天，我们将对比国内五大主流采集软件优缺点，帮助你选择最适合的爬虫，体验数据hunting带来的快感。

国内篇

1.火车头

作为采集界的老前辈，我们火车头是一款互联网数据抓取、处理、分析，挖掘软件，可以抓取网页上散乱分布的数据信息，并通过一系列的分析处理，准确挖掘出所需数据。它的用户定位主要是拥有一定代码基础的人群，适合编程老手。

采集功能完善，不限网页与内容，任意文件格式都可下载具有智能多识别系统以及可选的验证方式保护安全支持PHP和C#插件扩展，方便修改处理数据具有同义，近义词替换、参数替换，伪原创必备技能Conclusion:火车头适用于编程能手，规则编写容易，软件的定位比较专业而且精准化。

2.八爪鱼

一款可视化免编程的网页采集软件，可以从不同网站中快速提取规范化数据，帮助用户实现数据的自动化采集、编辑以及规范化，降低工作成本。云采集是它的一大特色，相比其他采集软件，云采集能够做到更加精准、高效和大规模。

自定义采集过程中，八爪鱼采集器系统自写的Xpath、自动生成的流程，可能无法满足数据采集需求。对数据质量要求高，则需自写Xpath，调成流程图等，以优化规则。

使用自定义采集的同学，虽然八爪鱼操作简单，比较容易上手。但是，仍需对八爪鱼采集原理有所了解，看完相关教程，循序渐进，成长周期较长。

可视化操作，无需编写代码，制作规则采集，适用于零编程基础的用户云采集是其主要功能，支持关机采集，并实现自动定时采集

Conclusion:八爪鱼是一款适合小白用户尝试的采集软件，云功能强大，当然爬虫老手也能开拓它的高级功能。

3.集搜客

一款简单易用的网页信息抓取软件,能够抓取网页文字、图表、超链接等多种网页元素。同样可通过简单可视化流程进行采集，服务于任何对数据有采集需求的人群。

可视化流程操作，与八爪鱼不同，集搜客的流程重在定义所抓取的数据和爬虫路线，八爪鱼的规则流程十分明确，由用户决定软件的每一步操作

支持抓取在指数图表上悬浮显示的数据，还可以抓取手机网站上的数据

会员可以互助抓取，提升采集效率，同时还有模板资源可以套用

Conclusion:集搜客操作较简单，适用于初级用户，功能方面没有太大的特色，后续付费要求比较多。

4.神箭手云爬虫

一款新颖的云端在线智能爬虫/采集器，基于神箭手分布式云爬虫框架，帮助用户快速获取大量规范化的网页数据。

直接接入代理IP，避免IP封锁

自动登录验证码识别，网站自动完成验证码输入

可在线生成图标，采集结果以丰富表格化形式展现本地化隐私保护，云端采集，可隐藏用户IP

Conclusion: 神箭手类似一个爬虫系统框架，具体采集还需用户自写爬虫，需要代码基础。

5.狂人采集器

一套专业的网站内容采集软件，支持各类论坛的帖子和回复采集，网站和博客文章内容抓取，分论坛采集器、CMS采集器和博客采集器三类。

支持对文章内容中的文字、链接批量替换和过滤可以同时向网站或论坛的多个版块一起批量发文具备采集或发帖任务完成后自动关机功能

Conclusion: 专注论坛、博客文本内容的抓取，对于全网数据的采集通用性不高。

注：给火车采集器的新手们一点学习建议

火车采集器是一个非常专业的数据抓取和数据处理软件,对软件使用者有较高的技术要求， 使用者要有基本的HTML基础,能看得懂网页源码,网页结构。

同时如果用到web发布或数据库发布,则对自己文章系统及数据存储结构要非常了解。

半个世纪以来，随着计算机技术全面融入社会生活，信息爆炸已经积累到了一个开始引发变革的程度。它不仅使世界充斥着比以往更多的信息，而且其增长速度也在加快，创造出了“大数据（BigData）”这个概念。如今，这个概念几乎应用到了所有人类智力与发展的领域中。

BigData是近来的一个技术热点，历史上，数据库、数据仓库、数据集市等信息管理领域的技术，很大程度上也是为了解决大规模数据的问题。被誉为数据仓库之父的BillInmon早在20世纪90年代就经常提及BigData。

21世纪是数据信息大发展的时代，移动互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围，各种数据正在迅速膨胀并变大。

近年来互联网、云计算、移动和物联网的迅猛发展。无所不在的移动设备、RFID、无

线传感器每分每秒都在产生数据，数以亿计用户的互联网服务时时刻刻在产生巨量的交互。

互联网（社交、搜索、电商）、移动互联网（微博）、物联网（传感器，智慧地球）、车联网、GPS、医学影像、安全监控、金融（银行、股市、保险）、电信（通话、短信）都在疯狂产生着数据：1）全球每秒钟发送2.9百万封电子邮件；2）每天会有2.88万个小时的视频上传到Youtube；3）推特上每天发布5千万条消息；4）每天亚马逊上将产生6.3百万笔订单；4）每个月网民在Facebook上要花费7千亿分钟；5）Google上每天需要处理24PB的数据。

我们在一个大数据的时代漩涡中，每天都有是以亿计的数据产生，如何获取这些数据，如何使用这些数据，如何用好这些数据，都是一个难题。之前遇到的一位做语言学研究的小姐姐，研究课题需要建立自己的语言数据库，每次都要在新闻网站上去搜索关键字的文章，然后复制黏贴下来，非常的辛苦和费事费时，我听说之后非常吃惊，问她这种机械却又累人的工作，为什么不让软件解决，而要自己一个个手动复制黏贴。她的回答是自己是学文科的，又不会写代码，又搞不懂编程，所以她只能自己辛苦一点了。听完她的回答之后，我很心痛，所以我立马给他推荐了一款软件，帮助她从复杂的复制黏贴工作中解脱出来。

这款软件对小白用户十分友好，智能模式只要输入网址就能帮忙采集了，是谷歌大牛回国写的一款软件，而且还是免费采集和导出的，现在把这个软件分享出来，希望对大家有所帮助。我会以新闻网站中国日报为例，为大家演示如何通过这款爬虫软件自动采集数据。

首先，需要下载安装软件，大家可以到官网上下载最新版本的软件，然后注册新用户登录，游客用户也可以采集数据，但是可能会丢失，建议还是注册新用户。

首先，复制需要采集的网址，打开软件输入网址，新建智能采集任务。

在智能模式下，我们输入网址后软件即可自动识别出页面上的数据并生成采集结果，每一类数据对应一个采集字段，可以右击字段进行相关设置，包括修改字段名称、增减字段、处理数据等。

由于在列表页上只展示了部分的新闻信息，如果需要采集具体的新闻内容，我们需要右击链接使用“深入采集”功能，跳转到详情页进行采集。

接着点击“保存并启动”按钮，可在弹出的页面中进行一些高级设置，包括定时启动、自动入库和下载图片，我们如果没有用到这些功能，可以直接点击“启动”运行任务。

数据采集完毕后我们可以导出数据，这款软件比较好的一点是不仅采集免费，而是可以导出多种格式的文档，对导出也没有什么限制。

为方便查看我们导出一个Excel2007的表格，我们可以看到数据质量还是挺高的，大家可以直接使用这些数据，也可以在这个基础上对数据进行加工处理。

前面介绍PowerBI数据获取的时候，曾举了一个从网页中获取数据的例子，但当时只是爬取了其中一页数据，这篇文章来介绍如何用PowerBI批量采集多个网页的数据。

本文以智联招聘网站为例，采集工作地点在上海的职位发布信息。

下面是详细操作步骤：

（一）分析网址结构

打开智联招聘网站，搜索工作地点在上海的数据，

下拉页面到最下面，找到显示页码的地方，点击前三页，网址分别如下，

http://sou.zhaopin/jobs/searchresult.ashx?jl=%e4%b8%8a%e6%b5%b7&sm=0&sg=fe782ca83bfa4b018d27de559d0a5db0&p=1http://sou.zhaopin/jobs/searchresult.ashx?jl=%e4%b8%8a%e6%b5%b7&sm=0&sg=fe782ca83bfa4b018d27de559d0a5db0&p=2http://sou.zhaopin/jobs/searchresult.ashx?jl=%e4%b8%8a%e6%b5%b7&sm=0&sg=fe782ca83bfa4b018d27de559d0a5db0&p=3

可以看出最后一个数字就是页码的ID，是控制分页数据的变量。

（二）使用PowerBI采集第一页的数据

打开PowerBI Desktop，从网页获取数据，从弹出的窗口中选择【高级】，根据上面分析的网址结构，把除了最后一个页码ID的网址输入第一行，页码输入第二行，

从URL预览中可以看出，已经自动把上面两行的网址合并到一起；这里分开输入只是为了后面更清晰的区分页码变量，其实直接输入全网址也是一样可以操作的。

（如果页码变量不是最后一位，而是在中间，应该分三行输入网址）

点击确定后，发现出来很多表，

从这里可以看出，智联招聘网站上每一条招聘信息都是一个表格，不用管它，任意选择一个表格，比如勾选Table0，点击编辑进入Power Query编辑器。

在PQ编辑器中直接删除掉【源】之后的所有步骤，然后展开数据，并把前面没有的几列数据删除。

这样第一页的数据就采集过来了。然后对这一页的数据进行整理，删除掉无用信息，添加字段名，可以看出一页包含60条招聘信息。

这里整理好第一页数据以后，下面进行采集其他页面时，数据结构都会和第一页整理后的数据结构一致，采集的数据可以直接拿来用；这里不整理也没关系，可以等到采集所有网页数据后一起整理。

如果要大批量的抓取网页数据，为了节省时间，对第一页的数据可以先不整理，直接进入下一步。

（三）根据页码参数设置自定义函数

这是最重要的一步。

还是刚才第一页数据的PQ编辑器窗口，打开【高级编辑器】，在let前输入：

(p as number) as table =>

并把let后面第一行的网址中，&后面的"1"改为（这就是第二步使用高级选项分两行输入网址的好处）：

(Number.ToText(p))

更改后【源】的网址变为：

"http://sou.zhaopin/jobs/searchresult.ashx?jl=%e4%b8%8a%e6%b5%b7&sm=0&sg=fe782ca83bfa4b018d27de559d0a5db0&p="&(Number.ToText(p)))),

确定以后，刚才第一页数据的查询窗口直接变成了自定义函数的输入参数窗口，Table0表格也变成了函数的样式。为了更直观，把这个函数重命名为Data_Zhaopin.

到这里自定义函数完成，p是该函数的变量，用来控制页码，随便输入一个数字，比如7，将抓取第7页的数据，

输入参数只能一次抓取一个网页，要想批量抓取，还需要下面这一步。

（四）批量调用自定义函数

首先使用空查询建立一个数字序列，如果想抓取前100页的数据，就建立从1到100的序列，在空查询中输入

={1..100}

回车就生成了从1到100的序列，然后转为表格。gif操作图如下：

然后调用自定义函数，

在弹出的窗口中点击【功能查询】下拉框，选择刚才建立的自定义函数Data_Zhaopin,其他都按默认就行，

点击确定，就开始批量抓取网页了，因为100页数据比较多，耗时5分钟左右，这也是我第二步提前数据整理造成的后果，导致抓取比较慢。展开这一个表格，就是这100页的数据，

至此，批量抓取智联招聘100页的信息完成，上面的步骤看起来很多，实际上熟练掌握以后，10分钟左右就可以搞定，最大块的时间还是最后一步进行抓取数据的过程比较耗时。

网页的数据是不断更新的，在操作完以上的步骤之后，在PQ中点击刷新，可以随时一键提取网站实时的数据，一次做好，终生受益！

以上主要使用的是PowerBI中的Power Query功能，在可以使用PQ功能的Excel中也是可以同样操作的。

当然PowerBI并不是专业的爬取工具，如果网页比较复杂或者有防爬机制，还是得用专业的工具，比如R或者Python。在用PowerBI批量抓取某网站数据之前，先尝试着采集一页试试，如果可以采集到，再使用以上的步骤，如果采集不到，就不用再耽误工夫了。

现在就打开PowerBI/，尝试着抓取你感兴趣的网站数据吧。