1.前言分析
往常都是利用 Python/.NET 语言实现爬虫，然现在作为一名前端开发人员，自然需要熟练 NodeJS。下面利用 NodeJS 语言实现一个糗事百科的爬虫。另外，本文使用的部分代码是 es6 语法。
实现该爬虫所需要的依赖库如下。
request: 利用 get 或者 post 等方法获取网页的源码。 cheerio: 对网页源码进行解析，获取所需数据。
本文首先对爬虫所需依赖库及其使用进行介绍，然后利用这些依赖库，实现一个针对糗事百科的网络爬虫。
2. request 库
request 是一个轻量级的 http 库，功能十分强大且使用简单。可以使用它实现 Http 的请求，并且支持 HTTP 认证， 自定请求头等。下面对 request 库中一部分功能进行介绍。
安装 request 模块如下：
npm install request在安装好 request 后，即可进行使用，下面利用 request 请求一下百度的网页。
const req = require('request');req('http:///StartAction/SpliderQB.git克隆之后，进入项目目录，运行下面命令即可。
node app.js5. 总结
通过实现一个完整的爬虫功能，加深自己对 Node 的理解，且实现的部分语言都是使用 es6 的语法，让自己加快对 es6 语法的学习进度。另外，在这次实现中，遇到了 Node 的异步控制的知识，本文是采用的是 async 和 await 关键字，也是我最喜欢的一种，然而在 Node 中，实现异步控制有好几种方式。关于具体的方式以及原理，有时间再进行总结。
最新文章
热门文章
猜你喜欢
