黄页

年纪稍大一些的读者或多或少都经历过翻阅厚厚的黄页查找电话号码的年代。作为互联网时代之前重要的电话号码查询手段和广告实体，黄页已经存在了100多年。今年早些时候英国Yell公司发布公告，其将于2019年1月印发最后一个实体版本，届时英国黄页“104最终版”将发行2300万册，以此方式完结这起始于1966年的历史。在其他很多国家，黄页早已消失。图为电话亭中摆放的黄页。

我国的黄页由各地中国电信发布。1995年，马云的早期项目，为企业做主页的杭州海博网络公司开张了，网站取名“中国黄页”，成为中国最早的互联网公司之一。其后不到三年时间，他们利用该网站赚到了500万元。（来源百度百科）

由于需要登记电话的企业越来越多，并且在一些城市家庭电话也刊登在黄页上，致使这种电话本的厚度越来越厚，对纸张的需求也越来越大。为了弥补白纸的不足，电话本印刷公司用质量稍差的黄纸代替白纸，因此这种电话本才被称为“黄页”（Yellow Pages）。

1922年，贝尔电话公司的黄页印刷生产线。

图为1931年，两个人手拿美国华盛顿黄页。

黄页通常有几百页到上千页之厚，人们竟发明了一种“运动”——“手撕黄页”。能实现这一“成就”的人，往往自认为掌握了出奇的，可供炫耀的技能。

1938年，纽约，一位话务员展示不同种类的黄页，包括越洋电话本。

1939年，纽约一家话务公司职员的桌上摆放相当数量的黄页。这些话务员每天要接受超过200万次的号码查询业务，所依据的信息都来自这些不同用途的黄页之中。 图片来源：Google Arts & Culture开放计划，美国国会图书馆开放档案

最近帮朋友做一些网络营销的工作，需要抓取一些客源信息，用以辅助营销，我感觉很多做电商的朋友，尤其是微商朋友们，应该都是比较需要各种客源信息的吧，今天，小编我就借此机会把利用python多进程的方式抓取黄页海量的客源信息的方法分享给大家，希望大家能多多关注本人，多讨论关于爬虫和数据挖掘分析相关的问题。

该代码已经上传至本人的github，喜欢的朋友可到我的公众号获取。

一、特别提到的库：

多进程：pool

mogo数据库：pymongo

自然语言编码转换：codecs

二、特别推荐----jupyter

做开发没有趁手的兵器是不行的，对于python脚本的开发以及做一些数据挖掘和分析这方面工作来说，jupyter notebook这个工具是一个非常合适的工具，它可以保存你写的阶段性的小脚本，同时，又不至于像ipython那样把有价值的历史代码被滚屏所淹没，关于这个工具的其他优点，大家可以自行百度，总之，这是一个python开发的一个神器，借助它可以快速的写出很多高效的代码出来。

三、主要代码：

这次抓取的站点是黄页88网，网站放置行业信息的结构是这样的，按照行业来抓取的话，首先是分为各种行业，每种行业下面又可以获取到各个省份的该行业的信息。

为了能够按照行业进行抓取，我们可以先把首页出现的行业分类抓取下来，保存为字典，这一步的方法就不仔细说了，请自行解决。我已经保存好了字典，将起保存在一个单独的配置文件中，方便调用时使用。

获取各个行业对应的每个省的url，我们可以写一个函数来完成，返回一个url的列表。

有了这个url以后，就可以直接得到内容了，其中翻页的时候需要注意url中控制页码是通过pn变量实现的，也需要对最后一页做一下判断，否则就会形成死循环。这一步就已经把数据写入了txt文件中。

最后是执行爬虫的的代码，这里用到了多线程，同时需要存入mongodb的数据库。

由于自媒体发布的时候贴代码不太方便，感兴趣的朋友关注我的同名订阅号获取github地址吧！

最近帮朋友做一些网络营销的工作，需要抓取一些客源信息，用以辅助营销，我感觉很多做电商的朋友，尤其是微商朋友们，应该都是比较需要各种客源信息的吧，今天，小编我就借此机会把利用python多进程的方式抓取黄页海量的客源信息的方法分享给大家，希望大家能多多关注本人，多讨论关于爬虫和数据挖掘分析相关的问题。

该代码已经上传至本人的github，喜欢的朋友可到我的公众号获取。

一、特别提到的库：

多进程：pool

mogo数据库：pymongo

自然语言编码转换：codecs

二、特别推荐----jupyter

做开发没有趁手的兵器是不行的，对于python脚本的开发以及做一些数据挖掘和分析这方面工作来说，jupyter notebook这个工具是一个非常合适的工具，它可以保存你写的阶段性的小脚本，同时，又不至于像ipython那样把有价值的历史代码被滚屏所淹没，关于这个工具的其他优点，大家可以自行百度，总之，这是一个python开发的一个神器，借助它可以快速的写出很多高效的代码出来。

三、主要代码：

这次抓取的站点是黄页88网，网站放置行业信息的结构是这样的，按照行业来抓取的话，首先是分为各种行业，每种行业下面又可以获取到各个省份的该行业的信息。

为了能够按照行业进行抓取，我们可以先把首页出现的行业分类抓取下来，保存为字典，这一步的方法就不仔细说了，请自行解决。我已经保存好了字典，将起保存在一个单独的配置文件中，方便调用时使用。

获取各个行业对应的每个省的url，我们可以写一个函数来完成，返回一个url的列表。

有了这个url以后，就可以直接得到内容了，其中翻页的时候需要注意url中控制页码是通过pn变量实现的，也需要对最后一页做一下判断，否则就会形成死循环。这一步就已经把数据写入了txt文件中。

最后是执行爬虫的的代码，这里用到了多线程，同时需要存入mongodb的数据库。

由于自媒体发布的时候贴代码不太方便，感兴趣的朋友关注我的同名订阅号获取github地址吧！