前言
最近学习scrapy爬虫框架，在使用pycharm安装scrapy类库及创建scrapy项目时花费了好长的时间，遇到各种坑，根据网上的各种教程，花费了一晚上的时间，终于成功，其中也踩了一些坑，现在整理下相关教程，希望帮助那些遇到和我一样问题的码农。
1、环境
- 操作系统：windows10。
- python版本：python3.7，必须使用Anaconda，目前是Anaconda5.3.1。下载地址：https://
然后在pycharm的项目空间中就可以看到test_scrapy项目的目录结构：
通过命令行创建scrapy项目时经常会遇到下面的三个坑：
（1）'scrapy' 不是内部或外部命令，也不是可运行的程序或批处理文件。这是因为没有把Anaconda加入到环境变量中。在安装scrapy时，会将scrapy.exe文件安装到Scripts文件夹下面：
如果没有设置环境变量，将无法找到scrapy.exe文件。
(2)ImportError: DLL load failed: 找不到指定的模块。 这个问题是因为lxml类库版本引起的，在window7操作系统会遇到这个问题。我安装的是4.2.5版本，后来改成3.8.0就解决了。将lxml从4.2.5切换成3.8.0的方法如下：
通过上图的安装类库界面，找到lxml，勾选上Specify version选项，然后选择3.8.0，点击“install package”按钮即可。使用anaconda的好处就是，将lxml切换成3.8.0之后，会把相关的openssl和twisted等类库也切换成匹配的类库，因此强烈推荐使用Anaconda安装python。
(3)ImportError: DLL load failed: 操作系统无法运行 %1 。 这个是因为c:/windows/system32目录中的ssleay32.dll和libeay32.dll冲突导致的，我的做法是删除掉这个两个文件，创建好scrapy项目后，在恢复回来。因为删除这两个文件会导致某些应用无法运行。在window10操作系统会遇到这个问题。
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持。
最新文章
热门文章
猜你喜欢
