在调试爬虫的时候，新手都会遇到关于ip的错误，好好的程序突然报错了，怎么解决，关于ip访问的错误其实很好解决，但是怎么知道解决好了呢？怎么确定是代理ip的问题呢？由于笔者主修语言是Java，所以有些解释可能和Python大佬们的解释不一样，因为我是从Java 的角度看Python。这样也便于Java开发人员阅读理解。

　　从上可以发现，代理ip的设置肯定是在发送请求之前就要设置好，那么唯一符合条件的地方就是middlewares.py，所以关于代理的相关逻辑都写在这个里面。直接在其中添加如下代码：

　　每个 Downloader Middleware 定义了一个或多个方法的类，核心的方法有如下三个：

　　以上就已经配置好了一个简单的代理ip，此时来到httpProxyIp.py这个文件， 这个文件是我通过命令生成的，创建成功内容如下：

　　很明显，这里没有打印出我们想要的结果，说明之前proxyList = [没有用，我们找找有没有可以用的，这里用免费的，所以找起来费点时间 免费代理ip

　　这里使用的是收费的代理ip了，你可以使用快代理或者阿布云等云服务商提供的服务，当你注册并缴费之后，会给你一个访问url和用户名密码，这里直接看代码吧！ 同样在middlewares.py新建一个类

　　其他地方不动，我们在启动看看，这里换种启动方式，因为使用的是PyCharm开发工具歪歪代理ip设置方法，所以可以直接

　　到此这篇关于Python爬虫Scrapy框架IP代理的配置与调试的文章就介绍到这了,更多相关Scrapy框架IP代理配置调试内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！