大多数粉丝是直接拿着代码就开始运行，然后就是等待结果，完全不去仔细阅读和理解源码，遇到报错就直接过来询问。

　　多数爬虫源码运行的报错都是由于访问目标网站过于频繁，从而导致目标网站返回错误或者没有数据返回。

　　目前大多数网站都是有反爬措施的，如果 IP 在一定时间内 请求次数超过了一定的阈值就会触发反爬措施，拒绝访问，也就是我们经常听到的“封IP”。

　　一种解决办法就是降低访问频率，访问一次就等待一定时长，然后再次访问。这种方法对于反爬措施不严格的网站是有效的。

　　如果遇到反爬措施严格的网站，访问次数多了还是会被封杀。而且有时候你需要爬取数据，这种解决办法会使获取数据的周期特别长。

　　第二种解决办法就是使用代理 IP。我不断地切换 IP 访问，让目标网站认为是不同的用户在访问，从而绕过反爬措施。这也是最常见的方式。

　　ProxyPool 是一个爬虫的代理 IP 池，主要功能为定时采集网上发布的免费代理验证入库，定时验证入库的代理保证代理的可用性，提供API和CLI两种使用方式。

　　要在本地运行项目，我们需要针对本地环境修改一些配置。打开项目中的 setting.py 这个文件，根据自己本地的环境和要求修改配置。

　　主要修改的几项配置是监听端口（PORT）、 Redis 数据库的配置（DB_CONN）和启用的代理方法名（PROXY_FETCHER）有免费代理ip网站吗。

　　其实，作者在这个项目中运用的原来就是到一些免费的代理网站采集 IP，然后测试 IP 的可用性，可用的就存入 Redis 中，不可用就丢弃。

　　作为学习使用的 IP 代理池，这项目获取的足够使用了，但是对于一些复杂的爬虫项目或者商业项目的话，可能比较够呛，毕竟这种爬取的免费代理质量肯定没有那么好，不稳定是正常的。返回搜狐，查看更多