【摘要】 前言 你在爬虫的时候，是否会经常的担心IP被封掉呢？ 或者说，在使用免费IP的时候，并不知道那个IP是不是已经被封了。 对于大批量的爬取数据的时候，我在第五篇做并发爬虫的时候就发现了，第一篇提供的那个免费代理很多都已经被封掉了。 那怎么办呢？ 这时候不得有一个自己的代理池嘛。 除了去买，相信大多数小伙伴还是愿意用自己的吧，毕竟又不是天天爬，爬个几次，又不能当...

　　对于大批量的爬取数据的时候，我在第五篇做并发爬虫的时候就发现了，第一篇提供的那个免费代理很多都已经被封掉了。

　　除了去买，相信大多数小伙伴还是愿意用自己的吧，毕竟又不是天天爬，爬个几次，又不能当饭吃，花这钱干什么？

　　其实这个代理池的建立啊，也不是什么稀奇玩意儿了。从User-Agent模块中不断抽取随机IP，然后拿去访问网址，如果可以用的话，就留下来，如果不能用的话，就算了移动转电信ip代理。

　　1.服务器会判断一个频繁的请求是不是来自于同一个User-Agent标识，或者判断User-Agent是不是以python开头。如果是，则会限制访问。

　　2.服务器会判断一个频繁的请求是不是来自于同一个IP地址发出的，如果是，则会对IP进行限制访问。