在写爬虫时，某些网站会有一些防爬措施，比如限制单个ip的访问频率。而突破ip限制的方式，大概有如下几种:

　　买一些便宜的ip资源，用这些ip做代理(可以是配置很低的且每台机器具有多个公网ip的服务器，只负责网络代理，不跑业务)。

　　方式2，多台服务器成本高，同一爬虫部署多处，维护成本也高(配置、部署、升级、爬虫间相互协调等)。

　　当访问某个站点时，网站服务器可以获取到访问者的ip. 服务器可以根据来自该ip的请求情况，做一些限流操作。而代理，是在访问者和站点之间，加一个中间人。访问者向中间人发请求，中间人将该请求转发给站点，最后中间人把站点的响应返回给访问者。在这个过程中站点只能看到代理(中间人)的ip。

　　至此，单个http代理已经完成了。接下来我们讨论如何动态地在多个http代理间来回切换，以此来弱化被爬的站点对访问者ip的限制。

　　从外部将ip代理参数传给爬虫脚本，爬虫运行完成后自动退出，再取另一个ip代理参数，重新跑爬虫脚本，以此形式周而复始。

　　该方案使用bash脚本配合js爬虫脚本一起使用，对于不懂bash的人来说，维护起来有一定的心理负担。接下来帮搭建ip代理服务器违法吗，我们使用纯js语言实现。

　　综上，我们实现了从不使用代理到使用单个代理，再到使用多个代理的过程，使得我们的爬虫能尽可能少地受到服务器限流的影响。我们也看以当一个需求的解决方案有多种时，如何从经济成本、开发成本、维护成本上做取舍。

　　但还有一个问题没说到：如何搭建自己的代理服务器。更进一步，本文中的动态ip切换是在爬虫端(应用端)实现的，这就要求爬虫端知道所有代理ip。那么我们能否用一个代理ip(A) 代理多个代理ip(B C D ...), 而爬虫端只需要知道代理A，就能以 B C D的ip去访问被爬的站点呢？需要知道答案的朋友可以在下方评论，时间允许时我会再出一篇文章。