爬虫怎么设置代理ip
线程IP池的自动切换IP机制非常受大家喜爱,但还有一些用户不太熟悉如何配置自动切换IP的信息,今天我们就来说一说。
假设刚刚获取到一个线秒,如果设置“IP到期前多少秒自动申请切换(0为不启用)”为300秒,会马上自动申请切换代理IP,但由于同一线程的代理IP允许最低切换间隔为3秒,会不断的提示“尝试切换IP失败,没到允许时间,请在三秒后重试”,直到秒后才能切换成功,不建议这样设置。
如果设置“IP获取多少秒后自动切换(小于3不启用)”为20秒,那么获取代理IP 20秒后就会自动切换IP。假设某个线秒,设置“IP获取多少秒后自动切换(小于3不启用)”为300秒,到了240秒时(代理IP到期时)会自动切换IP爬虫怎么设置代理ip,并不会等到300秒后才自动切换IP。
线程IP池的自动切换IP机制主要是设置“IP到期前多少秒自动申请切换”和“IP获取多少秒后自动切换”,两种方式设置一种就可以,如果两种方式都设置了,那么哪种方式先触发,都会自动申请切换IP。比如前者设置5秒,后者设置10秒,那么永远都是后者先触发,前者设置不起作用。