本站不提供港澳台、国外IP资源。所有IP均为自营，我们会保留用户的对代理IP的请求日志，如有发现用户违法违规行为，我们会保留日志数据并举报到网监部门。用户不得传输或发表：煽动抗拒、破坏宪法和法律、行政法规实施的言论，煽动颠覆国家政权，推翻社会主义制度的言论，煽动分裂国家、破坏国家统一的的言论，煽动民族仇恨、民族歧视、破坏民族团结的言论；不得利用本站资源从事洗钱、窃取商业秘密、窃取个人信息等违法犯罪活动；不得侵入计算机信息系统或者采用其他技术手段，获取该计算机信息系统中存储、处理或者传输的数据，或者对该计算机信息系统实施非法控制；不得传输或发表任何违法犯罪的、骚扰性的、中伤他人的、辱骂性的、恐吓性的、伤害性的、庸俗的，淫秽的、不文明的等信息资料；不得传输或发表损害国家社会公共利益和涉及国家安全的信息资料或言论；不得发布任何侵犯他人著作权、商标权等知识产权或合法权利的内容；不可进行其他违反宪法和法律、行政法规、社会公德的行为。

　　在本文中，您将研究如何在代理服务器后面使用 Python Requests 库。开发人员使用代理来实现匿名性和安全性，有时甚至会使用多个代理来防止网站禁止其 IP 地址。代理还具有其他一些好处，例如绕过过滤器和审查制度。让我们开始吧！

　　pip freeze将显示您当前所有的 python 包及其版本，因此请继续检查它是否存在。如果没有，请运行以下命令安装它：

　　接下来创建一个proxies定义 HTTP 和 HTTPS 连接的字典。此变量应该是将协议映射到代理 URL 的字典。此外，url为您要从中抓取的网页设置一个变量。

　　请注意在下面的示例中，字典为两个单独的协议定义了代理 URL：HTTP 和 HTTPS。每个连接映射到一个单独的 URL 和端口，但这并不意味着两者不能相同

　　您可能还会发现自己想要从使用会话的网站上抓取数据，在这种情况下，您必须创建一个会话对象。您可以通过首先创建一个session变量并将其设置为请求Session方法来执行此操作免费代理ip 微信。然后与之前类似，您将通过 requests 方法发送会话代理，但这次只传入url作为参数。

　　您可能会发现自己为每个请求重复使用相同的代理，因此请随时通过设置一些环境变量来 DRY 代码：

　　如果您决定设置环境变量，则不再需要在代码中设置代理。只要你提出请求，就会进行 api 调用！

　　每当您发现自己反复从网页上抓取时，最好使用多个代理，因为您的抓取工具很可能会被阻止，这意味着您的 IP 地址会被禁止。刮取消文化是真实的！因此，为避免被取消，最好使用轮换代理。旋转代理是一种代理服务器，它从代理池中为每个连接分配一个新的 IP 地址。

　　要轮换 IP 地址，您首先需要有一个可用的 IP 池。您可以使用在 Internet 上找到的免费代理或商业解决方案。在大多数情况下，如果您的服务依赖于抓取的数据，那么免费代理很可能是不够的。

　　为了开始轮换您的 IP 地址，您需要一个能够获取代理IP的API接口。今天您将编写一个脚本，通过代理进行选择和轮换。

　　接下来定义一个方法get_proxy，负责检索 IP 地址供您使用。在此方法中，您将定义您url选择使用的任何代理列表资源。发送请求 api 调用后，将响应转换为 Beautiful Soup 对象以使提取更容易。使用 html5lib 解析器库来解析网站的 HTML，就像浏览器一样。创建一个proxy变量，用于choice从 生成的代理列表中随机选择一个 IP 地址soup。在 map 函数中，您可以使用一个lambda函数将 HTML 元素转换为检索到的 IP 地址和端口号的文本。

　　虽然立即开始使用您喜欢的新代理进行抓取可能很诱人，但您仍然应该了解一些关键事项。对于初学者来说，并不是所有的代理都是一样的。实际上有不同的类型，主要有三种：透明代理、匿名代理和精英代理。

　　在大多数情况下，您将使用精英代理，无论是付费的还是免费的，因为它们是避免被发现的最佳解决方案。如果仅出于隐私目的使用代理，匿名代理可能值得您花时间。除非有特殊原因，否则不建议使用透明代理，因为透明代理会泄露您的真实 IP 地址，并且您正在使用代理服务器。

　　现在我们已经全部清理完毕，是时候开始使用Python 中的代理进行抓取了。所以，开始吧，提出所有你能想到的要求！

　　福利：现在通过开发者购买代理IP，购买后联系客服最高可获返现20%到你的支付宝（最低35元，最高1440元）