近来，开源社区的成员们都在发出悲鸣，因为AI公司的爬虫技术正在对他们的项目基础设施发起一种近乎DDoS的攻击——不断的高流量请求让许多服务器瘫痪，导致性能大幅下降。这场危机不仅影响了SourceHut创始人Drew DeVault，而且还波及到诸如GNOME、KDE、Inkscape和Fedora等多个社区。 在DeVault的博文《Pleasestopexternalizingyourcostsdirectlyintomyface》中，他忍不住表达了自己的愤怒：“每周我们都会经历数十次宕机！这些爬虫无视‘robots.txt’协议，甚至对系统资源极度消耗的链接不遗余力，比如gitblame和所有Git日志页面。” 由于爬虫们使用数以万计的IP地址和伪装的User-Agent，使得管理员们几乎不可能快速识别并阻止这些流量。这些恶意流量已经占用了DeVault工作时间的20%到100%，迫使他解决这一烦恼的同时，几乎无法专注于其他高优先级任务。 除了SourceHut，KDE也遭遇了大量假冒Microsoft Edge浏览器的流量，迫使他们采取临时流量限制措施，而GNOME则自去年11月起不得不在查阅合并请求和提交记录时限制未登录用户，影响了正常的匿名访问体验。为了应对这种状况，GNOME开发了名为“Anubis”的防护工具，但这却给普通用户带来了不小的困扰，因为系统可能突然增加访问难度。 Fedora社区也尝试通过屏蔽可疑IP段来保全Pagure代码托管平台，甚至一度不得不封禁整个国家的访问，造成了不必要的误伤。 Inkscape的开发者们则表示，他们也在不断更新反爬虫的黑名单，以适应这股不断蔓延的爬虫势力。Diaspora的一位维护者透露，他们网站在60天内共收到了1130万次请求，其中近70%来自各类AI爬虫，频繁的抓取让他们的服务器压力巨大。 对于这种近乎“DDoS攻击”的行为，DeVault在博文最后严厉抨击道：“我已经受够了，这些人把成本转嫁给我，让我疲于应对。希望行业能自律，也希望AI公司能对自己的爬虫行为进行规范。”总的来看，开源社区正面临一场生死攸关的战斗，在开放与自律代理ip验证美国、效率与用户体验之间，他们亟需找到一个平衡点，以应对未来更多的挑战与机遇。