维基媒体基金会周二表示，无休止抓取内容的 AI 爬虫给其服务器造成了巨大压力。自 2024 年 1 月以来，下载多媒体内容的带宽增长了 50%。维基媒体基金会托管了维基百科以及维基共享资源，其中维基共享资源提供了 1.44 亿份采用开放许可证的媒体文件，自 2024 年初以来，为获取模型训练数据 AI 公司通过直接抓取、API 和批量下载大幅增加了自动抓取量。非人类流量的指数级增长带来了高昂的技术和财务成本。维基百科的缓存系统是为可预测的人类浏览行为而设计的，但 AI 爬虫会不加区分的抓取内容，会抓取通常人类访问量很少的页面，导致缓存系统失效。维基媒体基金会发现美国ip手机代理服务器，尽管机器人程序只占总页面浏览量的 35%，但它在其核心基础设施最昂贵的请求中占了 65%。原因是机器人请求的成本远高于人类请求，而且在快速增加。更糟糕的是 AI 爬虫通常不遵守规则，无视 robots.txt，会使用欺骗性的浏览器用户代理伪装成人类访客，甚至会轮流使用家庭 IP 地址以避免被屏蔽。AI 爬虫对网站可靠性团队造成了持续的干扰，团队必须一直阻止爬虫，以免影响人类访客的页面访问速度。

　　本次活动由 NVIDIA 初创加速计划主办，参与有机会获得产品折扣并直通GTC 2026，参与方式包括：

　　* NVIDIA GTC 2025 精华解读：聚焦物理 AI、数字孪生、机器人、大语言模型、生成式 AI 等领域，技术专家现场分享和全面解读 NVIDIA 最新前沿技术与应用。

　　* 现场体验升级：专家深度解析 NVIDIA Omniverse 最新应用与案例，精彩演示现场体验。

　　* 碰撞与交流，共探合作新机遇：现场聆听引人入胜的观点，零距离与 NVIDIA 以及行业技术专家、投资人、企业家、生态合作伙伴面对面交流。返回搜狐，查看更多