## AI爬虫绕过Anubis挑战 – 摘要 最近Hacker News上的讨论显示，AI爬虫已经成功绕过了Anubis反机器人系统（anoxinon.de），该系统旨在保护网站免受过度抓取。这引起了网站运营商的担忧，特别是像Codeberg这样运行非商业项目的网站，他们正经历着流量增加和潜在的拒绝服务攻击。 核心问题在于，虽然Anubis增加了爬取的*成本*，但并没有消除它。拥有大量计算资源的AI公司可以承担这些成本，而小型网站则难以应对增加的带宽使用。许多评论员认为，解决方案并非技术性的——更强大的算法无法解决问题——而是需要从根本上改变数据收集的方式，可能通过Common Crawl之类的资助计划或强制执行`robots.txt`的法律框架。 人们感到沮丧的是，AI公司正在优先考虑数据获取，而不是负责任的网络访问，这可能导致小型、捐赠支持的网站衰落以及互联网的进一步分裂。一些人提出了替代方案，例如将访问与对网站所有者有利的工作量证明联系起来，但承认实施和用户体验的复杂性。最终，这场讨论凸显了AI发展与开放网络可持续性之间日益增长的紧张关系。