上述讨论凸显了网站运营商与由人工智能爬虫及大型语言模型（LLM）驱动的自动化流量激增之间日益加剧的冲突。 主要内容摘要如下： * **抓取的成本：** 许多网站所有者正疲于应对海量非人类流量带来的经济负担。这迫使一些网站采取了激进的机器人拦截措施（例如 Cloudflare 验证），但这往往会无意中影响到真实人类用户。 * **互联网格局的变迁：** 批评者认为，过度依赖 Cloudflare 等第三方网关会形成威胁开放网络的“围墙花园”。相反，运营商则主张，他们无法承担被那些在不创造价值的情况下抓取其内容的“数据蝗虫”所带来的服务器成本。 * **观点的冲突：** 人们在看待爬虫的问题上存在分歧：一方将其视为信息获取的必然演进（将网络视为数据库），另一方则认为这是一种在未提供补偿的情况下剥削原始来源的盗窃行为。 * **关于“人类”的疑问：** 对于什么是“良性”机器人，目前尚未达成共识。虽然有些人主张实行速率限制或按次付费模式，但另一些人则坚持认为，尽管基础设施成本不断上升，互联网仍应保持开放。