（评论）

（评论）
(comments)

原始链接: https://news.ycombinator.com/item?id=43687431

Hacker News 最新 | 往期 | 评论 | 提问 | 展示 | 招聘 | 提交登录被爬取的代价：大型语言模型机器人和 Vercel 图片 API 定价 (metacast.app) navs 27 分钟前 10 分 | 隐藏 | 往期 | 收藏 | 1 评论 andrethegiant 0 分钟前 [–] 直接封锁这些机器人是一种令人遗憾的本能反应。我认为未来，网站会学习向这些机器人提供纯 Markdown 内容，而不是封锁它们。这样，网站可以避免文章中提到的带宽超支问题，同时仍然可以向大型语言模型告知其网站提供的服务。[免责声明：我运营着 https://pure.md，它可以帮助网站抵御此类流量] 回复加入我们 6 月 16-17 日在旧金山举办的 AI 初创公司学校！指南 | 常见问题 | 列表 | API | 安全 | 法律 | 申请 YC | 联系我们搜索：

（评论） 2025-03-22

（评论） 2025-04-08

（评论） 2025-03-27

（评论） 2025-04-09

原文

login

		The Cost of Being Crawled: LLM Bots and Vercel Image API Pricing (metacast.app)
		10 points by navs 27 minutes ago \| hide \| past \| favorite \| 1 comment

andrethegiant 0 minutes ago [–]

It’s a shame that the knee-jerk reaction has been to outright block these bots. I think in the future, websites will learn to serve pure markdown to these bots instead of blocking. That way, websites prevent bandwidth overages like in the article, while still informing LLMs about the services their website provides.

[disclaimer: I run https://pure.md, which helps websites shield from this traffic]

reply

（评论） (comments)

（评论）
(comments)