展示HN：Butter – LLM的行为缓存

展示HN：Butter – LLM的行为缓存
Show HN: Butter – A Behavior Cache for LLMs

黄油是一个聊天补全API端点，可以轻松地集成到LangChain、Mastra、Crew AI、Pydantic AI、AI Suite、Helicone、LiteLLM、Martian、Browser Use、DSPy等您常用的工具中。 from openai import OpenAI # 将您的客户端重新指向 client = OpenAI( base_url="https://proxy.butter.dev/v1", ) # 请求现在通过黄油路由 response = client.chat.completions.create()

## 黄油：具有行为缓存的确定性人工智能黄油 (butter.dev) 是一种新型 LLM 代理，旨在为人工智能代理系统带来可预测性。由前 Pig.dev 团队构建，黄油解决了传统 RPA 替代方案中遇到的 AI 自动化速度慢、成本高且*不可预测*的问题。黄油通过缓存和重放 LLM 响应来实现确定性，本质上赋予 AI “肌肉记忆”。它作为一个兼容聊天完成的端点工作，易于与现有代理集成，并利用感知模板的缓存来处理动态内容作为变量。核心思想是将成功的代理“轨迹”存储为可重用的代码，尽可能重放它们，仅在出现新场景时才回退到 LLM。目前免费使用，开发者正在寻求对其功能和限制的反馈，特别是关于缓存不正确响应的潜在问题。讨论强调了关于 API 缓存的潜在法律考虑以及未来定价变化的可能。

Butter is a Chat Completions API endpoint, making it easy to drop right into favorite tools like LangChain, Mastra, Crew AI, Pydantic AI, AI Suite, Helicone, LiteLLM, Martian, Browser Use, DSPy, and more.


from openai import OpenAI

# Repoint your client
client = OpenAI(
    base_url="https://proxy.butter.dev/v1", 
)

# Requests now route through Butter
response = client.chat.completions.create()

展示HN：Butter – LLM的行为缓存 Show HN: Butter – A Behavior Cache for LLMs

展示HN：Butter – LLM的行为缓存
Show HN: Butter – A Behavior Cache for LLMs