Show HN:针对 MCP 上智能体(Agent)会话的产品分析(及评估)
Show HN: Product analytics (and evals) for agent sessions on your MCP

原始链接: https://armature.tech/

用户意图 · 14:16 为 ACME 设置付费计划并向其发送账单 ✦ 智能体思考 · 14:16 账单需要一个结算联系人 —— 正在重试使用所有者的电子邮件。 ✓ 智能体成功完成用户任务 92分

Armature (YC S24) 推出了一款专为模型上下文协议 (MCP) 服务器设计的新型产品分析平台。针对 AI 代理交互中“黑箱”的问题,创始人 Theodore 和 Louis 开发了一套轻量级 SDK(支持 TypeScript、Python 和 Go),仅需三行代码即可完成集成。 Armature 能够重构代理会话,让开发者清楚地看到用户的提问内容以及代理的响应方式。该平台会自动对用例进行聚类、识别重复出现的错误并标注用户的困扰点,从而直观地展示代理在真实场景中如何与工具进行交互。 该服务采用“隐私至上”的设计理念,在数据上传至服务器前即在客户端完成脱敏。除了分析功能,Armature 还在构建一个集成了自动化评估 (evals) 的反馈闭环。通过将会话数据转化为测试用例,开发者可以识别工作流、在多个模型上测试修复方案,并在发布前防止回归问题。Armature 现已在 armature.tech 上线自助服务模式,旨在帮助团队掌握“代理体验”,并确保 MCP 集成的可靠性与高性能。
相关文章

原文
User intent · 14:16 Set up a paid plan for ACME and invoice them

Agent thinking · 14:16 Invoice needs a billing contact — retrying with the owner email.

✓ Agent completed user task successfully 92score

联系我们 contact @ memedata.com