Agent Eval 实践指南 03: 如何选择评估方法
《Agent Eval 实践指南》第三篇:系统梳理程序化评估、LLM 判分与人工评估的适用场景与选择依据,探讨如何将业务目标转化为可量化指标,以及评估器自身如何被评估和校准。
《Agent Eval 实践指南》第三篇:系统梳理程序化评估、LLM 判分与人工评估的适用场景与选择依据,探讨如何将业务目标转化为可量化指标,以及评估器自身如何被评估和校准。
《Agent Eval 实践指南》第二篇:从 query 来源、反推合成、judgment 设计,到 world_state 与 trajectory_anchors 的必要性,拆解一条合格评测 case 的完整构成要素。
《Agent Eval 实践指南》系列开篇:拆解 Agent 系统的非确定性与复杂度累积,论证评估为什么不是成绩单而是目标函数,以及如何用最小评测回路将反馈从天级压缩到分钟级。
Intro 过去一段时间,如果尝试过用claude-code 官方的skills-creator构建agent skills,大概率会发现:agent自己构建的skills往往不好用。于是乎,为了验证一个新写的 Skill 是否真正有效,不得不陷入无止境的“修改 Prompt -> 手动跑测试 -> 检查结果” 的循环中。 ...
基于 Anthropic 技术博客,探讨构建可靠 AI Agent 评估体系的方法论,包括任务定义、评估维度和实践建议。
从模型评估进入 AI 下半场的背景出发,重新梳理 benchmark、任务定义、评估指标和真实场景有效性之间的关系。