Agent Eval 实践指南 03: 如何选择评估方法

《Agent Eval 实践指南》第三篇:系统梳理程序化评估、LLM 判分与人工评估的适用场景与选择依据,探讨如何将业务目标转化为可量化指标,以及评估器自身如何被评估和校准。

August 5, 2026 · 7 min · LZY

Agent Eval 实践指南 02: 如何准备评测集

《Agent Eval 实践指南》第二篇:从 query 来源、反推合成、judgment 设计,到 world_state 与 trajectory_anchors 的必要性,拆解一条合格评测 case 的完整构成要素。

July 17, 2026 · 6 min · LZY

Agent Eval 实践指南 开篇01: 系统越复杂,评估越要先行

《Agent Eval 实践指南》系列开篇:拆解 Agent 系统的非确定性与复杂度累积,论证评估为什么不是成绩单而是目标函数,以及如何用最小评测回路将反馈从天级压缩到分钟级。

July 13, 2026 · 5 min · LZY

告别手动优化:从新版 Skill-creator 看 Agent Skills的工程化评估和优化

Intro 过去一段时间,如果尝试过用claude-code 官方的skills-creator构建agent skills,大概率会发现:agent自己构建的skills往往不好用。于是乎,为了验证一个新写的 Skill 是否真正有效,不得不陷入无止境的“修改 Prompt -> 手动跑测试 -> 检查结果” 的循环中。 ...

March 30, 2026 · 15 min · LZY

如何构建可靠的 Agent 评估体系:读 Anthropic 技术博客有感

基于 Anthropic 技术博客,探讨构建可靠 AI Agent 评估体系的方法论,包括任务定义、评估维度和实践建议。

January 19, 2026 · 5 min · LZY

从下半场开始,对于评估的重新思考: 一些概念

从模型评估进入 AI 下半场的背景出发,重新梳理 benchmark、任务定义、评估指标和真实场景有效性之间的关系。

June 11, 2025 · 13 min · LZY