Eval on LZY Blog https://niraya666.github.io/tags/eval/ Recent content in Eval on LZY Blog LZY Blog https://niraya666.github.io/img/基于大语言模型的%20Agent：科普向-assets/cover.webp https://niraya666.github.io/img/基于大语言模型的%20Agent：科普向-assets/cover.webp Hugo -- gohugo.io zh-CN Wed, 05 Aug 2026 12:00:00 +0800 Agent Eval 实践指南 03: 如何选择评估方法 https://niraya666.github.io/posts/agent-eval-guide-03/ Wed, 05 Aug 2026 12:00:00 +0800 https://niraya666.github.io/posts/agent-eval-guide-03/ 《Agent Eval 实践指南》第三篇：深入对比 Code-based Evaluators、LLM-as-a-Judge 与人工评估三种判分方法的适用场景、选择依据与常见陷阱，以及评估器自身的控制变量与校准。 Agent Eval 实践指南 02: 如何准备评测集 https://niraya666.github.io/posts/agent-eval-guide-02/ Fri, 17 Jul 2026 12:00:00 +0800 https://niraya666.github.io/posts/agent-eval-guide-02/ 评测集不只是凑 query——每一条 case 需要明确成功标准、世界状态、轨迹锚点和元数据，才能真正用于稳定判分和回归测试。 Agent Eval 实践指南 开篇01: 系统越复杂，评估越要先行 https://niraya666.github.io/posts/agent-eval-guide-01/ Mon, 13 Jul 2026 12:00:00 +0800 https://niraya666.github.io/posts/agent-eval-guide-01/ 《Agent Eval 实践指南》系列开篇：为什么 LLM 系统的评估是统计性而非确定性的，为什么评估必须先于优化，以及人的判断力如何通过评测体系嵌入自动化系统。 告别手动优化：从新版 Skill-creator 看 Agent Skills的工程化评估和优化 https://niraya666.github.io/posts/%E5%91%8A%E5%88%AB%E6%89%8B%E5%8A%A8%E4%BC%98%E5%8C%96%E4%BB%8E%E6%96%B0%E7%89%88-skill-creator-%E7%9C%8B-agent-skills%E7%9A%84%E5%B7%A5%E7%A8%8B%E5%8C%96%E8%AF%84%E4%BC%B0%E5%92%8C%E4%BC%98%E5%8C%96/ Mon, 30 Mar 2026 15:38:00 +0800 https://niraya666.github.io/posts/%E5%91%8A%E5%88%AB%E6%89%8B%E5%8A%A8%E4%BC%98%E5%8C%96%E4%BB%8E%E6%96%B0%E7%89%88-skill-creator-%E7%9C%8B-agent-skills%E7%9A%84%E5%B7%A5%E7%A8%8B%E5%8C%96%E8%AF%84%E4%BC%B0%E5%92%8C%E4%BC%98%E5%8C%96/ <h2 id="intro">Intro</h2> <p>过去一段时间，如果尝试过用claude-code 官方的<code>skills-creator</code>构建agent skills，大概率会发现：agent自己构建的skills往往不好用。于是乎，为了验证一个新写的 Skill 是否真正有效，不得不陷入无止境的“修改 Prompt -&gt; 手动跑测试 -&gt; 检查结果” 的循环中。</p> 如何构建可靠的 Agent 评估体系：读 Anthropic 技术博客有感 https://niraya666.github.io/posts/%E5%A6%82%E4%BD%95%E6%9E%84%E5%BB%BA%E5%8F%AF%E9%9D%A0%E7%9A%84-ai-agent-%E8%AF%84%E4%BC%B0%E4%BD%93%E7%B3%BB-%E8%AF%BB-anthropic-%E6%8A%80%E6%9C%AF%E5%8D%9A%E5%AE%A2%E6%9C%89%E6%84%9F/ Mon, 19 Jan 2026 21:08:00 +0800 https://niraya666.github.io/posts/%E5%A6%82%E4%BD%95%E6%9E%84%E5%BB%BA%E5%8F%AF%E9%9D%A0%E7%9A%84-ai-agent-%E8%AF%84%E4%BC%B0%E4%BD%93%E7%B3%BB-%E8%AF%BB-anthropic-%E6%8A%80%E6%9C%AF%E5%8D%9A%E5%AE%A2%E6%9C%89%E6%84%9F/ 基于 Anthropic 技术博客，探讨构建可靠 AI Agent 评估体系的方法论，包括任务定义、评估维度和实践建议。 从下半场开始，对于评估的重新思考: 一些概念 https://niraya666.github.io/posts/eval_1/ Wed, 11 Jun 2025 15:04:00 +0800 https://niraya666.github.io/posts/eval_1/ 从模型评估进入 AI 下半场的背景出发，重新梳理 benchmark、任务定义、评估指标和真实场景有效性之间的关系。