Anthropic为Claude Code推出插件评估工具

新增插件评估工作流：面向真实场景的行为验证

Anthropic已正式发布针对Claude Code的插件评估（plugin evals）工作流。`claude plugin eval` 命令可对任意插件执行真实提示测试，自动评分模型输出，并与未加载该插件的对照组结果进行比对。此举首次使插件开发者能系统性回答三个此前无法量化的关键问题：技能是否被触发？是否在模型更新或代码修改后仍稳定生效？是否真正优于基础模型（bare model）？该功能已在Claude Code v2.1.269及更高版本中可用。

评估结构：案例驱动、双臂对照、Δ值为核心

每个插件根目录下需设立 `evals/` 子目录，其中每个评估案例为独立子文件夹，包含 `prompt.md`（定义输入提示，@path引用不展开）和 `graders/` 文件夹。`prompt.md` 前置元数据可配置最大轮次（默认10）、超时秒数（默认300）、目标模型、标签及允许调用的工具集。

所有评估案例默认执行两次：一次加载插件（WITH arm），一次不加载（W/OUT arm）。二者得分之差（Δ）即为插件的实际增量贡献——若两组得分均为1.0，则说明插件未起作用。官方示例显示单案例在6次运行中取得 WITH 1.00 / W/OUT 0.33 / Δ +0.67，预估耗资0.41美元，耗时74秒。

六类评分器：四类零成本，两类调用裁判模型

共支持6种评分器类型，均以Markdown文件定义，其前置元数据指定 `type`、可选 `weight` 与 `arm`。其中 `regex`、`tool_used`、`tool_order` 和 `file_exists` 四类完全基于对话记录与磁盘文件状态计算，不产生额外模型调用费用；而 `llm`（依据用户编写的自然语言标准评分）与 `baseline`（对比参考答案）两类需调用独立裁判模型（如 `claude-haiku-4-5`），计入API账单。

特别地，标记为 `only` 的评分器（如 `tool_used: Skill`）仅作指标展示，不参与总分计算，因其在无插件对照组中本无对应技能可触发。

CI集成与质量门禁能力

该工具原生支持持续集成场景。典型CI命令包含 `--threshold 0.8`（设定最低Δ阈值）、`--max-cost-usd 20`（成本熔断）、`--trust-plugin`（跳过未授信插件检查）及 `--no-publish`（禁止上传至claude.ai）。运行依赖本地Claude Code安装及有效API密钥（如 `ANTHROPIC_API_KEY`）。`claude plugin eval init` 可交互式生成首个评估套件：根据插件描述自动提议案例与评分器并试运行。

Anthropic特别指出一个高频问题：当 `tool_used: Skill` 评分器失败且Δ值接近零时，表明Claude未能在自然语言提示下自主选择该技能——这是静态校验工具 `claude plugin validate` 无法发现的行为缺陷，因其仅检查插件清单（`plugin.json`）语法与结构合规性。

输出与可观测性

每次运行结果存于 `evals/results/<timestamp>/report.html`，含各评分器逐项判定与裁判模型投票详情。若账户支持，报告将同步发布至 `claude.ai`（可通过 `--no-publish` 禁用）。所有评估调用均按实际模型请求计费，成本随案例数、运行次数与所用评分器类型动态变化。

编者观点

该工具标志着AI技能开发从“能跑通”迈向“可度量、可回归、可交付”的工程化阶段；对中国企业构建自有AI智能体平台而言，亟需借鉴此类面向行为验证的自动化评测体系，避免陷入仅关注接口兼容性而忽视真实场景鲁棒性的开发陷阱。