Supabase开源Evals基准测试框架

开源基准：面向Supabase生态的AI编码能力评测

Supabase已正式开源其自研基准测试框架——Supabase Evals。该工具旨在系统性评估AI编码智能体在真实Supabase开发场景中的实际能力，覆盖数据库、认证、存储、边缘函数、实时通信、定时任务、队列、向量搜索和数据API等全部核心产品模块。Evals并非理论测试，而是基于真实用户支持工单、GitHub Issue与Bug报告提炼出的典型任务，例如构建合规Schema、定位并修复失败的Edge Function、修正错误的行级安全（RLS）策略等。

双轨评测体系：公开基准与内部回归

Evals将测试场景分为两类：基准场景（Benchmark Scenarios）与回归场景（Regression Scenarios）。前者覆盖广度，面向公众发布，构成supabase.com/evals公开排行榜的基础；后者聚焦已知缺陷模式，每日自动刷新，用于内部质量保障，且不扰动已发布的基准分数。所有测试均在真实环境运行：框架通过Docker容器启动一个类托管环境（hosted-like stack）及一个本地CLI项目，确保AI智能体调用的是真实的Supabase MCP服务器与CLI命令，而非模拟接口。

技术实现：轻量平台+混合评分

为降低依赖复杂度，Evals引入`platform-lite`运行时，提供兼容Supabase管理API的轻量表面层，底层由`@supabase/lite`驱动。每个评测目录包含三类核心文件：`PROMPT.md`（含任务描述与元数据标签）、`EVAL.ts`（定义评分逻辑）、以及可选的`remote/`或`local/`初始状态快照。本地运行需满足三项约束：宿主机运行Docker守护进程、配置对应云服务提供商API密钥、预留端口54321–54329。

评分机制融合确定性校验与LLM裁判：首先执行自动化检查（如验证用户是否能访问预期数据、Edge Function是否成功执行），再由LLM对输出质量进行语义判断。智能体在首次失败后允许一次重试，以减少偶然性误判，兼顾评估严谨性与工程可行性。

初期实测发现与应用价值

根据Supabase 2026年7月31日发布数据，不同模型表现差异显著：Codex/GPT-5.6平均每场景查阅约8页文档，而Claude Code仅查阅约2页，且即使加载技能（skills），也仅在不到40%的场景中主动查阅文档；优化PostgreSQL最佳实践技能的描述文本后，其调用率从约10%跃升至60%。当前Evals已应用于多个关键环节：回归测试文档更新与技能编辑效果、作为SDK版本发布的准入门槛、以及横向对比不同智能体编排框架（agent harnesses）的实际效能。

部署与许可

项目代码库`supabase/evals`已在GitHub开源，采用Apache-2.0许可证，支持通过pnpm本地一键启动。适用场景包括开发者工具链、云基础设施、数据平台，以及金融、医疗等强监管领域——在这些行业中，AI生成错误RLS策略可能直接引发安全事件。

> 编者观点：Evals代表了一种“以生产问题反哺AI评测”的务实路径，为中国企业构建垂直领域AI能力评估体系提供了可复用的方法论——即锚定真实运维痛点、闭环验证智能体输出、并将评测深度嵌入研发流程。