Keenable开源NEEDLE实时搜索评测基准

动态重建查询集：破解搜索Agent评测的‘作弊’难题

传统搜索API评测面临根本性挑战：若黄金标注（gold labels）存在于公开数据集，Agent可通过fetch工具直接下载答案，绕过真实检索；若答案已内化于模型参数记忆中，则正确响应无法证明搜索功能有效。Keenable的解决方案是NEEDLE——一个实时、开源的搜索评测基准，其核心设计是拒绝静态冻结查询集，转而从新鲜公共信源持续重建查询流：新闻类查询每小时基于124个精选RSS源和Google Trends生成；金融、学术、法律及稀有实体类查询则每日更新，数据源包括美国证监会XBRL文件、arXiv论文库、Europe PMC、CourtListener判例库及公开Agent行为日志。

五大垂直维度与差异化评测逻辑

NEEDLE名称即代表其评测结构：News（新闻）、Everyday（日常/金融）、Expert（专家/学术）、Deep-tail（深度长尾）、Legal（法律）。各维度对应不同Agent意图：

• 新闻：从实时趋势提炼关键词查询；
• 金融：检索Wikidata/GLIEF注册信息及SEC单季度10-Q财报数据；
• 学术：对一篇论文生成四类查询变体——降质标题、纯正文细节、自然语言线索、模糊‘舌尖效应’描述；
• 长尾：采样自DeepResearchGym、OpenResearcher等公开Agent轨迹数据集中的罕见词查询；
• 法律：抽取14个联邦法院最新CourtListener判例及eCFR法规章节。

评分机制依任务特性定制：新闻与长尾无唯一标准答案，由LLM裁判对结果打0–4分，系统报告带去重URL惩罚的nDCG@5；金融采用answer-recall@5（关键事实是否出现在前5条摘要中）；学术与法律为已知项检索，以标识符精确匹配判定。

‘联合神谕’（Ultimate）：揭示行业真实能力边界

所有15个参测搜索API接收完全相同的查询文本，单次串行调用确保延迟可比性，且不进行页面抓取或结果重排序——裁判仅基于各引擎原生返回的标题、摘要（统一截断至2000字符）打分，且全程匿名。真正体现NEEDLE洞察力的是‘ultimate’指标：对每个查询，系统将全部引擎返回结果聚合为合成神谕引擎，并按相关性重排序，由此得出当前整个搜索生态实际可达到的最高表现上限。‘与ultimate的差距’即为当前Agent搜索质量的理论天花板——大差距表明优质结果存在但未被发现或排序不佳；而ultimate得分本身偏低，则说明全行业共同面临底层检索能力不足。

当前实测表现：金融接近解决，长尾仍是最大瓶颈

截至2026年8月28日七日均值：金融领域已趋成熟，Exa（0.910）、Keenable（0.872）、Perplexity（0.871）、Google（0.847）距ultimate上限（0.965）仅差约5–15个百分点；学术领域分化显著，Keenable（0.774）与Tavily（0.310）差距悬殊，源于标题类查询可依赖元数据解答，而正文类查询则普遍失效；深度长尾最难，也最贴近真实Agent流量，Exa以0.557领先，但距ultimate仍有巨大提升空间。