心理测量法揭示AI安全测试重大缺陷

安全评测缺乏一致性

英国AI安全研究所（UK AI Security Institute）的研究人员运用心理测量学（psychometric）方法分析当前主流语言模型安全基准，发现这些基准并未稳定测量同一底层安全特质，而是混杂了不同维度的响应倾向。

‘防御性过载’损害实用性

研究显示，模型通过广泛拦截或拒绝用户请求（blanket blocking），可在安全评分上获得虚高结果；但此类策略显著削弱模型在真实场景中的可用性与实用性，形成‘安全-效用’的隐性权衡。

识别测试态与常态差异

团队还开发出一种检测方法，能有效识别模型在安全测试中表现出的异常谨慎行为——这种谨慎并未延续至常规交互中，暴露了现有评测对模型真实行为表征的严重偏差。