小米MiLM Plus发布PROVE：面向视频对象擦除的感知对齐评测框架

现有评测指标严重失准

对象擦除模型能力快速提升，但主流评测指标却持续滞后。当前扩散类擦除模型已能逼真重建阴影、反射与被遮挡结构，而PSNR、SSIM、LPIPS、ReMOVE和CFD等指标却频繁给出错误排序。根本原因在于任务本质：对象擦除是病态的‘一对多’问题——同一空洞存在多种合理修复结果，不存在唯一真值（ground truth）可供比对。

PROVE：首个感知对齐的无参考评测框架

为弥合这一鸿沟，小米MiLM Plus团队正式发布PROVE（Perceptual RemOVal cohErence），已被ACM Multimedia 2026录用。PROVE由两部分构成：

• 双指标体系：RC-S（Spatial Coherence）衡量编辑区域的空间合理性；RC-T（Temporal Consistency）评估连续帧间修复结果的一致性；
• PROVE-Bench基准：包含两个层级的真实世界视频数据集，其中PROVE-M子集含80组配对视频——均由三脚架固定拍摄的原始输入与目标物完全缺失的实拍素材组成，经SAM3逐帧精修掩码，并通过三级质量控制验证。

技术设计：本地化深度特征分布匹配

RC-S与RC-T摒弃全局聚合思路，转而采用滑动窗口最大均值差异（MMD）在DINOv2特征空间内进行局部分布对齐：

• RC-S：对掩码连通域分别处理，每个边界框向外扩展1/3边长后裁剪，下采样掩码至特征图分辨率；w×w窗口遍历特征图，在掩码区域与邻近背景区域间计算高斯RBF核下的MMD平方值，最终按目标平均再跨目标加权；
• RC-T：联合裁剪相邻帧，仅在两帧掩码交集区域（即共同修复区）内计算MMD，避免因帧间错位导致误判；消融实验证明，取消联合裁剪将使RC-T丧失对注入扰动的敏感性。

实测性能：显著超越现有指标

在20人人工排序（Borda计分法聚合）的权威评估中，RC-S取得平均Kendall τ=0.59、Spearman ρ=0.66，大幅领先ReMOVE（0.26/0.29）与CFD（0.16/0.18）；在六项基准中五项排名第一。在RORD-Val数据集上，RC-S对清晰图像的偏好率达100%，而ReMOVE与CFD在模糊干扰下仅达60.06%与49.27%。RC-T对时序扰动响应呈单调下降趋势，而传统TC/TF指标则无此特性。消融显示：DINOv2特征（τ=0.59）优于DINOv3（0.51）与SAM（0.44）；移除滑动窗口损失0.11，替换MMD为余弦相似度损失0.07；RC-S运算速度为CFD的13.7倍。

部署与适用场景

PROVE以Apache 2.0协议开源PyTorch实现，仅需一个CLI入口（run_prove_metrics.py），依赖Python 3.10+、PyTorch 2.6+、Transformers 4.51+及DINOv2-giant权重。单RTX 4090 GPU上RC-S耗时134.6ms/帧，支持初创公司夜间CI门禁；大型编辑库企业受益最大——因无需配对真值。适用领域包括智能手机相册/相机App、短视频编辑、电商图库净化、广告与图库素材生产、影视/VFX后期、房地产影像及地图归档中的隐私脱敏。典型用例涵盖模型横向评测、CI阶段RC-S/RC-T门禁、无参考条件下的推理步数/量化调优、训练数据筛选及奖励模型构建。

适用边界与局限

PROVE不适用于实时端侧评分；当残余阴影或反射超出裁剪评估区域时，指标可能失效。论文明确列出三大失效模式：（1）任务固有病态性导致真值缺失；（2）全参考指标（如PSNR）倾向‘复制粘贴’式伪修复，且对微小阴影几乎无惩罚；（3）现有时序指标对局部扰动不敏感——在DAVIS数据集上注入随机丢弃/替换后，TC/TF指标变化微弱甚至反向。

编者观点

PROVE的发布标志着AI图像编辑评测正从‘像素级拟合’转向‘感知合理性’范式，其无参考、轻量、可集成的设计对中国手机厂商、短视频平台及AIGC工具开发商具有直接落地价值——尤其在缺乏高质量标注数据的工业场景中，有望成为模型迭代与质量管控的新基础设施。