PROVE：面向视觉媒体的感知移除一致性基准
计算机视觉与模式识别
2026-05-15 v1 人工智能
多媒体
摘要
评估图像和视频中的目标移除任务仍然具有挑战性，因为该任务本质上是一对多的，而现有度量标准经常与人类感知不一致。全参考度量标准奖励复制粘贴行为而非真正的擦除；无参考度量标准存在系统性偏差，例如偏好模糊结果；而全局时间度量标准对编辑区域内的局部伪影不敏感。为了解决这些局限性，我们提出了 RC（Removal Coherence，移除一致性），一对感知对齐的度量标准：RC-S 通过掩码区域与背景区域之间的滑动窗口特征比较来测量空间一致性；RC-T 通过相邻帧间共享修复区域内的分布跟踪来测量时间一致性。为了验证 RC 并支持社区基准测试，我们进一步引入了 PROVE-Bench，这是一个双层真实世界基准，包含 PROVE-M（一个带有运动增强的 80 视频配对数据集）和 PROVE-H（一个无真值的 100 视频挑战性子集）。RC 度量标准和 PROVE-Bench 共同构成了面向视觉媒体的 PROVE（Perceptual RemOVal cohErence，感知移除一致性）评估框架。在多样化的图像和视频基准上的实验表明，与现有评估协议相比，RC 实现了与人类判断更强得多的对齐。RC 度量标准和 PROVE-Bench 的代码已公开发布于：https://github.com/xiaomi-research/prove/。
引用
@article{arxiv.2605.14534,
title = {PROVE: A Perceptual RemOVal cohErence Benchmark for Visual Media},
author = {Fuhao Li and Shaofeng You and Jiagao Hu and Yu Liu and Yuxuan Chen and Zepeng Wang and Fei Wang and Daiguo Zhou and Jian Luan},
journal= {arXiv preprint arXiv:2605.14534},
year = {2026}
}
备注
Project Page: https://xiaomi-research.github.io/prove/