物理感知视频实例移除基准
计算机视觉与模式识别
2026-04-08 v1
摘要
视频实例移除（VIR）要求在保持背景完整性和物理一致性（如高光反射和照明交互）的同时删除目标对象。尽管文本引导编辑取得了进展，当前的基准主要评估视觉可信度，常常忽略由对象移除触发的物理因果关系，如残留阴影。我们引入物理感知视频实例移除（PVIR）基准，包含95个高质量视频，标注有实例精确掩码和移除提示。PVIR分为Simple和Hard两个子集，后者显式针对复杂物理相互作用。我们评估了四个代表性方法：PISCO-Removal、UniVideo、DiffuEraser和CoCoCo，使用解耦的人类评估协议，跨三个维度隔离语义、视觉和空间失效：指令遵循、渲染质量和编辑排他性。我们的结果表明，PISCO-Removal和UniVideo实现了最先进的性能，而DiffuEraser经常引入模糊性损失，CoCoCo在指令遵循方面表现严重不足。在Hard子集上的持续性能下降凸显了恢复复杂物理副作用的挑战。
引用
@article{arxiv.2604.05898,
title = {Physics-Aware Video Instance Removal Benchmark},
author = {Zirui Li and Xinghao Chen and Lingyu Jiang and Dengzhe Hou and Fangzhou Lin and Kazunori Yamada and Xiangbo Gao and Zhengzhong Tu},
journal= {arXiv preprint arXiv:2604.05898},
year = {2026}
}