超越刚性：非刚性视频编辑基准测试
计算机视觉与模式识别
2026-01-27 v1
摘要
尽管文本驱动的视频编辑取得了显著进展，但生成连贯的非刚性形变仍然是一个关键挑战，常伴有物理失真和时间闪烁。为了弥合这一差距，我们提出了 NRVBench，这是第一个专门且全面的用于评估非刚性视频编辑的基准。首先，我们构建了一个高质量数据集，包含来自六个基于物理类别的 180 个非刚性运动视频，配备了 2,340 条细粒度任务指令和 360 道多项选择题。其次，我们提出了 NRVE-Acc，一种基于视觉语言模型的新型评估指标，能够严格评估物理合规性、时间一致性和指令对齐度，克服了通用指标在捕捉复杂动态方面的局限性。第三，我们引入了一种无需训练的基线方法 VM-Edit，该方法利用双区域去噪机制实现结构感知控制，平衡了结构保持与动态形变。大量实验表明，尽管当前方法在保持物理合理性方面存在不足，但我们的方法在标准指标和提出的指标上均取得了优异的性能。我们相信该基准可以作为推进物理感知视频编辑的标准测试平台。
引用
@article{arxiv.2601.18340,
title = {Beyond Rigid: Benchmarking Non-Rigid Video Editing},
author = {Bingzheng Qu and Kehai Chen and Xuefeng Bai and Jun Yu and Min Zhang},
journal= {arXiv preprint arXiv:2601.18340},
year = {2026}
}