任意时刻视频帧插值
计算机视觉与模式识别
2026-03-04 v3
摘要
视频帧插值（VFI）通过给定的起始帧和结束帧生成中间帧，已成为视频生成应用中的基础功能。然而，现有的生成式 VFI 方法受限于只能合成固定数量的中间帧，缺乏灵活调节生成帧率或总序列时长的能力。本文提出了 ArbInterp，一种新的生成式 VFI 框架，支持任意时间戳和任意长度的插值。具体而言，为支持任意时间戳的插值，我们提出了时间感知旋转位置嵌入（Timestamp-aware Rotary Position Embedding, TaRoPE），该方法调制时间旋转位置嵌入中的位置，以将生成帧对齐到目标归一化时间戳。该设计使我们能够对帧时间戳实现细粒度控制，解决了固定位置范式在先前工作中固有的僵性问题。对于任意长度的插值，我们将长序列生成分解为分段帧合成。我们进一步设计了一种新的外观-运动解耦条件策略：它利用前导段端点来确保外观一致性，利用时间语义来维持运动连贯性，从而确保跨段的时空转换无缝衔接。实验方面，我们构建了涵盖 2 倍至 32 倍多尺度帧插值的综合基准，以评估不同插值因子下的通用性。结果表明，ArbInterp 在所有情景下均优于先前方法，具有更高的保真度和更无缝的时空连续性。项目网址: https://mcg-nju.github.io/ArbInterp-Web/。
引用
@article{arxiv.2510.00578,
title = {Arbitrary Generative Video Interpolation},
author = {Guozhen Zhang and Haiguang Wang and Chunyu Wang and Yuan Zhou and Qinglin Lu and Limin Wang},
journal= {arXiv preprint arXiv:2510.00578},
year = {2026}
}
备注
ICLR 2026