基于帧间循环注意力的时序一致视频实例分割

视频实例分割旨在为每一帧预测目标分割掩码，并将多帧间的实例进行关联。近期的端到端视频实例分割方法能够在直接的并行序列解码/预测框架中同时完成目标分割与实例关联。尽管这些方法通常能预测出更高质量的目标分割掩码，但由于未显式建模相邻帧的时间实例一致性，其在困难情形下可能无法关联实例。我们提出了一种具有帧间循环注意力（Inter-Frame Recurrent Attention）的一致端到端视频实例分割框架，以建模相邻帧的时间实例一致性与全局时间上下文。我们大量的实验表明，帧间循环注意力在保持目标分割掩码质量的同时显著提升了时间实例一致性。我们的模型在YouTubeVIS-2019（62.1%）和YouTubeVIS-2021（54.7%）数据集上均取得了最先进的精度。此外，定量与定性结果显示，所提方法能预测出时间一致性更强的实例分割掩码。