将帧差作为运动线索用于视频目标分割的探究
计算机视觉与模式识别
2025-03-13 v1 人工智能
摘要
自动视频目标分割 (Automatic Video Object Segmentation, AVOS) 是指在无需依赖首帧人工提供标注的情况下，自主分割视频序列中目标物体的任务。在 AVOS 中，运动信息的使用至关重要，其中光流是捕捉运动线索的常用方法。然而，光流的计算资源消耗大，使其不适用于实时应用，尤其是在计算资源有限的边缘设备上。在本研究中，我们提出使用帧差作为光流的替代方案来提取运动线索。我们开发了一个扩展的类 U-Net AVOS 模型，该模型以进行分割的帧和帧差作为输入，并输出估计的分割图。我们的实验结果表明，所提出的模型实现了与以光流作为输入的模型相当的性能，特别是在应用于由静止摄像机拍摄的视频时。我们的结果证明了在计算资源有限的情况下，采用帧差作为运动线索的有效性。
引用
@article{arxiv.2503.09132,
title = {Investigation of Frame Differences as Motion Cues for Video Object Segmentation},
author = {Sota Kawamura and Hirotada Honda and Shugo Nakamura and Takashi Sano},
journal= {arXiv preprint arXiv:2503.09132},
year = {2025}
}
备注
8 pages, 3 figures, 2 tables. Accepted to The 9th International Conference on Machine Learning and Soft Computing (ICMLSC 2025)