基于时间一致性正则化的域自适应视频分割
计算机视觉与模式识别
2021-07-26 v1
摘要
视频语义分割是视频分析与理解的一项重要任务。近期的研究主要集中在通过从完全标注的数据中学习来进行有监督视频分割，但所学模型在应用于不同域的视频时往往会出现明显的性能下降。本文提出 DA-VSN，一种域自适应视频分割网络，通过对目标域视频的连续帧进行时间一致性正则化（TCR）来解决视频中的域差距。DA-VSN 包含两个新颖且互补的设计。第一个是跨域 TCR，通过对抗学习引导目标帧的预测具有与源帧（从标注的源数据中学习）相似的时间一致性。第二个是域内 TCR，引导目标帧的不自信预测具有与目标帧的自信预测相似的时间一致性。大量实验证明了本文提出的域自适应视频分割网络的优越性，其以较大优势持续优于多个基线方法。
引用
@article{arxiv.2107.11004,
title = {Domain Adaptive Video Segmentation via Temporal Consistency Regularization},
author = {Dayan Guan and Jiaxing Huang and Aoran Xiao and Shijian Lu},
journal= {arXiv preprint arXiv:2107.11004},
year = {2021}
}
备注
Accepted to ICCV 2021. Code is available at https://github.com/Dayan-Guan/DA-VSN