通过明智选择学习弱监督视频演员-动作分割模型
计算机视觉与模式识别
2020-03-31 v1
摘要
我们研究弱监督视频演员-动作分割(VAAS),它将通用视频对象分割(VOS)扩展为额外考虑演员的动作标签。VOS 上最成功的方法合成一组伪标注(PA)池,然后迭代地细化它们。然而,它们面临以下挑战:如何从海量 PA 中筛选高质量的标注、如何为弱监督训练设置合适的停止条件,以及如何初始化与 VAAS 相关的 PA。为克服这些挑战,我们提出了一种通用的弱监督框架,带有训练样本明智选择与模型评估准则(WS^2)。WS^2 不是盲目信任质量不一致的 PA,而是采用基于学习的筛选来选择有效的 PA,并采用一种新颖的区域完整性准则作为弱监督训练的停止条件。此外,设计了 3D-Conv GCAM 以适应 VAAS 任务。大量实验表明,WS^2 在弱监督 VOS 和 VAAS 任务上均达到最先进的性能,并与 VAAS 上最佳的全监督方法相当。
引用
@article{arxiv.2003.13141,
title = {Learning a Weakly-Supervised Video Actor-Action Segmentation Model with a Wise Selection},
author = {Jie Chen and Zhiheng Li and Jiebo Luo and Chenliang Xu},
journal= {arXiv preprint arXiv:2003.13141},
year = {2020}
}
备注
11 pages, 8 figures, cvpr-2020 supplementary video: https://youtu.be/CX1hEOV9tlo