基于时序自适应特征学习的局部标注视频片段隐式标签增强
计算机视觉与模式识别
2019-05-27 v1 机器学习
摘要
局部标注视频片段蕴含丰富的时间上下文，可补充稀疏关键帧标注以提供模型训练监督。我们提出一种称为时序自适应特征（TAF）学习的新范式，可利用此类数据学习更优的单帧模型。通过对模型中不同因子施加各异的时间变化率约束，TAF能够利用上下文从非标注帧中学习，从而提升模型精度。TAF推广了“慢特征”学习，我们给出了比先前工作更有力的经验证据，在多种架构设计及两个流行数据集上，针对极具挑战的语义分割任务展示了令人信服的提升。TAF可解释为隐式标签增强方法，但相较现有显式增强技术具有更严谨的建模形式。我们的工作由此连通了利用局部标注视频片段训练单帧模型的两种有前景的方法，并可启发该方向的未来探索。
引用
@article{arxiv.1905.10000,
title = {Implicit Label Augmentation on Partially Annotated Clips via Temporally-Adaptive Features Learning},
author = {Yongxi Lu and Ziyao Tang and Tara Javidi},
journal= {arXiv preprint arXiv:1905.10000},
year = {2019}
}