基于时间戳监督的鲁棒动作分割
计算机视觉与模式识别
2022-10-14 v1
摘要
动作分割是为未裁剪视频的每一帧预测动作标签的任务。由于以全监督方式获取标注来训练动作分割方法代价高昂,人们提出了多种利用不同形式弱监督训练动作分割模型的方法,例如动作转录、动作集合,或近年来的时间戳。时间戳监督是一种有前景的弱监督类型,因为对每个动作获取一个时间戳比标注所有帧成本更低,但比其它弱监督形式提供更多信息。然而,先前工作假设每个动作实例都用一个时间戳标注,这是一个限制性假设,因为它假定标注者不会遗漏任何动作。在本工作中,我们放宽这一限制性假设,并将某些动作实例的标注缺失考虑在内。我们表明,相较于其它方法和多种基线,我们的方法对标注缺失更为鲁棒。
引用
@article{arxiv.2210.06501,
title = {Robust Action Segmentation from Timestamp Supervision},
author = {Yaser Souri and Yazan Abu Farha and Emad Bahrami and Gianpiero Francesca and Juergen Gall},
journal= {arXiv preprint arXiv:2210.06501},
year = {2022}
}
备注
BMVC 2022