利用动作亲和性与连续性进行半监督时间动作分割
计算机视觉与模式识别
2022-07-22 v2 人工智能
摘要
我们提出一种用于时间动作分割任务的半监督学习方法。该任务的目标是在长而未裁剪的流程视频中按时间检测并分割动作，其中仅一小部分视频被密集标注，而大量视频未标注。为此，我们针对未标注数据提出两个新颖损失函数：动作亲和损失与动作连续性损失。动作亲和损失通过施加由标注集诱导的动作先验来引导未标注样本学习。动作连续性损失强化动作的时间连续性，同时也提供逐帧分类监督。此外，我们提出自适应边界平滑（ABS）方法以构建更粗的动作边界，实现更鲁棒可靠的学习。所提损失函数与 ABS 在三个基准上进行了评估。结果表明，它们在仅少量（5% 和 10%）标注数据下显著提升了动作分割性能，并在 50% 标注数据下取得与全监督相当的结果。此外，ABS 在集成到全监督学习中时亦成功提升了性能。
引用
@article{arxiv.2207.08653,
title = {Leveraging Action Affinity and Continuity for Semi-supervised Temporal Action Segmentation},
author = {Guodong Ding and Angela Yao},
journal= {arXiv preprint arXiv:2207.08653},
year = {2022}
}
备注
16 pages, 5 figures