用于半监督时序动作分割的蒸馏与收集方法
计算机视觉与模式识别
2022-11-04 v2
摘要
近期的时序动作分割方法在训练时需要帧标注才能有效。这些标注获取成本极高且耗时。这限制了其在仅有有限标注数据可用时的性能。相比之下，我们可以通过互联网搜集轻松收集大量领域内无标注视频语料。因此，本文提出一种用于时序动作分割任务的方法，可同时利用来自有标注和无标注视频序列的知识。我们的方法使用多流蒸馏反复精炼并最终结合它们的帧预测。我们的模型还预测动作顺序，随后在估计帧标签时用作时序约束，以弥补无标注视频监督的缺失。最终，我们在两个不同数据集上对提出方法的评估表明，尽管标注有限，其仍能取得与全监督相当的性能。
引用
@article{arxiv.2211.01311,
title = {Distill and Collect for Semi-Supervised Temporal Action Segmentation},
author = {Sovan Biswas and Anthony Rhodes and Ramesh Manuvinakurike and Giuseppe Raffa and Richard Beckwith},
journal= {arXiv preprint arXiv:2211.01311},
year = {2022}
}