利用互一致性实现快速弱监督动作分割
计算机视觉与模式识别
2021-06-14 v4 机器学习
摘要
动作分割是预测视频每一帧动作的任务。由于获取用于动作分割的视频完整标注代价高昂，仅能从转写文本学习的弱监督方法颇具吸引力。在本文中，我们提出一种基于双分支神经网络的弱监督动作分割端到端新方法。我们网络的两个分支预测两种冗余但不同的动作分割表示，并提出一种新颖的互一致性（MuCon）损失来强制两种冗余表示的一致性。将 MuCon 损失与转写预测损失结合使用，我们提出的方法达到了最先进方法的准确率，同时训练速度快 倍，推理时快 倍。MuCon 损失即使在全监督设定下也被证明有益。
引用
@article{arxiv.1904.03116,
title = {Fast Weakly Supervised Action Segmentation Using Mutual Consistency},
author = {Yaser Souri and Mohsen Fayyaz and Luca Minciullo and Gianpiero Francesca and Juergen Gall},
journal= {arXiv preprint arXiv:1904.03116},
year = {2021}
}
备注
Accepted for publication at TPAMI (IEEE Transactions on Pattern Analysis and Machine Intelligence) in 2021. First two authors contributed equally