SMC-NCA：用于半监督时序动作分割的语义引导多级对比
计算机视觉与模式识别
2024-07-22 v3
摘要
半监督时序动作分割旨在对长未剪辑视频进行逐帧分类，其中训练集中仅有一小部分视频具有标签。最近的研究表明，对比学习在使用无标签数据的无监督表示学习中具有潜力。然而，通过无监督对比学习为动作分割学习每一帧的表示仍是一个开放且具有挑战性的问题。在本文中，我们提出了一种具有邻域一致性感知单元的语义引导多级对比方案，以提取用于半监督时序动作分割的强逐帧表示。具体而言，对于表示学习，首先基于动作特定的语义信息和强调动作间关系的时间信息，利用 SMC 以统一且对比的方式探索内部和外部信息变化。然后，负责强制执行以不同帧为中心的邻域之间的空间一致性以缓解过分割问题的 NCA 模块，与 SMC 协同进行半监督学习。我们的 SMC 在三个基准上优于其他最先进的方法，在编辑距离和准确率方面分别提供了高达 17.8% 和 12.6% 的提升。此外，在仅有 5% 标注视频的情况下，NCA 单元带来了显著更好的分割性能。我们还在我们的帕金森病小鼠行为数据集上证明了所提出方法的泛化性和有效性。代码可在 https://github.com/FeixiangZhou/SMC-NCA 获取。
引用
@article{arxiv.2312.12347,
title = {SMC-NCA: Semantic-guided Multi-level Contrast for Semi-supervised Temporal Action Segmentation},
author = {Feixiang Zhou and Zheheng Jiang and Huiyu Zhou and Xuelong Li},
journal= {arXiv preprint arXiv:2312.12347},
year = {2024}
}
备注
Accepted to IEEE Transactions on Multimedia