用于半监督时间动作分割的迭代对比-分类方法
计算机视觉与模式识别
2021-12-09 v2
摘要
时间动作分割对（长）视频序列中每一帧的动作进行分类。由于逐帧标注成本高昂，我们提出了首个用于时间动作分割的半监督方法。我们的方法依赖于无监督表示学习，而这对于时间动作分割提出了独特挑战。未裁剪视频中的动作长度不一，且具有未知标签与起止时间。跨视频的动作顺序也可能变化。我们提出了一种通过聚类输入特征（加入时间邻近条件与多分辨率相似性）从时序卷积网络 (TCNs) 学习逐帧表示的新方法。通过将表示学习与常规监督学习相融合，我们开发了“迭代对比-分类 (ICC)”半监督学习方案。随着标注数据增多，ICC 性能逐步提升；ICC 半监督学习在 40% 标注视频下表现与全监督相当。我们的 ICC 在 100% 标注视频下于 Breakfast、50Salads 和 GTEA 上分别将 MoF 提升了 {+1.8, +5.6, +2.5}%。
引用
@article{arxiv.2112.01402,
title = {Iterative Contrast-Classify For Semi-supervised Temporal Action Segmentation},
author = {Dipika Singhania and Rahul Rahaman and Angela Yao},
journal= {arXiv preprint arXiv:2112.01402},
year = {2021}
}
备注
AAAI-2022