基于动作转换感知边界对齐的高效有效弱监督动作分割
计算机视觉与模式识别
2024-03-29 v1
摘要
弱监督动作分割是学习将长视频划分为若干动作片段的任务，其中训练视频仅附带转录文本（动作的有序列表）。现有大多数方法需要通过对所有帧与转录文本之间的串行对齐来推断用于训练的伪分割，这在训练过程中耗时且难以并行化。在本工作中，我们旨在摆脱这种与大量冗余帧的低效对齐，转而直接定位少量动作转换点以生成伪分割，其中转换点指从转录文本中一个动作片段到其下一个相邻片段的变化。由于真实的转换点淹没在由片段内视觉变化引起的噪声边界中，我们提出了一种新颖的动作转换感知边界对齐（ATBA）框架，以高效且有效地滤除噪声边界并检测转换点。此外，为了在伪分割中不可避免存在噪声的情况下促进语义学习，我们还引入了视频级损失以利用可信的视频级监督。大量实验表明了我们的方法在性能和训练速度上的有效性。
引用
@article{arxiv.2403.19225,
title = {Efficient and Effective Weakly-Supervised Action Segmentation via Action-Transition-Aware Boundary Alignment},
author = {Angchi Xu and Wei-Shi Zheng},
journal= {arXiv preprint arXiv:2403.19225},
year = {2024}
}
备注
Accepted to CVPR 2024