POTLoc：面向伪标签的 Transformer 用于点监督时序动作定位
计算机视觉与模式识别
2024-06-07 v2
摘要
本文解决点监督时序动作检测的挑战，其中训练集中每个动作实例仅标注单帧。当前大多数方法受限于标注点的稀疏性，难以有效表征动作的连续结构或动作实例内固有的时间与语义依赖。因此，这些方法常仅学习最具区分性的动作片段，导致生成不完整的动作提议。本文提出 POTLoc，一种仅利用点级标注的伪标签导向 Transformer（Pseudo-label Oriented Transformer）用于弱监督动作定位。POTLoc 旨在通过自训练策略识别并追踪连续动作结构。基模型首先仅以点级监督生成动作提议。这些提议经精炼与回归以提升估计动作边界的精度，进而产生“伪标签”作为补充监督信号。模型架构集成 Transformer 与时序特征金字塔，以捕捉视频片段依赖并建模不同时长的动作。伪标签提供动作的粗略位置与边界信息，辅助引导 Transformer 增强对动作动态的学习。POTLoc 在 THUMOS'14 与 ActivityNet-v1.2 数据集上优于最先进的点监督方法。
引用
@article{arxiv.2310.13585,
title = {POTLoc: Pseudo-Label Oriented Transformer for Point-Supervised Temporal Action Localization},
author = {Elahe Vahdani and Yingli Tian},
journal= {arXiv preprint arXiv:2310.13585},
year = {2024}
}