用于点级弱监督时序动作定位的子动作原型学习
计算机视觉与模式识别
2023-09-19 v1
摘要
点级弱监督时序动作定位（PWTAL）旨在仅利用每个动作实例的单个时间戳标注来定位动作。现有方法倾向于挖掘密集伪标签以缓解标注稀疏性，但忽略了潜在的子动作时间结构，导致性能不佳。为解决该问题，我们提出一种新颖的子动作原型学习框架（SPL-Loc），其包含子动作原型聚类（SPC）与有序原型对齐（OPA）。SPC自适应提取具有代表性的子动作原型，能够感知动作实例的时间尺度与空间内容变化。OPA通过施加时间对齐损失，选择相关原型为伪标签生成提供完整性线索。因此，伪标签由对齐结果导出以改进动作边界预测。在三个流行基准上的大量实验表明，所提SPL-Loc显著优于现有SOTA PWTAL方法。
引用
@article{arxiv.2309.09060,
title = {Sub-action Prototype Learning for Point-level Weakly-supervised Temporal Action Localization},
author = {Yueyang Li and Yonghong Hou and Wanqing Li},
journal= {arXiv preprint arXiv:2309.09060},
year = {2023}
}