HR-Pro：基于层次可靠性传播的点监督时序动作定位
计算机视觉与模式识别
2024-01-30 v3
摘要
点监督时序动作定位（PSTAL）是一种新兴的标签高效学习研究方向。然而，现有方法主要在片段级或实例级优化网络，忽视了点标注在两级上的固有可靠性。本文中，我们提出了一种层次可靠性传播（HR-Pro）框架，其由两个可靠性感知阶段组成：片段级判别学习与实例级完整性学习，两阶段均探索点标注中高置信度线索的高效传播。对于片段级学习，我们引入在线更新的记忆库来存储每类的可靠片段原型。随后我们采用可靠性感知注意力块来捕获片段的帧内与帧间依赖，从而得到更具判别性和鲁棒性的片段表示。对于实例级学习，我们提出一种基于点的提案生成方法以连接片段与实例，其产生高置信度提案用于实例级进一步优化。通过多级可靠性感知学习，我们获得了更可靠的置信度分数与更精确的预测提案时间边界。我们的HR-Pro在多个具有挑战性的基准上取得了最先进性能，包括在THUMOS14上令人印象的平均mAP达60.3%。值得注意的是，我们的HR-Pro大幅超越所有先前的点监督方法，甚至优于若干有竞争力的全监督方法。代码将发布于 https://github.com/pipixin321/HR-Pro。
引用
@article{arxiv.2308.12608,
title = {HR-Pro: Point-supervised Temporal Action Localization via Hierarchical Reliability Propagation},
author = {Huaxin Zhang and Xiang Wang and Xiaohao Xu and Zhiwu Qing and Changxin Gao and Nong Sang},
journal= {arXiv preprint arXiv:2308.12608},
year = {2024}
}
备注
Accepted by AAAI24