基于广义不确定性证据融合的混合多头注意力 weakly监督时序动作局部化
计算机视觉与模式识别
2024-12-30 v1 人工智能
摘要
弱监督时序动作局部化 (WS-TAL) 是针对以视频级标签局部化完整动作实例并对其进行分类的任务。动作-背景歧义性主要由背景噪声引起，这种噪声源于聚合和动作内部变异。现有WS-TAL方法面临这一挑战。本文引入了混合多头注意力 (HMHA) 模块和广义不确定性证据融合 (GUEF) 模块以解决此问题。所提出的HMHA通过过滤冗余信息并调整其特征分布以更好地适应WS-TAL任务，有效增强了RGB和光流特征。此外，所提出的GUEF通过融合片段级证据来细化不确定性测量，从而消除背景噪声的干扰，选取优异的前景特征信息，使模型能够专注于完整的动作实例以实现更好的动作局部化和分类性能。在THUMOS14数据集上的实验结果表明，我们的方法优于当前最先进的方法。我们的代码已在\url{https://github.com/heyuanpengpku/GUEF/tree/main}上提供。
引用
@article{arxiv.2412.19418,
title = {Generalized Uncertainty-Based Evidential Fusion with Hybrid Multi-Head Attention for Weak-Supervised Temporal Action Localization},
author = {Yuanpeng He and Lijian Li and Tianxiang Zhan and Wenpin Jiao and Chi-Man Pun},
journal= {arXiv preprint arXiv:2412.19418},
year = {2024}
}