用于时序动作检测的预测反馈 DETR
计算机视觉与模式识别
2024-12-20 v3
摘要
时序动作检测（TAD）对于真实世界的视频应用而言既基础又具挑战性。利用 Transformer 的独特优势，多种基于 DETR 的方法已被应用于 TAD。然而，近期研究发现，自注意力中的注意力坍塌会导致 DETR 在 TAD 中的性能退化。在先前研究的基础上，本文重新探讨了基于 DETR 的 TAD 方法中交叉注意力内的注意力坍塌问题。此外，我们的发现揭示，交叉注意力表现出与预测不同的模式，表明存在捷径现象。为解决此问题，我们提出了一个新框架，预测反馈 DETR（Pred-DETR），它利用预测来恢复坍塌，并使交叉注意力和自注意力与预测对齐。具体而言，我们利用预测关系的指导设计了新颖的预测反馈目标。因此，Pred-DETR 显著缓解了坍塌现象，并在包括 THUMOS14、ActivityNet-v1.3、HACS 和 FineAction 在内的多个具有挑战性的基准测试中，在基于 DETR 的方法里取得了 SOTA 性能。
关键词
引用
@article{arxiv.2408.16729,
title = {Prediction-Feedback DETR for Temporal Action Detection},
author = {Jihwan Kim and Miso Lee and Cheol-Ho Cho and Jihyun Lee and Jae-Pil Heo},
journal= {arXiv preprint arXiv:2408.16729},
year = {2024}
}
备注
Accepted to AAAI 2025