DiGIT：用于时序动作检测变换器的多稀疏门编码器和中心-相邻区域集成解码器
计算机视觉与模式识别
2025-05-12 v1
摘要
本文考察了查询基检测器在时序动作检测（TAD）中存在的关键局限性，这种局限性源于其直接采用原本为目标检测设计的架构。尽管现有模型有效，但它们难以充分解决 TAD 的独特挑战，如多尺度特征的冗余以及捕获足够时序上下文的能力有限。为此，我们提出了一种用于时序动作检测变换器的多稀疏门编码器和中心-相邻区域集成解码器（DiGIT）。我们的方法用我们的多稀疏门编码器取代由多尺度可变形注意力和前馈网络组成的现有编码器。我们提议的编码器在保持捕获细粒度和长程时序信息的能力的同时，减少了由多层特征引起的冗余信息。此外，我们引入中心-相邻区域集成解码器，利用更全面的采样策略进行可变形交叉注意力，以捕获关键信息。广泛的实验表明，DiGIT 在 THUMOS14、ActivityNet v1.3 和 HACS-Segment 上实现了最先进的性能。代码已公开：https://github.com/Dotori-HJ/DiGIT
引用
@article{arxiv.2505.05711,
title = {DiGIT: Multi-Dilated Gated Encoder and Central-Adjacent Region Integrated Decoder for Temporal Action Detection Transformer},
author = {Ho-Joong Kim and Yearang Lee and Jung-Ho Hong and Seong-Whan Lee},
journal= {arXiv preprint arXiv:2505.05711},
year = {2025}
}
备注
CVPR 2025