FDDet：时序动作检测中基于频率解耦的边界细化方法
计算机视觉与模式识别
2025-04-02 v1
摘要
时序动作检测旨在在未剪辑的视频中定位和分类动作。虽然近期研究聚焦于为预训练表示设计强大的特征处理器，但常常忽视这些特征内部固有的噪声和冗余性。大规模预训练视频编码器倾向于引入背景杂乱和无关语义，导致上下文混淆和边界不精确。为此，我们提出一种频率感知解耦网络，通过过滤来自预训练模型捕获的噪声语义来提高动作辨识度。具体而言，我们引入一种自适应时序解耦方案，在抑制无关信息的同时保留细粒度原子动作细节，生成更具任务相关性的表示。此外，我们通过捕获时序变化来增强帧间建模，以更好地区分动作与背景冗余。进一步，我们提出一种长短期类别感知关系网络，联合建模局部过渡和长程依赖关系，提高局部化精度。将细化后的原子特征和频率引导的动态输入到标准检测头以产生准确的动作预测。大量实验表明，在 THUMOS14、HACS 和 ActivityNet-1.3 数据集上，我们使用 InternVideo2-6B 特征提取的该方法在时序动作检测基准任务上实现了最先进的性能。
引用
@article{arxiv.2504.00647,
title = {FDDet: Frequency-Decoupling for Boundary Refinement in Temporal Action Detection},
author = {Xinnan Zhu and Yicheng Zhu and Tixin Chen and Wentao Wu and Yuanjie Dang},
journal= {arXiv preprint arXiv:2504.00647},
year = {2025}
}