DyFADet：用于时序动作检测的动态特征聚合
计算机视觉与模式识别
2024-07-04 v1
摘要
近期提出的基于神经网络的时序动作检测（TAD）模型本质上受限于从复杂场景中提取判别性表征并建模各种长度的动作实例。受动态神经网络成功经验启发，本文构建了一种可在不同时间戳处同时调整卷积核权重和感受野的动态特征聚合（DFA）模块。基于 DFA，本文提出的动态编码器层在动作时间范围内聚合时序特征，确保提取表征的判别性。此外，DFA 有助于开发 Dynamic TAD 头（DyHead），该头能更好地通过调整参数和学习的感受野来检测来自视频中各类动作实例。通过本文提出的编码器层和 DyHead，构建的新型动态 TAD 模型 DyFADet 在一系列具有挑战性的 TAD 数据集上取得优异性能，包括 HACS-Segment、THUMOS14、ActivityNet-1.3、Epic-Kitchen 100、Ego4D-Moment QueriesV1.0 和 FineAction。代码已发布于 https://github.com/yangle15/DyFADet-pytorch。
引用
@article{arxiv.2407.03197,
title = {DyFADet: Dynamic Feature Aggregation for Temporal Action Detection},
author = {Le Yang and Ziwei Zheng and Yizeng Han and Hao Cheng and Shiji Song and Gao Huang and Fan Li},
journal= {arXiv preprint arXiv:2407.03197},
year = {2024}
}
备注
ECCV 2024