用于基于 RGB 的时序动作检测的分解跨模态蒸馏
计算机视觉与模式识别
2023-03-31 v1
摘要
时序动作检测旨在预测视频中动作实例的时间区间和类别。尽管性能可观，现有的双流模型由于依赖计算昂贵的 optical flow（光流）而表现出缓慢的推理速度。在本文中，我们引入一种分解跨模态蒸馏框架，通过迁移运动模态的知识来构建强大的基于 RGB 的检测器。具体地，我们提出分别学习 RGB 和运动表示，而非直接蒸馏，二者进而结合以执行动作定位。双分支设计和非对称训练目标在保持 RGB 信息完整的同时实现了有效的运动知识迁移。此外，我们引入局部注意力融合以更好地利用多模态互补性。其设计旨在保留对动作定位重要的特征的局部可判别性。在基准上的大量实验验证了所提方法在增强基于 RGB 的动作检测器方面的有效性。值得注意的是，我们的框架对主干网络和检测头是不可知的，在不同模型组合中带来了一致的增益。
引用
@article{arxiv.2303.17285,
title = {Decomposed Cross-modal Distillation for RGB-based Temporal Action Detection},
author = {Pilhyeon Lee and Taeoh Kim and Minho Shim and Dongyoon Wee and Hyeran Byun},
journal= {arXiv preprint arXiv:2303.17285},
year = {2023}
}
备注
Accepted by CVPR 2023