基于Transformer的高效三维目标检测与动态令牌暂停机制
计算机视觉与模式识别
2023-10-12 v2
摘要
平衡效率与精度是部署深度学习模型的一个长期问题。对于自动驾驶等实时安全关键系统而言，这种权衡尤为重要。本文提出一种有效的方法，通过根据令牌对检测任务的贡献在不同层动态暂停令牌，从而加速基于Transformer的三维目标检测器。尽管暂停令牌是一个不可微分的操作，我们的方法通过利用等价的可微分前向传播，实现了可微分的端到端学习。此外，我们的框架允许通过一种简单的令牌回收机制重用已暂停的令牌来为模型的预测提供信息。与现有方法相比，我们的方法显著改善了效率与精度之间的帕累托前沿。通过暂停令牌并增加模型容量，我们能够在Waymo Open Dataset上不增加模型延迟的情况下提升基线模型的性能。
引用
@article{arxiv.2303.05078,
title = {Efficient Transformer-based 3D Object Detection with Dynamic Token Halting},
author = {Mao Ye and Gregory P. Meyer and Yuning Chai and Qiang Liu},
journal= {arXiv preprint arXiv:2303.05078},
year = {2023}
}