动态感知器：面向高效视觉识别
计算机视觉与模式识别
2023-08-15 v2
摘要
早退出已成为提升深度网络推理效率的一种有前景的方法。通过构建带有多个分类器（退出点）的模型，"简单"样本的预测可在较早的退出点生成，从而无需执行更深的层。当前的多退出网络通常在中间层使用线性分类器，迫使低层特征封装高层语义。这种次优设计不可避免地损害了后续退出点的性能。本文提出动态感知器（Dynamic Perceiver，Dyn-Perceiver），通过一种新颖的双分支架构解耦特征提取过程与早分类任务。特征分支用于提取图像特征，而分类分支处理为分类任务分配的潜码。我们建立了双向交叉注意力层以逐步融合两个分支的信息。早退出点仅置于分类分支中，从而消除了低层特征线性可分性的需求。Dyn-Perceiver 构成一个通用且可适应的框架，可基于多种架构构建。在图像分类、动作识别和目标检测上的实验表明，我们的方法显著提升了不同骨干网络的推理效率，在广泛的计算预算范围内优于众多竞争性方法。在 CPU 和 GPU 平台上的评估证实了 Dyn-Perceiver 优越的实用效率。代码见 https://www.github.com/LeapLabTHU/Dynamic_Perceiver。
引用
@article{arxiv.2306.11248,
title = {Dynamic Perceiver for Efficient Visual Recognition},
author = {Yizeng Han and Dongchen Han and Zeyu Liu and Yulin Wang and Xuran Pan and Yifan Pu and Chao Deng and Junlan Feng and Shiji Song and Gao Huang},
journal= {arXiv preprint arXiv:2306.11248},
year = {2023}
}
备注
Accepted at ICCV 2023