PAUMER: 用于语义分割的补丁暂停 Transformer
计算机视觉与模式识别
2023-11-02 v1
摘要
我们研究了通过对图像的不同部分使用不同数量的计算来提高分割 Transformer 效率的问题。我们的方法 PAUMER 通过在最终解码器之前暂停那些被认为不需要更多计算的补丁的计算来实现这一点。我们使用由中间激活计算出的预测的熵作为暂停准则,并发现这与图像的语义吻合良好。我们的方法有一个独特的优势:用所提策略训练的单个网络在推理时可通过调节其暂停参数轻松适应各种运行时间要求。在两个标准分割数据集 Cityscapes 和 ADE20K 上,我们表明我们的方法以约 更高的吞吐量运行,而 mIoU 分别下降约 和 。
引用
@article{arxiv.2311.00586,
title = {PAUMER: Patch Pausing Transformer for Semantic Segmentation},
author = {Evann Courdier and Prabhu Teja Sivaprasad and François Fleuret},
journal= {arXiv preprint arXiv:2311.00586},
year = {2023}
}