基于玻尔兹曼注意力采样的小目标图像分析
计算机视觉与模式识别
2025-03-28 v2
摘要
检测和分割小目标（如肺结节和肿瘤病灶）仍然是图像分析中的关键挑战。这些目标通常占据图像不到0.1%的面积，使得传统的Transformer架构效率低下，并且由于在无关区域进行冗余的注意力计算而容易出现性能下降。现有的稀疏注意力机制依赖于刚性的层次结构，这种结构不适合检测小的、可变的和不确定的目标位置。在本文中，我们提出了BoltzFormer，一种新型的基于Transformer的架构，通过动态稀疏注意力来解决这些挑战。BoltzFormer通过使用具有退火计划的玻尔兹曼分布来建模不确定性，从而识别并聚焦于相关区域。最初，较高的温度允许在目标位置不确定性最大的早期层中进行更广泛的区域采样。随着温度在后续层中降低，注意力变得更加集中，从而提高了效率和准确性。BoltzFormer通过模块化的玻尔兹曼注意力采样机制无缝集成到现有的Transformer架构中。在基准数据集上的全面评估表明，BoltzFormer显著提高了小目标的分割性能，同时将注意力计算量相比之前的最先进方法减少了整整一个数量级。
引用
@article{arxiv.2503.02841,
title = {Boltzmann Attention Sampling for Image Analysis with Small Objects},
author = {Theodore Zhao and Sid Kiblawi and Naoto Usuyama and Ho Hin Lee and Sam Preston and Hoifung Poon and Mu Wei},
journal= {arXiv preprint arXiv:2503.02841},
year = {2025}
}