用于医学图像分割的带混合轴向注意力与参数高效Transformer
高能物理 - 唯象学
2022-11-18 v1
摘要
得益于灵活的注意力机制，Transformer在医学图像分析中取得了显著成功。然而，由于缺乏对视觉结构信息建模的内在归纳偏置，它们通常需要大规模预训练方案，限制了其在昂贵的小规模医学数据上的临床应用。为此，我们提出一种参数高效的Transformer，通过位置信息探索内在归纳偏置以用于医学图像分割。具体而言，我们实证研究了不同位置编码策略如何影响感兴趣区域（ROI）的预测质量，并观察到ROI对位置编码策略敏感。受此启发，我们提出一种新颖的混合轴向注意力（HAA），一种位置自注意力形式，可配备空间像素级信息与相对位置信息作为归纳偏置。此外，我们引入门控机制以减轻训练方案负担，从而在小规模数据集上实现高效的特征选择。在BraTS与Covid19数据集上的实验证明了我们的方法相对于基线及先前工作的优越性。我们进行了具可解释性的内部流程可视化以更好地验证我们的成功。
引用
@article{arxiv.2211.09532,
title = {BSM scenarios with missing energy at future lepton colliders},
author = {Tania Robens},
journal= {arXiv preprint arXiv:2211.09532},
year = {2022}
}
备注
6 pages, 5 figures; contribution to the proceedings of the 41st International Conference on High Energy physics - ICHEP2022