注意力机制真正需要的是正常引导
机器学习
2026-05-27 v1
摘要
我们考虑仅为整个体积分配一个二进制标签，而非为每个 2D 切片分配标签，以用于 3D 医学图像的分类器训练。在此弱监督设置下，我们能否学习准确的切片级别预测分类器？基于注意力的多实例学习（MIL）可以为每个切片产生注意力得分。然而，最近的工作表明，一个简单以中心为焦点、忽略图像内容的基线方法在 3D 大脑扫描的切片级别分类方面能优于注意力和变换器-based MIL。我们展示了这一基线方法也在胸腹部 CT 扫描的切片级别分类中优于现有的 MIL 方法。受此基线启发，我们提出了 Normal Guidance，这是一种正则化技术，鼓励所学习的注意力分布遵循钟形曲线。在总计超过 400 万个 2D 切片的三个医学影像数据集上，我们表明 Normal Guidance 使基于注意力和变换器的 MIL 方法在切片级别定位方面显著优于最新的方法，同时在整体扫描分类方面保持竞争力。
引用
@article{arxiv.2605.27306,
title = {Normal Guidance is what Attention Needs},
author = {Ethan Harvey and Dennis Johan Loevlie and Michael C. Hughes},
journal= {arXiv preprint arXiv:2605.27306},
year = {2026}
}