焦点注意力网络：优化注意力用于生物医学图像分割
图像与视频处理
2021-11-02 v1 人工智能
计算机视觉与模式识别
最优化与控制
摘要
近年来，将注意力纳入深度学习架构以用于生物医学图像分割的兴趣日益增长。注意力机制的模块化设计使其能灵活集成到卷积神经网络架构（如 U-Net）中。注意力是否适用、采用何种注意力类型、以及在网络中何处嵌入注意力模块，均为当前被忽视的重要考量。本文研究 Focal 参数在调节注意力中的作用，揭示了损失函数与网络中注意力的联系。通过引入 Focal 距离惩罚项，我们将 Unified Focal 损失框架扩展以纳入基于边界的损失。此外，我们开发了一种简单且可解释的、数据集与模型特定的启发式方法，将 Focal 参数集成到 Squeeze-and-Excitation 块与 Attention Gate 中，在三个经过充分验证的生物医学成像数据集上以更少的注意力模块数量实现最优性能，表明审慎使用注意力模块可带来更优性能与效率。
引用
@article{arxiv.2111.00534,
title = {Focal Attention Networks: optimising attention for biomedical image segmentation},
author = {Michael Yeung and Leonardo Rundo and Evis Sala and Carola-Bibiane Schönlieb and Guang Yang},
journal= {arXiv preprint arXiv:2111.00534},
year = {2021}
}