面向分层区域 Transformer 的多示例学习
计算机视觉与模式识别
2023-11-21 v2 人工智能
机器学习
摘要
利用深度多示例学习模型对十亿像素组织病理学图像进行分类已成为数字病理学与精准医学中的关键任务。本工作中，我们提出一种基于 Transformer 的多示例学习方法，以受 Vision Transformer 启发的区域性自注意力机制取代传统的学习注意力机制。我们提出一种融合区域块信息以得出切片级预测的方法，并展示这种区域聚合如何堆叠以分层处理不同距离层次上的特征。为提升预测精度，尤其针对具有微小局部形态学特征的数据集，我们引入一种在推理过程中将图像处理聚焦于高注意力区域的方法。我们的方法能够在两个组织病理学数据集上显著优于基线，并指向了值得进一步研究的有前景方向。
引用
@article{arxiv.2308.12634,
title = {Towards Hierarchical Regional Transformer-based Multiple Instance Learning},
author = {Josef Cersovsky and Sadegh Mohammadi and Dagmar Kainmueller and Johannes Hoehne},
journal= {arXiv preprint arXiv:2308.12634},
year = {2023}
}
备注
8 pages, LaTeX; header update after published, fixed typos