具有距离感知自注意力的深度多示例学习
计算机视觉与模式识别
2023-05-23 v2 机器学习
摘要
传统监督学习任务要求训练集中每个实例都有标签，但在许多现实应用中，标签仅对实例的集合（包）可用。这一被称为多示例学习（MIL）的问题设定在医学领域尤为相关，其中高分辨率图像被切分为较小图块，但标签适用于整张图像。近期MIL模型能够通过采用自注意力捕捉图块间的对应关系，从而基于包中所有其他图块对不同图块赋予不同权重。然而，这些方法仍不考虑更大图像内图块间的相对空间关系，而这在计算病理学中尤为重要。为此，我们提出一种新颖的具有距离感知自注意力（DAS-MIL）的MIL模型，在建模图块间交互时显式考虑相对空间信息。与现有离散的自注意力相对位置表示不同，我们的方法将连续的距离依赖项引入注意力权重的计算，并且是首个在MIL背景下应用相对位置表示的工作。我们在一个需要考量相对空间信息的自定义基于MNIST的MIL数据集以及公开可用的癌症转移检测数据集CAMELYON16上评估了模型，在后者上取得了0.91的测试AUROC分数。在两个数据集上，我们的模型均优于采用绝对位置编码的现有MIL方法，以及应用于MIL的现有相对位置表示方案。我们的代码见 https://anonymous.4open.science/r/das-mil。
引用
@article{arxiv.2305.10552,
title = {Deep Multiple Instance Learning with Distance-Aware Self-Attention},
author = {Georg Wölflein and Lucie Charlotte Magister and Pietro Liò and David J. Harrison and Ognjen Arandjelović},
journal= {arXiv preprint arXiv:2305.10552},
year = {2023}
}