基于高斯过程的概率注意力机制用于深度多示例学习
摘要
多示例学习（MIL）是一种弱监督学习范式，因比全监督方法所需标注工作量更少而日益流行。这对于像医学那样大规模标注数据集构建仍具挑战性的领域尤为有趣。尽管近期深度学习 MIL 方法已取得最优结果，但它们完全是确定性的，不提供预测的不确定性估计。本工作中，我们引入注意力高斯过程（AGP）模型，一种基于高斯过程、用于深度 MIL 的新型概率注意力机制。AGP 提供准确的包级预测以及实例级可解释性，并可端到端训练。此外，其概率特性保证了在小数据集上对抗过拟合的鲁棒性以及预测的不确定性估计。后者在医学应用中尤其重要，因为决策直接影响患者健康。所提模型通过如下实验验证：首先，在基于知名 MNIST 与 CIFAR-10 数据集的两个合成 MIL 实验中展示其行为；随后，在三个不同的真实世界癌症检测实验中评估。AGP 优于包括确定性深度学习在内的现有最优 MIL 方法。即便在少于 100 个标签的小数据集上它也展现出强劲性能，并在外部测试集上比竞争方法泛化更好。此外，我们通过实验表明预测不确定性误预测风险相关，因此是实践中可靠性的良好指标。我们的代码已公开可用。
引用
@article{arxiv.2302.04061,
title = {Probabilistic Attention based on Gaussian Processes for Deep Multiple Instance Learning},
author = {Arne Schmidt and Pablo Morales-Álvarez and Rafael Molina},
journal= {arXiv preprint arXiv:2302.04061},
year = {2023}
}
备注
\c{opyright} 2023 IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media, including reprinting/republishing this material for advertising or promotional purposes, creating new collective works, for resale or redistribution to servers or lists, or reuse of any copyrighted component of this work in other works