注意力去稀疏化至关重要：在数字病理表征学习中引入多样性
计算机视觉与模式识别
2023-09-13 v1
摘要
我们提出 DiRL，一种用于组织病理学成像的多样性引入表征学习（Diversity-inducing Representation Learning）技术。自监督学习（SSL）技术，如对比和非对比方法，已被证明能在有限病理医生监督下学习到数字化组织样本的丰富且有效的表征。我们对原始 SSL 预训练模型注意力分布的分析揭示了一个深刻观察：注意力的稀疏性，即模型倾向于将大部分注意力定位到图像中的某些显著模式。尽管在自然图像中注意力稀疏可能是有益的（因为这些显著模式本身就是感兴趣对象），但在数字病理中这可能是次优的；这是因为，与自然图像不同，数字病理切片并非以对象为中心，而是各种空间混合生物组件的复杂表型。在这些复杂图像中注意力的不充分多样化可能导致关键信息丢失。为此，我们利用细胞分割密集提取多个组织病理特异性表征，然后提出一种用于 SSL 的先验引导密集 pretext 任务，旨在匹配视图间的多个对应表征。通过此方法，模型学习更紧密且均匀地关注各组件，从而在注意力中引入充分多样化以捕获上下文丰富的表征。通过在跨癌症类型的多个任务上的定量和定性分析，我们证明了方法的有效性，并观察到注意力分布更为全局化。
引用
@article{arxiv.2309.06439,
title = {Attention De-sparsification Matters: Inducing Diversity in Digital Pathology Representation Learning},
author = {Saarthak Kapse and Srijan Das and Jingwei Zhang and Rajarsi R. Gupta and Joel Saltz and Dimitris Samaras and Prateek Prasanna},
journal= {arXiv preprint arXiv:2309.06439},
year = {2023}
}