GraVIS:融合独立来源分组增强视图用于皮肤镜分析
计算机视觉与模式识别
2023-01-12 v1
摘要
自监督表示学习在医学图像分析中极为成功,因为它无需人工标注即可为下游任务提供可迁移的表示。近期自监督学习方法由噪声对比估计(NCE,也称对比学习)主导,其旨在每个训练步中将一个同质图像对与大量异质图像对进行对比,以学习不变视觉表示。尽管如此,基于NCE的方法仍受一个主要问题困扰:一个同质对不足以提取鲁棒且不变的语义信息。受原型三元组损失启发,我们提出GraVIS,专为从皮肤镜图像学习自监督特征而优化,以对同质皮肤镜图像分组同时分离异质图像。此外,引入并融合了硬度感知注意力,以处理具有相似外观的同质图像视图而非那些不相似的同质视图的重要性。GraVIS在病变分割与疾病分类任务中显著优于其迁移学习与自监督学习对应方法,在极有限监督下有时高出5个百分点。更重要的是,当配备GraVIS提供的预训练权重时,单一模型能在著名的ISIC 2017挑战赛中取得比严重依赖集成策略的获胜者更好的结果。
引用
@article{arxiv.2301.04410,
title = {GraVIS: Grouping Augmented Views from Independent Sources for Dermatology Analysis},
author = {Hong-Yu Zhou and Chixiang Lu and Liansheng Wang and Yizhou Yu},
journal= {arXiv preprint arXiv:2301.04410},
year = {2023}
}
备注
Accepted by IEEE Transactions on Medical Imaging. The code is available at https://bit.ly/3xiFyjx