ContIG：面向医学影像与遗传学的自监督多模态对比学习
计算机视觉与模式识别
2021-11-29 v1 人工智能
机器学习
摘要
高昂的标注成本是将现代深度学习架构应用于临床相关医学用例的重大瓶颈，这证实了从无标签数据中学习的新算法的需求。在本工作中，我们提出了 ContIG，一种能够从大规模无标签医学影像和遗传数据集中进行学习的自监督方法。我们的方法使用对比损失在特征空间中对齐影像与多种遗传模态。我们将方法设计为端到端地在同一模型中整合每个个体的多种模态，即使不同个体可用的模态存在差异。我们的流程在所有评估的下游基准任务上均优于最先进（SOTA）的自监督方法。我们还适配了基于梯度的可解释性算法，以更好地理解影像与遗传模态之间学习到的跨模态关联。最后，我们对模型学习到的特征进行了全基因组关联研究，揭示了影像与遗传数据之间有趣的关系。
引用
@article{arxiv.2111.13424,
title = {ContIG: Self-supervised Multimodal Contrastive Learning for Medical Imaging with Genetics},
author = {Aiham Taleb and Matthias Kirchler and Remo Monti and Christoph Lippert},
journal= {arXiv preprint arXiv:2111.13424},
year = {2021}
}