保留式学习通过重建多样化上下文改进自监督医学图像模型
计算机视觉与模式识别
2022-04-14 v2
摘要
保留最大信息是设计自监督学习方法的原则之一。为了实现这一目标，对比学习采用了一种隐式方式，即对比图像对。然而，我们认为仅使用对比估计来进行保留并非完全最优。此外，引入显式解决方案以保留更多信息是必要且互补的。从这个角度出发，我们引入了保留式学习（Preservational Learning）来重建多样化的图像上下文，以在学到的表示中保留更多信息。结合对比损失，我们提出了保留式对比表示学习（PCRL）来学习自监督医学表示。PCRL 在预训练-微调协议下提供了极具竞争力的结果，在 5 个分类/分割任务中大幅优于自监督和监督基线。
引用
@article{arxiv.2109.04379,
title = {Preservational Learning Improves Self-supervised Medical Image Models by Reconstructing Diverse Contexts},
author = {Hong-Yu Zhou and Chixiang Lu and Sibei Yang and Xiaoguang Han and Yizhou Yu},
journal= {arXiv preprint arXiv:2109.04379},
year = {2022}
}
备注
Supplementary material is added. Codes are available at https://bit.ly/3rJydb1