额外正样本助力医学图像更好的表示学习
计算机视觉与模式识别
2023-06-02 v1
摘要
本文提出了一种为 BYOL（一种最先进的（SOTA）自监督学习框架）识别额外正样本对的新方法，以提升其表示学习能力。与仅依赖同一图像的两个增强视图生成的单一正样本对的传统 BYOL 不同，我们认为具有相同标签的不同图像中的信息可以为目标特征带来更多多样性和变化，从而有益于表示学习。为了在没有任何标签的情况下识别此类样本对，我们研究了 TracIn——一种基于样本且计算高效的影响函数——用于 BYOL 训练。具体而言，TracIn 是一种基于梯度的方法，可揭示监督学习中训练样本对测试样本的影响。我们将其扩展到自监督学习设定，并提出一种高效的批量逐样本梯度计算方法，以估计成对的 TracIn，从而在训练中表示小批量中样本的相似性。对于每张图像，我们从其他图像中选择最相似的样本作为额外正样本，并通过 BYOL 损失将其特征拉近。在两个公开医学数据集（即 ISIC 2019 和 ChestX-ray）上的实验结果表明，所提方法在半监督和迁移学习设定下相较于其他有竞争力的基线均能提升分类性能。
引用
@article{arxiv.2306.00112,
title = {Additional Positive Enables Better Representation Learning for Medical Images},
author = {Dewen Zeng and Yawen Wu and Xinrong Hu and Xiaowei Xu and Jingtong Hu and Yiyu Shi},
journal= {arXiv preprint arXiv:2306.00112},
year = {2023}
}
备注
8 pages