面向连续代理标签对比学习的条件对齐与条件均匀性
机器学习
2021-11-11 v1
摘要
对比学习在自然图像和医学图像上已展现出令人印象深刻的成果，且无需标注数据。然而，医学图像的一个特点是具有可利用来学习表示的元数据（如年龄或性别）。在此，我们表明最近提出的整合多维元数据的对比 y-Aware InfoNCE 损失渐近地优化两个性质：条件对齐与全局均匀性。类似于 [Wang, 2020]，条件对齐意味着相似样本应具有相似特征，但是以元数据为条件的。相反，全局均匀性意味着（归一化的）特征应均匀分布在单位超球面上，与元数据无关。在此，我们提出定义依赖于元数据的条件均匀性，其仅排斥具有不相似元数据的样本。我们表明，直接优化条件对齐与条件均匀性可改善在 CIFAR-100 和脑 MRI 数据集上的表示（就线性评估而言）。
引用
@article{arxiv.2111.05643,
title = {Conditional Alignment and Uniformity for Contrastive Learning with Continuous Proxy Labels},
author = {Benoit Dufumier and Pietro Gori and Julie Victor and Antoine Grigis and Edouard Duchesnay},
journal= {arXiv preprint arXiv:2111.05643},
year = {2021}
}
备注
Accepted to MedNeurIPS 2021 (Oral)