利用对比表示学习分离共性与显著模式
计算机视觉与模式识别
2024-02-20 v1
摘要
对比分析是表示学习的一个子领域，旨在从显著变化因子（仅存在于目标数据集中）中分离出两个数据集（背景，即健康受试者；目标，即患病受试者）之间的共同变化因子。尽管具有重要意义，但当前基于变分自编码器（Variational Auto-Encoders）的模型在学习语义表达丰富的表示方面表现不佳。另一方面，对比表示学习在各种应用（分类、聚类等）中显示出巨大的性能飞跃。在本工作中，我们提议利用对比学习的能力来学习语义表达丰富且非常适合对比分析的表示。我们在 InfoMax 原则的视角下重新 formulat 了该方法，并确定了两个需要最大化的互信息项和一个需要最小化的互信息项。我们将前两项分解为对齐项和均匀性项，这是对比学习中的常见做法。随后，我们提出了一种新颖的互信息最小化策略，以防止共性和显著分布之间的信息泄漏。我们在三个视觉数据集和三个医学数据集上验证了我们的方法（称为 SepCLR），这些数据集是专门为评估对比分析中的模式分离能力而设计的。代码地址：https://github.com/neurospin-projects/2024_rlouiset_sep_clr。
引用
@article{arxiv.2402.11928,
title = {Separating common from salient patterns with Contrastive Representation Learning},
author = {Robin Louiset and Edouard Duchesnay and Antoine Grigis and Pietro Gori},
journal= {arXiv preprint arXiv:2402.11928},
year = {2024}
}
备注
Published at ICLR 2024