异质对比学习

随着大数据在多个高影响力应用中的出现，我们常面临复杂异质性的挑战。新收集的数据通常由多种模态组成并带有多类标签，从而表现出多种异质性的共存。尽管最先进技术善于在充足标签信息下建模复杂异质性，但此类标签信息在实际应用中获取成本很高。近来，研究人员因对比学习利用丰富无标签数据所取得的卓越性能而高度关注它。然而，现有对比学习工作无法解决假负对问题，即若某些“负”对有相同标签，它们可能具有相似表示。为克服这些问题，本文提出统一异质学习框架，结合加权无监督对比损失与加权有监督对比损失来建模多种异质性。我们首先提供理论分析，表明原始对比学习损失在存在假负对时易导致次优解，而所提加权损失可基于所学表示的相似性自动调整权重以缓解该问题。真实数据集上的实验结果证明了所提框架建模多种异质性的有效性与高效性。