利用数据层次结构作为对比学习的新模态
计算机视觉与模式识别
2024-01-09 v1 人工智能
摘要
本文研究了层次结构化数据如何帮助神经网络学习大教堂的概念表示。底层的WikiScenes数据集提供了大教堂组件的空间组织层次结构。我们提出了一种新颖的层次对比训练方法，利用三元组边际损失在编码器的潜在空间中表示数据的空间层次结构。因此，所提出的方法探究了数据集结构是否为自监督学习提供了有价值的信息。我们应用t-SNE可视化生成的潜在空间，并通过使用常见的下游分类任务与其他特定数据集的对比学习方法进行比较来评估所提出的方法。所提出的方法优于可比的弱监督方法和基线方法。我们的发现表明，数据集结构是弱监督学习的一种有价值的模态。
引用
@article{arxiv.2401.03312,
title = {Exploiting Data Hierarchy as a New Modality for Contrastive Learning},
author = {Arjun Bhalla and Daniel Levenson and Jan Bernhard and Anton Abilov},
journal= {arXiv preprint arXiv:2401.03312},
year = {2024}
}