从非配对数据中学习共享表示
计算机视觉与模式识别
2025-10-14 v2 机器学习
机器学习
摘要
学习共享表示是多模态表示学习的一个主要领域。当前实现共享嵌入空间的方法严重依赖于来自每种模态的配对样本，这些样本比非配对样本更难获取。在本研究中，我们证明了几乎可以完全从非配对数据中学习共享表示。我们的论点基于独立从每个单模态表示构建的随机游走矩阵的谱嵌入。计算机视觉和自然语言处理领域的实证结果支持了其潜力，揭示了非配对数据在捕获有意义的跨模态关系方面的有效性，展示了在检索任务、生成、算术、零样本和跨域分类方面的高能力。据我们所知，这项工作是首次证明几乎完全从非配对样本中获得这些能力的工作，产生了一种可以被视为通用的跨模态嵌入，即独立于数据的特定模态。我们的项目页面：https://shaham-lab.github.io/SUE_page。
引用
@article{arxiv.2505.21524,
title = {Learning Shared Representations from Unpaired Data},
author = {Amitai Yacobi and Nir Ben-Ari and Ronen Talmon and Uri Shaham},
journal= {arXiv preprint arXiv:2505.21524},
year = {2025}
}
备注
Accepted to NeurIPS 2025