中文

从图表到地图集:将潜空间合并为一

机器学习 2023-11-14 v1

摘要

在语义相关数据集与任务上训练的模型,其潜空间内展现出可比的样本间关系。本研究探讨此类潜空间的聚合,以创建涵盖组合信息的统一空间。为此,我们提出相对潜空间聚合(Relative Latent Space Aggregation),一种两步方法:首先利用相对表示使空间可比,随后通过简单平均进行聚合。我们将一个分类问题细致划分为三种设定下的一系列学习任务:共享样本、共享类别或均不共享。随后我们在每个任务上训练模型并聚合所得潜空间。我们将聚合空间与在所有任务上端到端训练的模型所得空间进行比较,显示二者相似。我们进而观察到聚合空间更适于分类,并凭经验证明这源于任务特定嵌入器在表示中留下的独特印记。最后我们在无共享区域存在的场景中测试了我们的框架,表明其仍可用于合并空间,尽管相较朴素合并收益减弱。

关键词

引用

@article{arxiv.2311.06547,
  title  = {From Charts to Atlas: Merging Latent Spaces into One},
  author = {Donato Crisostomi and Irene Cannistraci and Luca Moschella and Pietro Barbiero and Marco Ciccone and Pietro Liò and Emanuele Rodolà},
  journal= {arXiv preprint arXiv:2311.06547},
  year   = {2023}
}

备注

To appear in the NeurReps workshop @ NeurIPS 2023