基于语义对齐的潜空间迁移

尽管不同的神经模型在暴露于语义相关数据时常表现出相似的潜空间，但这种内在相似性并非总是立即可辨。为了更好地理解这一现象，我们的工作展示了如何使用比先前认为更简单的变换，在这些神经模块学习到的表示之间进行跨不同预训练网络的迁移。该方法的一个优势是能够使用具有闭式解的标准且易于理解的代数过程来估计这些变换。我们的方法直接估计两个给定潜空间之间的变换，从而能够在无需额外训练的情况下有效地拼接编码器与解码器。我们在不同实验设定中广泛验证了该迁移程序的适应性：跨多种训练、域、架构（如 ResNet、CNN、ViT），以及多个下游任务（分类、重建）。值得注意的是，我们展示了如何实现文本编码器与视觉解码器的零样本拼接，或反之，在这种多模态设定下产生令人惊讶的良好分类性能。