论语言编码器之间的仿射同伦

预训练语言编码器——将文本表示为向量的函数——是许多NLP任务不可或缺的组成部分。我们探讨语言编码器分析中的一个自然问题：两个编码器相似意味着什么？我们认为，一个忠实的相似性度量需要是内在的，即与任务无关，但仍能提供外在相似性——在下游任务上的性能——的信息。通常，如果两个编码器是同伦的，即它们可以通过某种变换对齐，则认为它们相似。基于此精神，我们研究了语言编码器的仿射对齐性质及其对外在相似性的影响。我们发现，虽然仿射对齐本质上是一种非对称的相似性概念，但它仍然能提供外在相似性的信息。我们在自然语言表示数据集上证实了这一点。除了提供外在相似性的有用界限外，仿射内在相似性还允许我们通过定义预训练编码器空间上的序来开始揭示其结构。