收缩最长边：利用单纯形几何改善潜在空间各向同性

尽管基于Transformer的模型一直主导着深度学习领域，但对其嵌入空间的各种研究表明，它们遭受“表示退化问题”：嵌入倾向于分布在一个狭窄的锥体中，使得潜在空间高度各向异性。增加各向同性已被证明可以改善静态和上下文语言模型在下游任务中的性能。然而，大多数方法要么增加推理开销，要么需要大量数据进行模型重新参数化。我们提出了一种基于单纯形几何的新型正则化技术，以改善潜在表示的各向同性。我们方法的核心思想是基于最大化从底层潜在空间中上下文嵌入的Vietoris-Rips过滤获得的条形码的持久熵。我们证明，该方法通过利用现有的几何结构而不是重新参数化，在微调期间显著降低各向异性的同时，提高了下游性能。