各向异性是 Transformer 固有的吗？

表示退化问题是基于 Transformer 的自监督学习方法中广泛观察到的现象。在自然语言处理中，它表现为各向异性，即隐藏表示的一种奇异属性，使得它们在角距离（余弦相似度）上出乎意料地彼此接近。一些近期工作倾向于表明各向异性是在长尾词元分布上优化交叉熵损失的结果。我们在本文中展示，在各向异性不应直接遭受相同后果的、具有特定目标的语言模型中，各向异性也可被经验性地观察到。我们还展示各向异性问题延伸至在其他模态上训练的 Transformer。我们的观察倾向于表明各向异性实际上可能是基于 Transformer 的模型所固有的。