旋转国王得到女王：词嵌入空间中作为正交变换的词关系

词嵌入的一个显著特性是词关系可以作为嵌入空间中的线性子结构存在。例如，$\textit{gender}$（性别）对应于 $\vec{\textit{woman}} - \vec{\textit{man}}$ 和 $\vec{\textit{queen}} - \vec{\textit{king}}$。这反过来使得词类比可以通过算术方式求解：$\vec{\textit{king}} - \vec{\textit{man}} + \vec{\textit{woman}} \approx \vec{\textit{queen}}$。这一特性之所以显著，是因为它表明在词嵌入上训练的模型可以轻易地将此类关系学习为几何平移。然而，并没有证据表明模型$\textit{ exclusively}$（ exclusively，仅以）这种方式表示关系。我们记录了下游模型学习这些关系的另一种方式：正交与线性变换。例如，给定$\textit{gender}$的平移向量，我们可以找到一个正交矩阵 $R$（表示旋转与反射），使得 $R(\vec{\textit{king}}) \approx \vec{\textit{queen}}$ 且 $R(\vec{\textit{man}}) \approx \vec{\textit{woman}}$。使用正交变换的类比推理几乎与使用向量算术一样准确；使用线性变换比两者都更准确。我们的发现表明，这些变换可以作为词关系的表示，与平移向量一样好。