Clifford代数旋转嵌入：或许嵌入应开始关注CARE
机器学习
2025-11-18 v1 人工智能
摘要
旋转位置嵌入（RoPE）作为位置编码方法已展现出卓越的性能，持续优于基准方法。虽然近期研究试图将RoPE扩展至更高维输入，但许多扩展方式为非交换性，导致丧失RoPE的平移等变性。球面RoPE是其中一种非交换变体，灵感来自于在球面而非圆周上旋转嵌入向量。然而，球面旋转本质上是非交换的，导致旋转序列选择存争议。本文探讨了基于四元数的替代方案——四元旋转嵌入（QuatRo），利用四元数表示3D旋转来参数化旋转轴。我们展示混合RoPE和球面RoPE是QuatRo的特例。进一步，我们提出了将QuatRo推广至Clifford代数旋转嵌入（CARE）的方法，基于几何代数。将四元数视为Cl(3,0,0)的偶子代数，我们将旋转嵌入的概念从四元数推广至作用于多向量的Clifford旋转器。该表述实现了两个关键推广：（1）将旋转嵌入扩展至任意维度，（2）编码多向量中多个 grades 的位置信息，而非仅限于向量。我们呈现了初步实验，比较球面、四元数和Clifford-based旋转嵌入。
关键词
引用
@article{arxiv.2511.11665,
title = {Clifford Algebraic Rotor Embeddings : Maybe embeddings should start to CARE},
author = {Sameeksha Sriram and Ayush Paliwal and Alexander S. Ecker and Chase van de Geijn},
journal= {arXiv preprint arXiv:2511.11665},
year = {2025}
}