立场：超越欧几里得——基础模型应拥抱非欧几何

在基础模型和大语言模型（LLMs）时代，欧几里得空间一直是机器学习架构的事实上的几何设置。然而，最近的文献表明，这种选择存在根本性的局限性。在大尺度上，现实世界的数据通常表现出固有的非欧几里得结构，例如多路关系、层次结构、对称性和非各向同性缩放，这在语言、视觉和自然科学等多个领域都有体现。在欧几里得空间的约束下，有效捕捉这些结构具有挑战性。本立场论文认为，超越欧几里得几何不仅仅是一种可选的增强，而是维持下一代基础模型缩放定律的必要条件。通过采用这些几何，基础模型可以更有效地利用上述结构。任务感知的自适应性，能够动态重新配置嵌入以匹配下游应用的几何，可以进一步提高效率和表达能力。我们的立场得到了一系列对主流基础模型的理论和实证研究的支持。最后，我们概述了将非欧几何集成到基础模型中的路线图，包括通过微调、从头训练和混合方法构建几何基础模型的策略。