揭示局部化潜在表示：在LLM嵌入空间中利用稀疏混合专家学习分层流形结构
机器学习
2025-02-20 v1
摘要
然而，真实世界数据通常表现出复杂的局部结构，这对于在嵌入空间中具有平滑全局流形的单模型方法来说具有挑战性，难以揭示。在这项工作中，我们推测在这些大语言模型的潜在空间中，嵌入存在于具有不同维度的局部流形结构中，其维度取决于输入数据的困惑度和领域，通常被称为分层流形结构，它们组合在一起形成一个被称为分层空间的结构化空间。为了验证这一结构主张的有效性，我们提出了一种基于混合专家模型的分析框架，其中每个专家通过在不同稀疏度级别下的简单字典学习算法实现。通过引入基于注意力的软门控网络，我们验证了我们的模型为输入数据源的集合学习了专门的子流形，反映了 LLM 嵌入空间中的语义分层。我们进一步分析了这些分层子流形的内在维度，并提供了关于专家分配、门控熵和专家间距离的广泛统计数据。我们的实验结果表明，我们的方法不仅验证了 LLM 嵌入空间中分层流形结构的主张，而且还提供了与输入数据内在语义变化相一致的可解释聚类。
引用
@article{arxiv.2502.13577,
title = {Unraveling the Localized Latents: Learning Stratified Manifold Structures in LLM Embedding Space with Sparse Mixture-of-Experts},
author = {Xin Li and Anand Sarwate},
journal= {arXiv preprint arXiv:2502.13577},
year = {2025}
}