面向大型语言模型表示的情境子空间流形投影用于结构化精炼
计算与语言
2025-03-27 v3
摘要
深度神经网络内部的表示编码了语言结构的高维抽象，但往往在特征分布方面存在效率问题，限制了表达力和适应性。情境子空间流形投影引入一种结构化精炼技术，通过受控的子空间约束 selectively 重新配置 token 嵌入，确保更稳定且在几何上更为定义的特征分布。经验评估表明，结构化干预减少了各向同性，导致表示的紧凑性提高，同时保持了语义保真度。聚类分析表明，token 嵌入显示出更大的特征可分性，强化了结构化投影技术增强内部表示组织而不牺牲语言连贯性的假设。梯度幅度分布表明，该方法引入了更平滑的优化轨迹，可能有助于训练期间更稳定的参数更新。与此相关的计算开销保持在最小，确保精炼不会在模型效率或推理速度方面带来显著的权衡。与标准嵌入精炼技术的比较突显了结构化流形约束为改善表示质量提供了直接机制，而无需额外的基于梯度的优化。困惑度评估确认调整未对序列连贯性产生负面影响，进一步验证了所提出方法的有效性。
引用
@article{arxiv.2502.08026,
title = {Contextual Subspace Manifold Projection for Structural Refinement of Large Language Model Representations},
author = {Alistair Wren and Beatrice Loxley and Hamish Cadwallader and Simon Beckwith and Fabian Pargeter and James Blades},
journal= {arXiv preprint arXiv:2502.08026},
year = {2025}
}
备注
arXiv admin note: This paper has been withdrawn by arXiv due to disputed and unverifiable authorship