探索大语言模型中的语境流：自调节语义网络的新方法
计算与语言
2025-08-11 v2
摘要
自调节机制通过语境重对齐策略引入动态适应能力，影响扩展序列中的标记嵌入轨迹。语境流作为一种嵌入调制方法被探索，在自注意力框架内集成辅助门控机制，根据演化的语境依赖关系动态调整标记表示。经验分析评估了熵变、潜空间重对齐和连贯性稳定性，以评估自调节在保持生成灵活性的同时如何增强文本生成一致性。定量评估表明，嵌入偏移有助于长序列中更结构化的适应，表现为冗余短语重复的减少和主题保持的提升。语境权重计算的变异性影响调制稳定性，导致在不同语言结构中适应水平的差异。实时嵌入重构引入的计算需求被从模型可扩展性的角度进行审视，强调了大规模生成应用中优化策略的必要性。研究结果表明，虽然自适应嵌入更新改善了连贯性的某些方面，但其影响仍然取决于模型容量和输入复杂度。
引用
@article{arxiv.2502.10942,
title = {Exploring Contextual Flux in Large Language Models: A Novel Approach to Self-Modulating Semantic Networks},
author = {Henry Evidail and Zachary Mountebank and Alistair Hathersage and Peter Stanhope and Basil Ravenscroft and Tobias Waddingham},
journal= {arXiv preprint arXiv:2502.10942},
year = {2025}
}
备注
arXiv admin note: This paper has been withdrawn by arXiv due to disputed and unverifiable authorship