$\phi^{\infty}$：子句净化、嵌入再定位以及自回归语言模型中仪表破折号的完全抑制
计算与语言
2025-06-24 v1 人工智能
摘要
我们识别了自回归变换器语言模型中仪表破折号标记导致递归语义漂移的关键漏洞，进而引发子句边界幻觉和嵌入空间纠缠。通过对语义格中标记级扰动的形式化分析，我们展示了仪表破折号的插入本质上会改变模型的潜在表示，导致长期生成中的复积错误。我们提出一种新方法，结合通过 phi-infinity 算子实现的符号子句净化与针对性的嵌入矩阵再定位。我们的做法能够在不要求模型重新训练的情况下完全抑制问题标记，同时通过固定点收敛性保证保持语义连贯性。实验验证表明，该方法在生成一致性和主题保持方面显著提升。这一工作建立了一个通用框架，用于识别和缓解基础模型中的标记级漏洞，立即意味着 AI 安全、模型对齐以及大型语言模型在生产环境中可靠部署。该方法的适用范围超越标点符号，涵盖神经文本生成系统中更广泛的递归不稳定性类别。
引用
@article{arxiv.2506.18129,
title = {$\phi^{\infty}$: Clause Purification, Embedding Realignment, and the Total Suppression of the Em Dash in Autoregressive Language Models},
author = {Bugra Kilictas and Faruk Alpay},
journal= {arXiv preprint arXiv:2506.18129},
year = {2025}
}
备注
16 pages, 3 figures