进度比嵌入：用于神经文本生成中稳健长度控制的不耐心信号
计算与语言
2026-05-05 v2
摘要
现代神经语言模型在文本生成中取得高准确率，但对生成长度的精确控制仍不成熟。本文首先探讨基于逆位置嵌入（Reverse Positional Embeddings, RPE）的最近长度控制方法，并指出其在控制超出训练分布时存在局限。特别是，基于与绝对剩余token数绑定的离散倒计时信号会导致不稳定。为提供稳健的长度控制，本文引入进度比嵌入（Progress Ratio Embeddings, PRE），作为连续嵌入绑定于三角函数不耐心信号。PRE可无缝集成到标准Transformer架构中，提供稳定的长度保真度，同时不降低标准评估指标下的文本准确率。我们进一步表明PRE对未见目标长度具有良好泛化能力。实验在两个广泛使用的新闻摘要基准数据集上验证了这些发现。
关键词
引用
@article{arxiv.2512.06938,
title = {Progress Ratio Embeddings: An Impatience Signal for Robust Length Control in Neural Text Generation},
author = {Ivanhoé Botcazou and Tassadit Amghar and Sylvain Lamprier and Frédéric Saubion},
journal= {arXiv preprint arXiv:2512.06938},
year = {2026}
}