LaPA$^2$：面向长文本可控生成的长度感知前缀和提示注意力增强
计算与语言
2026-05-19 v2
摘要
前缀方法已成为可控文本生成（CTG）中高效的参数范式。然而，尽管在短序列中效果良好，但随着生成序列长度增长，其可控性会逐渐减弱。本文识别注意力稀释（Attention Dilution）为这一现象的关键因素：随着序列长度增加，对控制信号的注意力因softmax机制自然衰减，导致控制效果“淡化”。为解决此问题，我们提出LaPA（Length-aware Prefix and Prompt Attention Augmentation），一个训练自由且模型无关的框架，旨在维持长上下文中的稳健控制。具体而言，LaPA采用长度感知对数缩放，动态放大前缀注意力权重，以数学方式抵消稀释效应；可选的情境锚定强化机制则对提示标记施加同步增强，保留语义连贯性。LaPA支持软前缀（连续嵌入）和硬前缀（离散指令）。多项CTG任务实验表明，LaPA在长文本设置下一致提升各种前缀方法的性能，实现卓越属性可控性，同时保持内容相关性和流畅性。我们的代码和数据已公开于 https://github.com/jiabingyang01/LaPA2
引用
@article{arxiv.2508.04047,
title = {LaPA$^2$: Length-Aware Prefix and Prompt Attention Augmentation for Long-Form Controllable Text Generation},
author = {Jiabing Yang and Yixiang Chen and Zichen Wen and Chenhang Cui and Peiyan Li and Yuan Xu and Bowen Fang and Tao Yu and Ruikang Lin and Yan Huang and Liang Wang},
journal= {arXiv preprint arXiv:2508.04047},
year = {2026}
}
备注
Substantially revised version, renamed from "DTPA: Dynamic Token-level Prefix Augmentation for Controllable Text Generation"