主题聚焦摘要的 Logit 重权重技术

生成符合特定主题的抽象摘要仍是语言模型面临的重要挑战。虽然标准方法（如微调）资源密集,但简单的提示工程往往难以保持主题聚焦,尤其是对于较小的模型。为此,我们提出了一种轻量级方法,通过在生成过程中直接重权重主题相关标记的 logits,以增强主题相关性。我们评估了三种此类重权重技术:常数位移（Constant Shift），它为 logits 加上一个常数;因子缩放（Factor Scaling），它按比例乘以它们;阈值选择（Threshold Selection），它选择性地提高超过概率阈值的 logits。在使用 Gemma-2B 和 Llama-3-8B 模型进行 NEWTS 主题摘要数据集上的实验中,我们发现这些技术有效增加了主题相关词汇的使用。值得注意的是,阈值选择方法成功地在不损害摘要质量的前提下提升了主题聚焦度——这是其他方法常看到的权衡。我们的发现表明,直接重权重 logits 是一种实用且资源高效的微调替代方案,为精确控制生成文本的主题内容提供了有前景的道路。