避免解码：多分支故事生成的多样性生成方法
计算与语言
2025-09-04 v2 人工智能
摘要
大型语言模型（LLM）常因在给定相同输入提示词时创造力有限，导致生成的输出重复且单调，尤其在故事生成等任务中表现突出。为此，我们提出了一种新颖的解码策略——避免解码（Avoidance Decoding），通过对已生成输出的词汇概率 logits 施加惩罚来鼓励更具多样性的多分支故事生成。该惩罚会自适应地平衡两种相似度度量：（1）概念级相似度惩罚（Concept-level Similarity Penalty），在早期阶段优先以多样化初始故事概念为目标；（2）叙事级相似度惩罚（Narrative-level Similarity Penalty），在后期阶段逐渐强化，以确保自然且多样的情节发展。值得注意的是，我们的方法可使输出多样性提升最高达2.6倍，平均减少30%的重复现象，同时有效缓解文本退化问题。进一步地，我们发现该方法激活了更广泛的神经元，表明其确实利用了模型固有的创造力。
关键词
引用
@article{arxiv.2509.02170,
title = {Avoidance Decoding for Diverse Multi-Branch Story Generation},
author = {Kyeongman Park and Nakyeong Yang and Kyomin Jung},
journal= {arXiv preprint arXiv:2509.02170},
year = {2025}
}