多专业家对比解码用于文本生成
计算与语言
2025-07-30 v1
摘要
对比解码（Contrastive Decoding, CD）已成为有效的推理时间策略，用于通过利用大型专家语言模型与较小专业家模型之间输出概率的差异来增强开放式文本生成。尽管 CD 改进了连贯性和流畅性，但其对单一专业家的依赖限制了其捕捉语言生成多样性和多面的失效模式的能力，如重复、幻觉和风格漂移。本文提出了多专业家对比解码（Multi-Amateur Contrastive Decoding, MACD），CD 框架的一种泛化方案，该方案采用专业家模型的集合更全面地表征不良生成模式。MACD 集成了通过平均和共识惩罚机制整合对比信号，并将可信度约束扩展到有效运行于多专业家环境中。此外，该框架支持通过纳入具有特定风格或内容偏见的专业家来实现可控生成。跨多个领域的实验结果，如新闻、百科和叙事，表明 MACD 在流畅性、连贯性、多样性和适应性方面 consistently 优于常规解码方法和原始 CD 方法，无需额外训练或微调。
引用
@article{arxiv.2507.21086,
title = {Multi-Amateur Contrastive Decoding for Text Generation},
author = {Jaydip Sen and Subhasis Dasgupta and Hetvi Waghela},
journal= {arXiv preprint arXiv:2507.21086},
year = {2025}
}
备注
This paper has been accepted for oral presentation and publication in the proceedings of the IEEE I2ITCON 2025. The conference will be organized in Pune, India, from July 4 to 5, 2025. This is the accepted version of the paper and NOT the final camera-ready version. The paper is 11 pages long and contains 5 figures and 6 tables