PruneCD：对比裁剪自模型以提升解码事实性
计算与语言
2025-09-24 v2 人工智能
摘要
为缓解大型语言模型中的幻觉问题，DoLa利用同一模型的早期退出logits作为对抗先验。然而，我们发现这些早期退出logits倾向于平坦、幅值较小，且难以反映有意义的对比。为此，我们提出了PruneCD，这是一种新颖的对比解码方法，通过层裁剪而非早期退出来构建业余模型。这种设计导致更具信息性和更良好对齐的logits，从而实现更有效的对比解码。通过定性和定量分析，我们展示了PruneCD在几乎没有推理开销的情况下持续改进事实性，为缓解LLM中的幻觉提供了稳健且实用的方案。
引用
@article{arxiv.2509.16598,
title = {PruneCD: Contrasting Pruned Self Model to Improve Decoding Factuality},
author = {Byeongho Yu and Changhun Lee and Jungyu Jin and Eunhyeok Park},
journal= {arXiv preprint arXiv:2509.16598},
year = {2025}
}
备注
accepted at EMNLP 2025 Main Conference