受监督微调下大型语言模型的多样性
机器学习
2026-05-12 v2
摘要
受监督微调（SFT）是实现大型语言模型（LLM）与用户意图对齐的必不可少的手段，然而它被认为会抑制生成式多样性。尽管这种减少频繁被引用，但对该现象的正式经验性测试仍有限。虽然已有多种方法解决LLM表达力问题，但它们的视角各异，暗示进一步的深入研究可能带来更好的改进。在本研究中，我们将该下降归因为两个主要驱动因素：在微调数据集中忽视低频模式以及忘记先前已有的知识。针对我们提出的理论分析，我们开发了Tempered Focal（TOFU）损失，这是一种新型目标函数，同时解决上述两个挑战。我们的广泛评估在规模化环境下确认，SFT后生成的广度会收窄，从而加强了解释这一效应的假设。我们在多个模型和基准测试上展示，TOFU在保持高响应质量的同时提升输出多样性，提供了一种原则化的SFT方法。
引用
@article{arxiv.2605.00195,
title = {Diversity in Large Language Models under Supervised Fine-Tuning},
author = {Roman Klypa and Oleksandr Cherednichenko},
journal= {arXiv preprint arXiv:2605.00195},
year = {2026}
}