L3Ms -- 拉格朗日大语言模型
机器学习
2025-03-18 v3 人工智能
计算与语言
机器学习
摘要
大语言模型（LLM）的监督微调（SFT）与对齐是提供良好用户体验的关键步骤。然而，适当对齐的概念本质上依赖于具体应用，且当前方法通常依赖启发式选择来驱动优化。在本工作中，我们将SFT与对齐表述为一个约束优化问题：LLM在任务上进行微调，同时被要求满足特定应用的需求，而不诉诸于启发式方法。为解决此问题，我们提出了拉格朗日大语言模型（L3Ms），其采用对数障碍函数来强制执行约束。该方法允许在各种应用中定制L3Ms，同时避免由启发式驱动的过程。我们通过实验证明了L3Ms在为各种应用实现定制化对齐方面的多功能性与有效性。
引用
@article{arxiv.2410.21533,
title = {L3Ms -- Lagrange Large Language Models},
author = {Guneet S. Dhillon and Xingjian Shi and Yee Whye Teh and Alex Smola},
journal= {arXiv preprint arXiv:2410.21533},
year = {2025}
}
备注
International Conference on Learning Representations (ICLR), 2025