受控语言生成中奖励模型的低秩参数化
计算与语言
2025-09-23 v4
摘要
在大规模数据上训练的语言模型在某些情况下会产生不恰当的内容，需要谨慎调优才能在现实世界中使用。我们重新审视了一种有效且模块化的可控性方法，当外部专家模型指导解码时。特别是，我们聚焦于外部专家的参数化选择，突出低秩与高秩参数化之间的差异。设计用于支持高灵活性的高秩专家，能够更好地表示奖励，在解码期间导致更高的计算成本。然而，我们展示了它们可能并未充分利用其灵活性。通过分析最近提出的奖励增强解码方法（RAD），该方法使用高秩专家模型，我们引入一种更简单且更高效的低秩专家模型参数化，以实现快速且有效的引导解码。我们经验上表明，低秩RAD在去污和情感控制任务上与更灵活的RAD相当，同时只需对每个生成的标记调用一次奖励模型。
引用
@article{arxiv.2407.04615,
title = {On the Low-Rank Parametrization of Reward Models for Controlled Language Generation},
author = {Sergey Troshin and Vlad Niculae and Antske Fokkens},
journal= {arXiv preprint arXiv:2407.04615},
year = {2025}
}
备注
TMLR 2025