在无灾难性遗忘的前提下控制条件语言模型
机器学习
2022-06-22 v2 计算与语言
摘要
机器学习正转向通用的预训练生成模型,这些模型以自监督方式在大量数据上训练,随后可用于解决大量任务。然而,由于其通用训练方法,这些模型常常无法满足某些下游要求(例如抽象摘要中的幻觉或代码生成中的风格违例)。这引出了一个关键问题:如何调整预训练生成模型以满足所有要求,同时不破坏其通用能力(即“灾难性遗忘”)。近期工作提出通过将任务特定要求表示为基于能量的模型(EBM)并使用分布策略梯度(DPG)来近似这些 EBM 以解决该问题。尽管有效,但该方法仅限于无条件分布。本文中,我们通过提出条件 DPG (CDPG) 将 DPG 扩展至条件任务。我们在三个任务(翻译、摘要与代码生成)和 two 个预训练模型(T5 与 GPT-Neo)上的四个不同控制目标上评估 CDPG。我们的结果表明,使用 CDPG 微调能稳健地使这些预训练模型更接近满足控制目标,并且——与基线方法相反——不会导致灾难性遗忘。
引用
@article{arxiv.2112.00791,
title = {Controlling Conditional Language Models without Catastrophic Forgetting},
author = {Tomasz Korbak and Hady Elsahar and German Kruszewski and Marc Dymetman},
journal= {arXiv preprint arXiv:2112.00791},
year = {2022}
}
备注
ICML 2022