基于解释的微调增强模型对虚假线索的鲁棒性
计算与语言
2023-06-07 v3 机器学习
摘要
大语言模型（LLM）能力强大，有时会学习标签与任务无关特征间的相关性，导致在分布外数据上泛化不佳。我们提出基于解释的微调作为一种通用方法，以减轻 LLM 对虚假相关性的依赖。与仅给定输入预测答案的标准微调不同，我们微调模型以额外生成支持其答案的自由文本解释。为评估方法，我们在含不同类型虚假线索的人工构造训练集上微调模型，并在无这些线索的测试集上测试。相比标准微调，我们的方法使 GPT-3（davinci）在四个分类任务上的准确率下降显著更抗虚假线索：ComVE（+1.2）、CREAK（+9.1）、e-SNLI（+15.4）与 SBIC（+6.5）。该效能在多个模型族与规模上泛化，且模型越大收益越大。最后，我们的方法对模型自身生成的解释同样有效，意味着其可应用于更多无人工撰写解释的数据集。
引用
@article{arxiv.2305.04990,
title = {Explanation-based Finetuning Makes Models More Robust to Spurious Cues},
author = {Josh Magnus Ludan and Yixuan Meng and Tai Nguyen and Saurabh Shah and Qing Lyu and Marianna Apidianaki and Chris Callison-Burch},
journal= {arXiv preprint arXiv:2305.04990},
year = {2023}
}