基于梯度的参数高效微调自动迭代恢复
计算与语言
2023-02-14 v1
摘要
预训练大语言模型（LLMs）能够通过迁移学习解决多种任务。为探究其决策过程，已开发出多种可解释性方法。TracIn（Pruthi et al., 2020）便是这样一种基于梯度的方法，它依据训练样本的影响来解释模型推断。在本文中，我们探索使用 TracIn 在参数高效微调（PET）设定下提升模型性能。我们通过提示微调 PET 方法开发对话安全分类器，并展示 PET 机制独有的特性如何使 TracIn 能够识别 LLM 某些误分类的原因。我们提出了一种利用基于梯度的可解释性技术提升模型性能的新方法，G-BAIR：基于梯度的自动迭代恢复。我们表明 G-BAIR 能在手动损坏训练标签后恢复 LLM 在基准上的性能。这表明诸如 TracIn 的影响方法可用于自动执行数据清洗，并为基于 PET 的迁移学习方法带来交互式调试与重新标注的潜力。
引用
@article{arxiv.2302.06598,
title = {Gradient-Based Automated Iterative Recovery for Parameter-Efficient Tuning},
author = {Maximilian Mozes and Tolga Bolukbasi and Ann Yuan and Frederick Liu and Nithum Thain and Lucas Dixon},
journal= {arXiv preprint arXiv:2302.06598},
year = {2023}
}
备注
Pre-print