基于外部引导的预训练语言模型抗噪微调
计算与语言
2023-11-03 v1
摘要
采用预训练后微调的两阶段范式，预训练语言模型（PLMs）在自然语言处理领域取得了实质性进展。然而，在真实场景中，由于复杂的标注过程，数据标签往往含有噪声，因此亟需开发利用此类噪声标签微调 PLMs 的策略。为此，我们引入一种利用噪声标签微调 PLMs 的创新方法，其融入了如 ChatGPT 等大型语言模型（LLMs）的引导。该引导有助于准确区分干净样本与噪声样本，并提供超出噪声标签的补充信息，从而在微调 PLMs 过程中促进学习。在合成与真实世界噪声数据集上的大量实验进一步证明了我们的框架相对于最先进基线的优越优势。
引用
@article{arxiv.2311.01108,
title = {Noise-Robust Fine-Tuning of Pretrained Language Models via External Guidance},
author = {Song Wang and Zhen Tan and Ruocheng Guo and Jundong Li},
journal= {arXiv preprint arXiv:2311.01108},
year = {2023}
}
备注
EMNLP Findings 2023