在少样本提示微调中避免推理启发式
计算与语言
2021-09-10 v1 人工智能
摘要
近期基于提示的方法通过将下游任务重构为语言建模问题，使预训练语言模型在少样本微调中取得了优异表现。本文证明，尽管在低数据场景下具有优势，但针对句子对分类任务的微调提示模型仍会陷入一个常见陷阱——采用基于词汇重叠的推理启发式，例如模型错误地认为由相同词集组成的句子对具有相同含义。有趣的是，我们发现这种特定的推理启发式在提示模型的零样本评估中显著减少，这表明微调可能对预训练期间学到的有用知识造成破坏。我们随后证明，添加一个保留预训练权重的正则化项可有效缓解少样本微调的这种破坏性倾向。我们在三个数据集上的评估显示，在用于诊断推理启发式的三个对应挑战数据集上取得了令人鼓舞的改进。
引用
@article{arxiv.2109.04144,
title = {Avoiding Inference Heuristics in Few-shot Prompt-based Finetuning},
author = {Prasetya Ajie Utama and Nafise Sadat Moosavi and Victor Sanh and Iryna Gurevych},
journal= {arXiv preprint arXiv:2109.04144},
year = {2021}
}
备注
Accepted at EMNLP 2021