基于少样本合理化的自训练：教师解释辅助学生在少样本自然语言理解中
计算与语言
2021-09-20 v1
摘要
尽管预训练语言模型在多项自然语言理解任务上取得了最先进的性能，其决策过程却相当不透明。尽管近期一些工作聚焦于通过高亮文本中显著概念作为依据或合理化解释来使神经预测合理化，但它们依赖于数千个标注训练样本，且每个实例都需要任务标签与标注合理化解释。如此大规模标注对许多任务而言难以获取。为此，我们提出一种基于自训练语言模型的多任务师生框架，仅使用有限的任务特定标签与合理化解释，并通过审慎的样本选择从信息丰富的伪标注样本中学习。我们研究了构成良好合理化解释的若干特征，并证明使神经模型意识到其合理化预测可显著提升性能，尤其在低资源场景下。在多个基准数据集上的大量实验证明了本方法的有效性。
引用
@article{arxiv.2109.08259,
title = {Self-training with Few-shot Rationalization: Teacher Explanations Aid Student in Few-shot NLU},
author = {Meghana Moorthy Bhat and Alessandro Sordoni and Subhabrata Mukherjee},
journal= {arXiv preprint arXiv:2109.08259},
year = {2021}
}
备注
To Appear in EMNLP 2021