基于双教师自训练的少样本理由生成
计算与语言
2023-06-07 v1 人工智能
摘要
能够为其预测标签同时生成自由文本解释的自合理化模型，是构建可信 AI 应用的重要工具。由于为标注标签生成解释是费力且昂贵的过程，近期模型依赖大型预训练语言模型（PLMs）作为骨干并采用少样本学习。本工作中，我们探索一种利用标注与未标注数据的自训练方法，以在假设人工书写理由与标注任务标签均无法大规模获取的前提下，进一步提升少样本模型。我们引入新颖的双教师学习框架，通过自训练学习两个分别专用于任务预测与理由生成的教师模型，并将其知识蒸馏至可联合生成任务标签与理由的多任务学生模型。此外，我们提出新的损失函数——掩码标签正则化（Masked Label Regularization, MLR），以促使解释强条件依赖于预测标签。在三个公开数据集上的评估表明，所提方法在建模任务标签与生成忠实理由方面均有效。
引用
@article{arxiv.2306.03315,
title = {Few Shot Rationale Generation using Self-Training with Dual Teachers},
author = {Aditya Srikanth Veerubhotla and Lahari Poddar and Jun Yin and György Szarvas and Sharanya Eswaran},
journal= {arXiv preprint arXiv:2306.03315},
year = {2023}
}
备注
ACL Findings 2023