学什么与怎么学：迈向从原理依据中有效学习
机器学习
2022-03-30 v2
摘要
从原理依据中学习旨在利用人类标注的原理依据（即证明其选定标签的输入词元子集）来提升模型预测准确率，通常以中间或多任务监督的形式进行。尽管直观，这一想法在实践中已被证明难以捉摸。我们通过实证分析对人类原理依据做出两点观察：1）最大化原理依据监督准确率未必是提升模型准确率的最优目标；2）人类原理依据在是否提供足够信息供模型用于预测方面存在差异。基于这些见解，我们提出了若干新颖的损失函数和学习策略，并在三个带人类原理依据的数据集上评估了其有效性。我们的结果显示在标签和原理依据准确率上相较基线均有持续提升，包括在 MultiRC 上 3% 的准确率提升。我们的工作凸显了理解人类解释属性并在模型训练中相应加以利用的重要性。
引用
@article{arxiv.2112.00071,
title = {What to Learn, and How: Toward Effective Learning from Rationales},
author = {Samuel Carton and Surya Kanoria and Chenhao Tan},
journal= {arXiv preprint arXiv:2112.00071},
year = {2022}
}
备注
Accepted to ACL Findings 2022 13 pages, 8 figures