探索神经网络模型中的远程标注理由
计算与语言
2021-06-04 v1
摘要
近期研究致力于将各种人类理由（rationales）融入神经网络以提升模型性能，但鲜有关注理由本身的质量。多数现有方法将其模型注意力完全且均等地分配给远程标注的理由词，却忽略了潜在重要的非理由词，也未区分不同理由词的重要性。本文提出两种新颖的辅助损失函数以更好地利用远程标注理由，它们促使模型将注意力保持在标注理由之外的重要词（PINs）上，并缓解对非有益理由（NoIRs）的冗余训练。在两个代表性分类任务上的实验表明，我们所提方法能推动分类模型从非完美理由中有效学习关键线索，同时保持将注意力扩散至其他未标注重要词的能力，从而显著优于现有方法。
引用
@article{arxiv.2106.01809,
title = {Exploring Distantly-Labeled Rationales in Neural Network Models},
author = {Quzhe Huang and Shengqi Zhu and Yansong Feng and Dongyan Zhao},
journal= {arXiv preprint arXiv:2106.01809},
year = {2021}
}
备注
ACL 2021