面向自然语言推理的软标签记忆-泛化方法
计算与语言
2019-01-28 v3
摘要
当为训练样本获得多个标签时，通常假设存在必须考虑的噪声元素。已有研究表明，这种分歧可以被视为信号而非噪声。在这项工作中，我们研究使用软标签训练数据来提高机器学习模型的泛化能力。然而，由于为大型数据集获取多个标签所涉及的成本，使用软标签训练深度神经网络（DNNs）并不实用。我们提出软标签记忆-泛化（SLMG），这是一种使用软标签训练DNNs的微调方法。我们假设人类标注者提供的标签差异代表了关于真实标签的歧义性，而非噪声。使用SLMG的实验证明了在自然语言推理（NLI）任务上泛化性能的提升。我们的实验表明，通过注入极小百分比（训练集大小的0.03%）的软标签训练数据，我们可以在多个基线之上提高泛化性能。
引用
@article{arxiv.1702.08563,
title = {Soft Label Memorization-Generalization for Natural Language Inference},
author = {John P. Lalor and Hao Wu and Hong Yu},
journal= {arXiv preprint arXiv:1702.08563},
year = {2019}
}
备注
Extended version of work presented at UAI UDL 2018 workshop. 8 pages plus references, 4 tables, 2 figures