用于样本高效训练与全面评估的结构多样性采样
计算与语言
2022-11-03 v2
摘要
越来越多的研究表明NLP模型无法进行因式分解组合泛化,并试图通过专用架构、训练方案和数据增强等方法加以缓解。在本工作中,我们研究了一种不同的方法:在具有多样结构的实例上进行训练。我们提出了一种与模型无关的算法,用于从带有结构化输出的标注实例池中对此类实例集合进行子采样。在5个复杂度各异的语义解析数据集的组合模板划分和传统IID划分上进行评估,我们表明,使用我们算法的结构多样性训练在10个数据集-划分类型对中有9个取得了与先前算法相当或更好的泛化性能。总体而言,我们发现与随机训练集相比,结构多样性始终能提高样本效率。此外,我们表明结构多样性采样产生的全面测试集比IID测试集更具挑战性。最后,我们为多样化训练集带来的泛化提升提供了两点解释:1)对输出子结构的覆盖改善;2)这些子结构之间虚假相关性的减少。
引用
@article{arxiv.2203.08445,
title = {Structurally Diverse Sampling for Sample-Efficient Training and Comprehensive Evaluation},
author = {Shivanshu Gupta and Sameer Singh and Matt Gardner},
journal= {arXiv preprint arXiv:2203.08445},
year = {2022}
}
备注
Accepted at Findings of EMNLP 2022