AdvEntuRe:基于知识引导示例的文本蕴含对抗训练
计算与语言
2018-05-15 v1 人工智能
机器学习
摘要
我们考虑在有限监督(5K-10K 训练示例)下学习文本蕴含模型的问题,并提出了两种互补的方法。首先,我们提出了知识引导的对抗示例生成器,仅通过少量规则模板即可将大型词汇资源纳入蕴含模型。其次,为了使蕴含模型(即判别器)更加鲁棒,我们提出了首个 GAN 风格的方法,使用自然语言示例生成器对其进行训练,该生成器根据判别器的性能进行迭代调整。我们在两个蕴含数据集上展示了有效性,所提方法在 SciTail 上的准确率提高了 4.7\%,在 SNLI 的 1\% 训练子样本上提高了 2.8\%。值得注意的是,即使是单条手写规则 negate,也将 SNLI 中否定示例的准确率提高了 6.1\%。
引用
@article{arxiv.1805.04680,
title = {AdvEntuRe: Adversarial Training for Textual Entailment with Knowledge-Guided Examples},
author = {Dongyeop Kang and Tushar Khot and Ashish Sabharwal and Eduard Hovy},
journal= {arXiv preprint arXiv:1805.04680},
year = {2018}
}
备注
ACL 2018