勿忘我：在阅读理解领域适配中减轻灾难性遗忘
计算与语言
2020-11-23 v3 机器学习
摘要
近年来大规模开放域阅读理解数据集的创建使得具有前景结果的端到端神经理解模型得以发展。为将这些模型用于训练数据有限的领域，最有效方法之一是在大规模域外源数据上预训练，再用有限的靶数据微调。其隐患在于微调后理解模型在源域上往往表现不佳，这一现象称为灾难性遗忘。本文探索在微调过程中克服灾难性遗忘且无需假定可访问源域数据的方法。我们引入新的辅助惩罚项，并观察到当组合使用辅助惩罚项来正则化微调过程以适配理解模型时取得最佳性能。为测试我们的方法，我们开发并发布了 6 个窄域数据集，其潜在可用作阅读理解基准。
引用
@article{arxiv.1911.00202,
title = {Forget Me Not: Reducing Catastrophic Forgetting for Domain Adaptation in Reading Comprehension},
author = {Y. Xu and X. Zhong and A. J. J. Yepes and J. H. Lau},
journal= {arXiv preprint arXiv:1911.00202},
year = {2020}
}