神经语言模型领域自适应的权衡
计算与语言
2022-03-23 v2
摘要
本工作将语言模型自适应与机器学习理论的概念相联系。我们考虑一个由大规模域外集合和小规模域内集合组成的训练设置。我们推导了在任一集合上训练模型的收益如何依赖于集合大小及其底层分布之间的距离。我们分析了域外预训练后再进行域内微调如何比单独采用任一方案取得更好的泛化能力。最后，我们展示了基于数据选择的自适应技术，如重要性采样、智能数据选择和影响函数，如何可纳入一个共同框架，该框架凸显了它们的相似性以及细微差异。
引用
@article{arxiv.2109.10274,
title = {The Trade-offs of Domain Adaptation for Neural Language Models},
author = {David Grangier and Dan Iter},
journal= {arXiv preprint arXiv:2109.10274},
year = {2022}
}
备注
Proceedings of the Annual Meeting of the Association for Computational Linguistics (ACL), 2022