球面嵌入的域自适应
计算与语言
2021-11-02 v1
摘要
嵌入模型的域自适应，即将通用嵌入更新为特定领域的语言，对于数据不足以从头训练有效模型的领域是一种成熟技术。化学出版物即是这样一个领域，其中科学行话与重载术语损害了通用语言模型的性能。arXiv:1911.01196 中提出的近期球面嵌入模型 (JoSE) 在多维单位球上训练时联合学习词与文档嵌入，在文档分类与词关联任务上表现良好。但我们发现其训练过程中由全局旋转引起的不收敛问题阻碍了它的域自适应。在本工作中，我们发展方法来对抗嵌入空间的全局旋转，并提出在领域特定训练期间更新词与文档的策略。我们从通用与化学科学期刊中整理了两个新的文档分类数据集，以将所提出的更新训练策略与基准模型进行比较。我们表明我们的策略能够将域自适应的性能代价降低到与 Word2Vec 相近的水平。
引用
@article{arxiv.2111.00677,
title = {Domain-adaptation of spherical embeddings},
author = {Mihalis Gongolidis and Jeremy Minton and Ronin Wu and Valentin Stauber and Jason Hoelscher-Obermaier and Viktor Botev},
journal= {arXiv preprint arXiv:2111.00677},
year = {2021}
}
备注
SciNLP 2021 poster abstract