AVocaDo：面向下游领域自适应词汇表的策略
计算与语言
2021-10-27 v1
摘要
在迁移学习的微调阶段，预训练词汇表保持不变，而模型参数被更新。当存在领域差异时，基于预训练数据生成的词汇表对下游数据并非最优。我们提出将词汇表视为可优化参数，允许基于分词统计通过扩充领域特定词汇来更新词汇表。此外，我们利用预训练语言模型学到的知识并借助正则化项，防止新增词的嵌入对下游数据过拟合。我们的方法在多个不同领域（即生物医学、计算机科学、新闻与评论）上均取得了稳定的性能提升。
引用
@article{arxiv.2110.13434,
title = {AVocaDo: Strategy for Adapting Vocabulary to Downstream Domain},
author = {Jimin Hong and Taehee Kim and Hyesu Lim and Jaegul Choo},
journal= {arXiv preprint arXiv:2110.13434},
year = {2021}
}
备注
EMNLP2021 Accepted