BERT WEAVER：利用权重平均实现生物医学语义搜索引擎中基于 Transformer 模型的持续学习
计算与语言
2023-11-01 v3
摘要
迁移学习的最新进展推动了自然语言处理任务的发展。然而，其性能依赖于高质量、人工标注的训练数据。尤其在生物医学领域，已有研究表明单一训练语料不足以学习到能够高效预测新数据的通用模型。因此，为了在真实世界应用中使用，最先进的模型需要具备持续学习的能力，以便在新数据可用时立即提升性能——而无需从头重新训练整个模型。我们提出 WEAVER，一种简单而高效的后期处理方法，将旧知识注入新模型中，从而减轻灾难性遗忘。我们表明，以顺序方式应用 WEAVER 可产生与在所有数据上一次性联合训练相似的词嵌入分布，同时计算效率更高。由于无需数据共享，所提方法也易于应用于联邦学习场景，并可例如有益于从不同诊所挖掘电子健康记录。
引用
@article{arxiv.2202.10101,
title = {BERT WEAVER: Using WEight AVERaging to enable lifelong learning for transformer-based models in biomedical semantic search engines},
author = {Lisa Kühnel and Alexander Schulz and Barbara Hammer and Juliane Fluck},
journal= {arXiv preprint arXiv:2202.10101},
year = {2023}
}