领域预训练对表征的影响
计算与语言
2025-06-02 v1
摘要
本实证研究分析了预训练语料库对学习到的 transformer 表征质量的影响。我们重点关注仅通过预训练产生的表征质量。我们的实验表明，在小型专业语料库上进行预训练可以产生有效的表征，并且结合通用语料库与专业语料库的成功与否取决于目标任务与专业语料库之间的分布相似性。
引用
@article{arxiv.2505.24455,
title = {Domain Pre-training Impact on Representations},
author = {Cesar Gonzalez-Gutierrez and Ariadna Quattoni},
journal= {arXiv preprint arXiv:2505.24455},
year = {2025}
}