Domain Fine-Tuning FinBERT 在芬兰组织病理报告中的效果：训练时信号与下游相关性
计算与语言
2026-04-17 v1
摘要
在标签数据稀缺的 NLP 分类任务中，对 transformer 模型在无标签数据上进行 domain fine-tuning 是一种已建立的方法。本文有两个目标。(1) 我们描述了在芬兰医学文本数据上对芬兰 BERT 模型进行 fine-tuning 的观察结果。(2) 我们报告了从观察 domain fine-tuning 导致的嵌入几何变化来预测芬兰 BERT domain-specific pre-training 效用的尝试。我们的驱动动力是 healthcare AI 中常见的情况：我们可能会经历获取数据集（尤其是标签）的长期延迟。
引用
@article{arxiv.2604.14815,
title = {Domain Fine-Tuning FinBERT on Finnish Histopathological Reports: Train-Time Signals and Downstream Correlations},
author = {Rami Luisto and Liisa Petäinen and Tommi Grönholm and Jan Böhm and Maarit Ahtiainen and Tomi Lilja and Ilkka Pölönen and Sami Äyrämö},
journal= {arXiv preprint arXiv:2604.14815},
year = {2026}
}