放射学语言模型的分词选择：专用型还是通用型？
计算与语言
2025-08-14 v1 人工智能
机器学习
摘要
语言模型 (LM) 的词汇 ——由分词器定义 ——在文本生成质量中发挥关键作用。然而，其影响在放射学领域仍未得到充分探索。在本文中，我们通过系统性比较通用、医学和领域特定的分词器，在放射学报告总结这一任务上进行了研究。我们也探讨了有无在 PubMed 摘要上进行预训练的情形。我们的发现表明，当模型从头训练时，医学和领域特定词汇的优势超过了广泛使用的自然语言替代方案。预训练部分缓解了分词器之间性能差异的影响，尽管领域特定分词器取得了最有利的结果。领域特定分词器还由于词汇更小和更短的序列而减少了内存需求。这一结果表明，针对临床领域调整 LM 的词汇能够提供实际收益，包括 improved performance 和降低计算需求，使此类模型在研究和现实世界的医疗保健环境中更具可达性和有效性。
引用
@article{arxiv.2508.09952,
title = {Specialised or Generic? Tokenization Choices for Radiology Language Models},
author = {Hermione Warr and Wentian Xu and Harry Anthony and Yasin Ibrahim and Daniel McGowan and Konstantinos Kamnitsas},
journal= {arXiv preprint arXiv:2508.09952},
year = {2025}
}
备注
Accepted to ELAMI@MICCAI2025