医学领域的领域特定预训练语言模型：比较研究
机器学习
2024-07-30 v2 人工智能
计算与语言
摘要
在许多情况下，大语言模型（LLM）用于单一领域的特定任务，这些任务通常需要较少的通用、更具领域特定知识的内容。虽然像GPT-4或Claude-3-opus这类高度能力的通用面向最前沿的语言模型常常可用于此类任务，但它们非常庞大，即使不专有也无法在本地运行。这在处理敏感数据时会成为问题。本文聚焦于作为特定领域和混合领域预训练的潜在更高效方法，以生成更专业的语言模型。我们将审查与领域特定预训练相关的工作，特别是在医学领域，并将专业语言模型的基准结果与通用面向最前沿的语言模型进行比较。
引用
@article{arxiv.2407.14076,
title = {Domain-Specific Pretraining of Language Models: A Comparative Study in the Medical Field},
author = {Tobias Kerner},
journal= {arXiv preprint arXiv:2407.14076},
year = {2024}
}