Medical mT5：面向医学领域的开源多语言文本到文本大语言模型

用于医学应用开发的语言技术研究目前是自然语言理解与生成领域的热点。因此，许多大语言模型（LLM）已被适配到医学领域，以便作为人机交互的中介工具。尽管这些LLM在自动化医学文本基准上表现出竞争力，但它们主要在单一语言（多为英语）上进行预训练和评估。对于文本到文本模型尤其如此，这类模型通常需要大量领域特定的预训练数据，而这些数据对许多语言而言往往不易获取。在本文中，我们通过汇编（据我们所知）迄今最大的四语言医学领域多语言语料库（英语、法语、意大利语和西班牙语）来解决这些不足。该新语料库用于训练Medical mT5，这是首个面向医学领域的开源文本到文本多语言模型。此外，我们为所有四种语言提出了两个新的评估基准，旨在促进该领域的多语言研究。综合评估表明，Medical mT5在西班牙语、法语和意大利语基准上优于编码器模型和同等规模的文本到文本模型，同时在英语上可与当前最先进的LLM相媲美。