LLMs-in-the-loop 第1部分：面向生物医学文本的专家小型 AI 模型
计算与语言
2024-07-29 v2 人工智能
摘要
机器翻译在 healthcare 中至关重要，用于在语言之间促进医学知识的全球传播。然而，复杂的医学术语在实现足够翻译质量和准确性方面提出了独特挑战。本研究引入一种新型的 "LLMs-in-the-loop" 方法，用于开发针对医学文本优化的受监督神经机器翻译模型。虽然大型语言模型（LLMs）已显示出强大的能力，但本研究表明，针对高质量 in-domain（主要为合成）数据训练的小型、专门的模型可以甚至超过规模更大的 LLMs。从科学文章、合成生成的临床文件和医学文本中编译了六种语言的自定义平行语料库。我们的 LLMs-in-the-loop 方法采用合成数据生成、严格评估和 agent 编排来增强性能。我们使用 MarianMT base 模型开发了小型医学翻译模型。我们引入了一个新的医学翻译测试数据集，以标准化该领域的评估。 assessed using BLEU、METEOR、ROUGE 和 BERT 等指标，该测试集上的结果表明，我们的 MarianMT-based 模型超过了 Google Translate、DeepL 和 GPT-4-Turbo。结果表明，结合精细调优高质量领域特定数据，我们的 LLMs-in-the-loop 方法、专门的模型可以超越通用目的模型和一些更大型系统。该研究是关于专家小型模型系列研究的第一部分，为未来的 healthcare 相关 AI 开发，包括去识别和生物医学实体提取模型，铺平了道路。本研究强调了针对神经翻译模型和 LLMs-in-the-loop 方法的潜力，通过改进数据生成、评估、agent 和建模技术来推动该领域的发展。
引用
@article{arxiv.2407.12126,
title = {LLMs-in-the-loop Part-1: Expert Small AI Models for Bio-Medical Text Translation},
author = {Bunyamin Keles and Murat Gunay and Serdar I. Caglar},
journal= {arXiv preprint arXiv:2407.12126},
year = {2024}
}
备注
14 pages, 2 figures, 9 tables