放射肿瘤学中由大语言模型驱动的多模态靶区勾画

放射治疗的靶区勾画被认为比正常器官分割任务更具挑战性，因为它需要同时利用图像和基于文本的临床信息。受近期大语言模型（LLMs）可促进文本信息与图像整合进展的启发，我们提出了一种新颖的由LLM驱动的多模态AI，即LLMSeg，它利用临床文本信息并适用于放射治疗靶区勾画这一挑战性任务，并在乳腺癌放射治疗靶区勾画的背景下对其进行了验证。利用高度有利于实际应用的外部验证和数据不足环境，我们证明所提出的模型相比传统的单模态AI模型表现出显著改善的性能，尤其展现出鲁棒的泛化性能和数据效率。据我们所知，这是首个将临床文本信息整合到放射肿瘤学靶区勾画中的由LLM驱动的多模态AI模型。