SLaVA-CXR：用于胸部X光报告自动化的小型语言和视觉助手
机器学习
2024-09-23 v1 人工智能
计算与语言
计算机视觉与模式识别
摘要
受大型语言模型（LLM）成功经验的启发，越来越多的研究者致力于开发医学领域的大型语言模型以协助临床医生。然而，对于医院而言，使用闭源商业LLM会涉及隐私问题，而开发开源公共LLM则需要大规模计算资源，这在资源受限地区和低收入国家通常难以获得。我们提出了一种开源的小型语言和视觉助手（SLaVA-CXR），用于胸部X光报告自动化。为了高效训练小型助手，我们首先提出了Re训练方法，通过识别、推理和报告三种训练方式模拟放射科医生的认知发展。随后，我们引入一种数据合成方法RADEX，可生成高质量且多样化的训练语料，同时符合隐私合规要求。大量实验表明，我们构建的SLaVA-CXR基于27亿参数的模型，不仅优于以往的SOTA更大模型，还实现了6倍的推理效率。
引用
@article{arxiv.2409.13321,
title = {SLaVA-CXR: Small Language and Vision Assistant for Chest X-ray Report Automation},
author = {Jinge Wu and Yunsoo Kim and Daqian Shi and David Cliffton and Fenglin Liu and Honghan Wu},
journal= {arXiv preprint arXiv:2409.13321},
year = {2024}
}