MedDiT：用于虚拟模拟患者中动态医学图像生成的知识控制扩散变换器框架
人工智能
2024-08-23 v1
摘要
医学教育在很大程度上依赖于模拟患者（Simulated Patients, SPs）来为学生提供练习临床技能的安全环境，包括医学图像分析。然而，招募合格模拟患者的高成本以及缺乏多样化医学影像数据集已成为重大挑战。为此，本文引入了MedDiT，一种 novel 知识控制对话框架，可动态生成与模拟患者症状相匹配的合理医学图像，从而实现多样化诊断技能训练。具体而言，MedDiT 将 various patient Knowledge Graphs（KGs）整合进来，这些图描述了患者的属性和症状，用于动态控制 Large Language Models（LLMs）的行为并控制患者特征，从而缓解医学对话中的幻觉问题。此外，还集成了一个经过精调的 Diffusion Transformer（DiT）模型，用于根据 KG 中的指定患者属性生成医学图像。本文通过实际演示展示了MedDiT的功能，凸显其在多样化模拟患者案例中发挥作用并生成相应医学图像的能力。这为学生提供了丰富且互动的学习体验，推动了医学教育，通过提供面向未来医疗专业人员的沉浸式模拟平台。本工作揭示了将 LLM、KG 和 DiT 纳入教育应用的可行性，凸显了其在解决模拟患者基于医学教育中所面临挑战方面的潜在作用。
引用
@article{arxiv.2408.12236,
title = {MedDiT: A Knowledge-Controlled Diffusion Transformer Framework for Dynamic Medical Image Generation in Virtual Simulated Patient},
author = {Yanzeng Li and Cheng Zeng and Jinchao Zhang and Jie Zhou and Lei Zou},
journal= {arXiv preprint arXiv:2408.12236},
year = {2024}
}