基于伤口图像和临床笔记的多模态AI用于家庭患者转诊
机器学习
2025-01-24 v1 计算机视觉与模式识别
图像与视频处理
摘要
慢性伤口影响850万美国人，尤其是老年人和糖尿病患者。这些伤口可能需要长达九个月才能愈合，因此定期护理对于确保愈合和防止截肢等严重后果至关重要。许多患者在家中接受来自不同伤口专业水平的访视护士的护理，导致护理质量不一致。有问题的、不愈合的伤口应转诊给伤口专家，但在非临床环境中的转诊决策常常错误、延迟或不必要。本文介绍了深度多模态伤口评估工具（DM-WAT），这是一个机器学习框架，旨在帮助访视护士决定是否转诊慢性伤口患者。DM-WAT分析智能手机拍摄的伤口图像和来自电子健康记录（EHR）的临床笔记。它使用DeiT-Base-Distilled（一种视觉变换器ViT）从图像中提取视觉特征，并使用DeBERTa-base从临床笔记中提取文本特征。DM-WAT采用中间融合方法结合视觉和文本特征。为应对小规模和不平衡数据集带来的挑战，它集成了图像和文本增强与迁移学习，以实现高性能。在评估中，DM-WAT达到了77%（标准差3%）的准确率和70%（标准差2%）的F1分数，优于先前方法。Score-CAM和Captum解释算法提供了对影响推荐结果的图像和文本输入特定部分的洞察，增强了可解释性和信任度。
引用
@article{arxiv.2501.13247,
title = {Multimodal AI on Wound Images and Clinical Notes for Home Patient Referral},
author = {Reza Saadati Fard and Emmanuel Agu and Palawat Busaranuvong and Deepak Kumar and Shefalika Gautam and Bengisu Tulu and Diane Strong},
journal= {arXiv preprint arXiv:2501.13247},
year = {2025}
}
备注
arXiv admin note: text overlap with arXiv:2208.05051 by other authors