Dermacen Analytica：一种将多模态大语言模型与机器学习整合用于远程皮肤病学的新方法
计算与语言
2025-03-28 v1 人工智能
计算机视觉与模式识别
摘要
人工智能的兴起为医学发现、诊断和患者管理领域带来了巨大希望。然而，所有医学领域的巨大复杂性需要一种更复杂的方法，将机器学习算法、分类器、分割算法以及近期的大语言模型结合起来。本文描述、实现并评估了一个人工智能赋能的系统和方法，旨在辅助皮肤病学领域内皮肤病变和其他皮肤状况的诊断过程，力求整体性地处理该领域的诊断流程。该工作流整合了大语言模型、基于 Transformer 的视觉模型和复杂的机器学习工具。这种整体性方法实现了对皮肤病状况的细致解读，模拟并辅助了皮肤科医生的工作流程。我们通过嵌入评估流程的全面跨模型验证技术来评估所提出的方法，该流程利用了公开可用的皮肤状况医学案例研究和相关图像。为定量评分系统性能，采用了先进的机器学习和自然语言处理工具，侧重于相似性比较和自然语言推理。此外，我们结合了基于结构化清单的人类专家评估过程，以进一步验证结果。我们在一个系统中实现了所提出的方法，该系统在上下文理解和诊断准确性方面均取得了约 0.87 的（加权）分数，证明了我们的方法在增强皮肤病学分析方面的有效性。预计所提出的方法将有助于开发下一代远程皮肤病学应用，增强远程会诊能力和医疗可及性，尤其是在服务不足的地区。
引用
@article{arxiv.2403.14243,
title = {Dermacen Analytica: A Novel Methodology Integrating Multi-Modal Large Language Models with Machine Learning in tele-dermatology},
author = {Dimitrios P. Panagoulias and Evridiki Tsoureli-Nikita and Maria Virvou and George A. Tsihrintzis},
journal= {arXiv preprint arXiv:2403.14243},
year = {2025}
}