CLARIFY：面向皮肤病学视觉问答的专家-泛专家框架
计算机视觉与模式识别
2025-08-27 v1 人工智能
摘要
视觉-语言模型（VLM）在医学任务中展现出巨大的潜力；然而，其通用性质可能限制专门化诊断精度，且其庞大尺度在实际临床部署中带来巨大的推理成本。为此，我们提出CLARIFY——一个用于皮肤病学视觉问答（VQA）的专家-泛专家框架。CLARIFY由两个组件构成：（i）一个轻量级、经过领域训练的图像分类器（专家），提供快速且高度准确的诊断预测；（ii）一个强大但经过压缩的对话式VLM（泛专家），生成针对用户查询的自然语言解释。在本框架中，专家的预测直接引导泛专家的推理，使其聚焦于正确的诊断路径。这种协同效应通过基于知识图谱的检索模块进一步增强，该模块将泛专家的响应 grounding 在事实皮肤病学知识之上，确保准确性和可靠性。这种层次化设计不仅降低了诊断错误，还显著提升了计算效率。在我们的精选多模态皮肤病学数据集上进行的实验表明，CLARIFY相对于最强基线（即微调的、未压缩的单行VLM）实现了18%的诊断准确率提升，同时将平均VRAM要求降低至少20%，延迟降低5%。这些结果表明，专家-泛专家系统为构建轻量级、可信且临床可行的AI系统提供了一种实用且强大的范式。
引用
@article{arxiv.2508.18430,
title = {CLARIFY: A Specialist-Generalist Framework for Accurate and Lightweight Dermatological Visual Question Answering},
author = {Aranya Saha and Tanvir Ahmed Khan and Ismam Nur Swapnil and Mohammad Ariful Haque},
journal= {arXiv preprint arXiv:2508.18430},
year = {2025}
}
备注
10 pages, 8 figures, Prepared for submission to IEEE Transactions on Human-Machine Systems