QM-ToT：面向量化模型的医学思维树推理框架
计算与语言
2026-05-12 v2
摘要
由于医学推理的内在复杂性和临床数据的敏感性，大语言模型（LLM）在专业生物医学任务中面临重大挑战。现有 LLM 常难以处理复杂的医学术语和获取准确的临床见解，导致在为资源受限部署进行量化时性能下降。为解决这些问题，我们提出了量化医学思维树（QM-ToT），一种基于路径的推理框架。QM-ToT 利用思维树推理方法将复杂的医学问题分解为可管理的子任务，并结合评估器评估层。该框架在具有挑战性的 MedQAUSMLE 数据集上促进了 INT4 量化模型的显著性能提升。具体而言，我们展示了 LLaMA2-70b 模型的准确率从 34% 显著提升至 50%，LLaMA-3.1-8b 模型从 58.77% 提升至 69.49%。此外，我们还提出了一种基于 ToT 的有效数据蒸馏方法。与传统蒸馏方法相比，我们在仅使用 3.9% 数据的情况下实现了 86.27% 的提升。这项工作首次展示了 ToT 在显著增强复杂生物医学任务性能方面的潜力，为未来在资源受限的医疗环境中部署高性能量化 LLM 奠定了重要基础。
引用
@article{arxiv.2504.12334,
title = {QM-ToT: A Medical Tree of Thoughts Reasoning Framework for Quantized Model},
author = {Zongxian Yang and Jiayu Qian and Kay Chen Tan and Hau-San Wong and Yulong Chen and Haoyu Zhang and Zhi-An Huang},
journal= {arXiv preprint arXiv:2504.12334},
year = {2026}
}
备注
Accepted by ICIC 2026 Poster