图像分辨率对生物医学多模态大语言模型的影响
计算机视觉与模式识别
2025-10-22 v1 计算与语言
摘要
成像技术是生物医学研究和现代医学的基础，要求对各种模态的高分辨率图像进行分析。尽管多模态大语言模型（MLLMs）在生物医学图像分析方面显示出前景，但大多数模型设计用于来自通用数据集的低分辨率图像，可能导致关键信息丢失。我们研究图像分辨率如何影响 MLLM 在生物医学应用中的性能，并演示：（1）原生分辨率训练和推理显著提升多个任务中的性能；（2）训练与推理分辨率之间的错位严重降低性能；（3）混合分辨率训练有效缓解错位，同时在性能要求与计算约束之间取得平衡。基于这些发现，我们建议优先采用原生分辨率推理和混合分辨率数据集，以优化生物医学 MLLM，在科学研究和临床应用中发挥变革性影响。
引用
@article{arxiv.2510.18304,
title = {The Impact of Image Resolution on Biomedical Multimodal Large Language Models},
author = {Liangyu Chen and James Burgess and Jeffrey J Nirschl and Orr Zohar and Serena Yeung-Levy},
journal= {arXiv preprint arXiv:2510.18304},
year = {2025}
}
备注
Proceedings of the 10th Machine Learning for Healthcare Conference, PMLR 298, 2025