EPEE: 迈向生物医学中高效且有效的基础模型
人工智能
2025-03-05 v1 计算与语言
计算机视觉与模式识别
摘要
基础模型，包括语言模型（如 GPT）和视觉模型（如 CLIP），已显著推进了大量生物医学任务。尽管取得了这些进展，但模型推理中较高的推理延迟和“过度思考”问题损害了基础模型的效率和有效性，从而限制了其在实时临床环境中的应用。为了应对这些挑战，我们提出了 EPEE（Entropy- and Patience-based Early Exiting，基于熵与耐心的提前退出），这是一种旨在提高基础模型推理效率的新型混合策略。其核心思想是利用基于熵和基于耐心的提前退出方法的优势，以克服它们各自的弱点。为了评估 EPEE，我们在三个核心生物医学任务——分类、关系抽取和事件抽取——上使用四种基础模型（BERT、ALBERT、GPT-2 和 ViT）在十二个数据集（包括临床笔记和医学图像）上进行了实验。结果表明，EPEE 在保持或提高准确率的同时显著减少了推理时间，证明了其对不同数据集和任务的适应性。EPEE 通过平衡效率与有效性，解决了基础模型在医疗保健领域部署的关键障碍。它潜在地为利用基础模型进行实时临床决策提供了一个实用的解决方案，支持可靠且高效的工作流程。
引用
@article{arxiv.2503.02053,
title = {EPEE: Towards Efficient and Effective Foundation Models in Biomedicine},
author = {Zaifu Zhan and Shuang Zhou and Huixue Zhou and Zirui Liu and Rui Zhang},
journal= {arXiv preprint arXiv:2503.02053},
year = {2025}
}
备注
Submitted to npj Digital Medicine