Stone Needle：面向医疗健康的通用多模态大规模模型框架
人工智能
2023-06-29 v1 网络与互联网体系结构
摘要
在医疗健康领域，多模态数据普遍存在，并在诊断决策前需要被综合分析，包括医学图像、临床报告等。然而，当前大规模人工智能模型主要聚焦于单模态认知能力，忽视了多模态的整合。因此，我们提出Stone Needle，一个专为医疗应用显式定制的通用多模态大规模模型框架。Stone Needle作为综合的医疗多模态模型基础，整合文本、图像、视频和音频等多种模态，以超越单模态系统的局限。通过意图分析、医学基础模型、提示管理器和医学语言模块等框架组件，我们的架构能够在多轮对话中执行多模态交互。我们的方法是一个通用多模态大规模模型框架，整合多样模态并允许我们针对特定任务定制。实验结果表明，相较单模态系统，我们的方法具有更优性能。Stone Needle中不同模态的融合及处理复杂医疗信息的能力，有益于准确诊断、治疗推荐和患者照护。
引用
@article{arxiv.2306.16034,
title = {Stone Needle: A General Multimodal Large-scale Model Framework towards Healthcare},
author = {Weihua Liu and Yong Zuo},
journal= {arXiv preprint arXiv:2306.16034},
year = {2023}
}