面向医疗物联网的混合 RAG 增强多模态大语言模型：基于扩散模型的合约方法
人工智能
2024-12-10 v2 机器学习
摘要
在快速演变的医疗领域，尤其是在医疗物联网（IoMT）日益融合的背景下，安全的数据管理和有效的数据共享日益成为关键。生成式人工智能的兴起进一步提升了多模态大语言模型（MLLMs）作为管理和优化 IoMT 医疗数据工具的重要性。MLLMs 能够通过在大规模多模态数据上进行大规模训练，支持多模态输入并生成多种类型的内容。然而，开发医疗 MLLMs 仍面临着数据安全性和时效性问题，这会影响 MLLMs 的输出质量。为此，本文提出一种混合检索增强生成（RAG）赋能的医疗 MLLM 框架，用于医疗数据管理。该框架利用分层跨链架构促进安全数据训练。此外，通过混合 RAG 实现输出质量提升，后者利用多模态指标筛选各种单模态 RAG 结果，并将这些检索结果作为 MLLMs 的额外输入。此外，我们采用信息年龄来间接评估 MLLMs 数据时效性的影响，并利用合约理论激励医疗数据持有者分享其新鲜数据，以缓解数据共享中的信息不对称。最后，我们采用基于生成扩散模型的深度强化学习算法来识别高效数据共享的最优合约。数值结果表明，所提出方案的有效性，实现了医疗数据管理的安全与高效。
引用
@article{arxiv.2407.00978,
title = {Hybrid RAG-empowered Multi-modal LLM for Secure Data Management in Internet of Medical Things: A Diffusion-based Contract Approach},
author = {Cheng Su and Jinbo Wen and Jiawen Kang and Yonghua Wang and Yuanjia Su and Hudan Pan and Zishao Zhong and M. Shamim Hossain},
journal= {arXiv preprint arXiv:2407.00978},
year = {2024}
}
备注
13 pages, 7 figures