MedualTime：面向医学时间序列-文本多模态学习的双适配器语言模型
机器学习
2025-09-09 v4 人工智能
计算与语言
摘要
近期语言模型（LM）在医学时间序列-文本多模态学习方面的快速进展引起了广泛关注。然而，现有的对比学习和提示驱动的LM方法往往存在偏见，常常将时间序列模态置于首位，而将文本模态置于次要位置。我们将此类方法归类为时间-主导范式，这可能会忽略诸如临床报告等文本模态中嵌入的独特且关键的任务相关信息，从而未能充分发挥不同模态的互补优势。为填补这一空白，我们提出了一种新的文本-时间序列多模态学习范式，使其允许任一模态充当主导，同时被另一模态增强，从而有效捕获模态特定信息并促进跨模态交互。具体而言，我们设计了MedualTime，一种由双适配器构成的语言模型，同时实现时间-主导和文本-主导建模。在每个适配器内部，通过注入到LM顶层的轻量级适应标记，鼓励高阶模态融合。由双适配器共享的LM管道不仅实现了适配器对齐，还实现了高效微调，降低了计算资源消耗。经验上，MedualTime在医疗数据上的表现优异，在监督学习场景下实现了8%准确率和12% F1分数的显著提升。此外，MedualTime的可迁移性通过从粗粒度到细粒度医疗数据的few-shot标签迁移实验得到验证。https://github.com/start2020/MedualTime
引用
@article{arxiv.2406.06620,
title = {MedualTime: A Dual-Adapter Language Model for Medical Time Series-Text Multimodal Learning},
author = {Jiexia Ye and Weiqi Zhang and Ziyue Li and Jia Li and Meng Zhao and Fugee Tsung},
journal= {arXiv preprint arXiv:2406.06620},
year = {2025}
}
备注
9 pages, 6 figure, 3 tables