MILM：面向信息性采样的多模态不规则时间序列大语言模型
机器学习
2026-05-14 v1
摘要
多模态不规则时间序列（MITS）由来自异构数值和文本通道的非同步、不规则采样观测组成。在医疗保健领域，患者的电子健康记录（EHR）包括不规则的实验测量和临床笔记。观测的时间和通道模式携带了与数值和文本内容并列的预测信号。大语言模型（LLM）是处理此类异构数据的自然候选者，由于其在文本和数值领域的广泛预训练知识。我们引入MILM（Multimodal Irregular time series Language Model），将MITS表示为可扩展标记语言（XML）格式的时间有序三元组，并通过两阶段策略对LLM进行微调以进行MITS分类。第一个阶段在未删除值（value-redacted）的MITS上训练，以仅从采样模式进行预测；第二个阶段在完整MITS上训练，以联合建模采样模式和观测值。我们的两阶段模型（MILM-2S）和其单阶段对应版本（MILM-Direct）在多个EHR数据集上获得了最佳和次佳平均性能。进一步的价值删除评估确认了采样模式携带预测信号且MILM-2S学习如何利用这些信号。在我们引入的价值待定评估中，其中一些值在预测时不可用，MILM-2S相较于MILM-Direct表现更佳。对于MILM-2S，进一步保留价值待决观测的时间和通道作为额外的采样信息可进一步提高室内死亡率预测性能。
关键词
引用
@article{arxiv.2605.13711,
title = {MILM: Large Language Models for Multimodal Irregular Time Series with Informative Sampling},
author = {Hsing-Huan Chung and Shijun Li and Yoav Wald and Xing Han and Suchi Saria and Joydeep Ghosh},
journal= {arXiv preprint arXiv:2605.13711},
year = {2026}
}