结构感知集合转换器:用于异步临床时间序列的时空与变量类型注意力偏置
机器学习
2026-03-13 v2
摘要
电子健康记录(EHR)是不规则、非同步的多变量时间序列。随着时间序列基础模型越来越多地对事件进行标记而非离散化时间,输入布局成为关键设计选择。网格布局暴露了时间×变量结构,但需要插值或缺失掩码,风险为误差或抽样策略捷径。点集标记法避免了离散化,但丢失了变量内部轨迹以及时间局部的跨变量上下文(图1)。我们在 STructure-AwaRe(STAR)集合转换器中通过添加参数高效软注意力偏置来恢复这些先验条件:一个时空局部惩罚 ,带可学习的时间尺度,以及来自学习特征兼容矩阵的变量类型亲和 。我们对 10 种深度融合计划进行基准测试(图2)。在三个 ICU 预测任务上,STAR-Set 实现了 AUC/APR 为 0.7158/0.0026(CPR),0.9164/0.2033(死亡率),以及 0.8373/0.1258(血管活性药物使用)。学习的 和 提供了时序上下文和变量相互作用的可解释总结,为时序模型提供实用的上下文感知插件。
引用
@article{arxiv.2603.06605,
title = {Structure-Aware Set Transformers: Temporal and Variable-Type Attention Biases for Asynchronous Clinical Time Series},
author = {Joohyung Lee and Kwanhyung Lee and Changhun Kim and Eunho Yang},
journal= {arXiv preprint arXiv:2603.06605},
year = {2026}
}
备注
ICLR 2026 Workshop on Time Series in the Age of Large Models (TSALM)