中文

结构感知集合转换器:用于异步临床时间序列的时空与变量类型注意力偏置

机器学习 2026-03-13 v2

摘要

电子健康记录(EHR)是不规则、非同步的多变量时间序列。随着时间序列基础模型越来越多地对事件进行标记而非离散化时间,输入布局成为关键设计选择。网格布局暴露了时间×变量结构,但需要插值或缺失掩码,风险为误差或抽样策略捷径。点集标记法避免了离散化,但丢失了变量内部轨迹以及时间局部的跨变量上下文(图1)。我们在 STructure-AwaRe(STAR)集合转换器中通过添加参数高效软注意力偏置来恢复这些先验条件:一个时空局部惩罚 Δt/τ-|\Delta t|/\tau,带可学习的时间尺度,以及来自学习特征兼容矩阵的变量类型亲和 Bsi,sjB_{s_i,s_j}。我们对 10 种深度融合计划进行基准测试(图2)。在三个 ICU 预测任务上,STAR-Set 实现了 AUC/APR 为 0.7158/0.0026(CPR),0.9164/0.2033(死亡率),以及 0.8373/0.1258(血管活性药物使用)。学习的 τ\tauBB 提供了时序上下文和变量相互作用的可解释总结,为时序模型提供实用的上下文感知插件。

关键词

引用

@article{arxiv.2603.06605,
  title  = {Structure-Aware Set Transformers: Temporal and Variable-Type Attention Biases for Asynchronous Clinical Time Series},
  author = {Joohyung Lee and Kwanhyung Lee and Changhun Kim and Eunho Yang},
  journal= {arXiv preprint arXiv:2603.06605},
  year   = {2026}
}

备注

ICLR 2026 Workshop on Time Series in the Age of Large Models (TSALM)