去中心化注意力失败于中心化信号：医学时间序列的Transformer 重思
机器学习
2026-05-08 v2 人工智能
摘要
医学时间序列（MedTS）数据的精准分析，如脑电图（EEG）和心电图（ECG），在医疗保健应用中发挥着关键作用，包括脑部和心脏疾病的诊断。MedTS数据通常表现出两种关键模式：单个通道内的时序依赖关系以及跨多个通道的通道依赖关系。虽然近期深度学习技术已利用基于Transformer的模型有效捕获时序依赖关系，但常在建模通道依赖关系方面受限。这一局限源于结构性不匹配：MedTS信号本质上是中心化的，而Transformer的注意力机制是去中心化的，因而在捕获全局同步和统一波形模式方面效果较差。为解决这一不匹配，本文提出CoTAR（Core Token Aggregation-Redistribution，核心标记聚合-重分配），一种取代去中心化注意力的中心化MLP模块。与标准注意力不同，CoTAR引入全局核心标记作为代理，促进标记间的相互作用，从而实施中心化的聚合与重分配策略。该设计不仅更符合MedTS信号的中心化本质，还将计算复杂度从二次降低到线性。实验在五个基准数据集上验证了本方法在有效性和效率方面的优势，实现了在APAVA数据集上最高可达11.6%的提升，同时仅使用前沿方法的33%内存和20%的推理时间。代码及所有训练脚本均可用 https://github.com/Levi-Ackman/TeCh 提供。
引用
@article{arxiv.2602.18473,
title = {Decentralized Attention Fails Centralized Signals: Rethinking Transformers for Medical Time Series},
author = {Guoqi Yu and Juncheng Wang and Chen Yang and Jing Qin and Angelica I. Aviles-Rivero and Shujun Wang},
journal= {arXiv preprint arXiv:2602.18473},
year = {2026}
}
备注
Accepted by ICLR 2026 (Oral). arXiv admin note: text overlap with arXiv:2405.19363 by other authors