MedSpaformer:用于医学时间序列分类的可迁移Transformer与多粒度Token稀疏化
机器学习
2025-08-19 v3
摘要
准确的医学时间序列(MedTS)分类对于有效的临床诊断至关重要,但由于复杂的多通道时间依赖性、信息冗余和标签稀缺,仍面临挑战。虽然基于Transformer的模型在时间序列分析中显示出前景,但大多数模型设计用于预测任务,未能充分发挥MedTS独特特征的潜力。本文引入MedSpaformer,一个专为MedTS分类设计的Transformer框架。它融合稀疏token基于双注意力机制,实现全局上下文建模和token稀疏化,允许通过聚焦于信息丰富的token以减少冗余来动态精炼特征。该机制集成到多粒度跨通道编码方案中,以捕获内粒度和跨粒度时间依赖性以及通道间相关性,实现对医学信号中任务相关模式的渐进式精炼。稀疏化设计使模型能够灵活适应长度和通道维度可变的输入。我们还引入了自适应标签编码器,以提取标签语义并解决跨数据集标签空间错位问题。这些组件共同增强了模型在异构医学数据集上的迁移性,帮助缓解标签稀缺的挑战。我们的模型在7个医学数据集上超过13个基线模型,表现优异。它在few-shot学习中也表现出色,并在in-domain和cross-domain诊断中展示了zero-shot能力。这些结果凸显了MedSpaformer的稳健性及其作为医学时间序列分类统一解决方案的潜力。
引用
@article{arxiv.2503.15578,
title = {MedSpaformer: a Transferable Transformer with Multi-granularity Token Sparsification for Medical Time Series Classification},
author = {Jiexia Ye and Weiqi Zhang and Ziyue Li and Jia Li and Fugee Tsung},
journal= {arXiv preprint arXiv:2503.15578},
year = {2025}
}
备注
4 figures, 9 pages, 4 tables