双向生成式预训练用于改进医疗时间序列表示学习
人工智能
2024-08-27 v3 机器学习
摘要
学习用于分类和回归等判别性任务的时间序列表示一直是医疗领域的一个长期挑战。当前的预训练方法局限于单向下一词元预测或随机掩码词元预测。我们提出了一种名为双向及时生成式预训练 Transformer（BiTimelyGPT）的新架构，该架构通过在交替的 Transformer 层中同时进行下一词元和前一词元预测，在生物信号和纵向临床记录上进行预训练。该预训练任务保留了时间序列的原始分布和数据形状。此外，满秩的前向和后向注意力矩阵表现出更强的表示能力。利用生物信号和纵向临床记录，BiTimelyGPT 在预测神经功能、疾病诊断和生理体征方面展示了卓越的性能。通过可视化注意力热力图，我们观察到预训练的 BiTimelyGPT 能够从生物信号时间序列中识别判别性片段，且在针对任务进行微调后效果更佳。
引用
@article{arxiv.2402.09558,
title = {Bidirectional Generative Pre-training for Improving Healthcare Time-series Representation Learning},
author = {Ziyang Song and Qincheng Lu and He Zhu and David Buckeridge and Yue Li},
journal= {arXiv preprint arXiv:2402.09558},
year = {2024}
}