HDformer:利用长程血管信号进行糖尿病检测的高维 Transformer
机器学习
2023-11-02 v2 人工智能
计算机视觉与模式识别
信号处理
摘要
糖尿病是全球性问题,早期检测可预防严重并发症。50% 的糖尿病患者未被确诊,且对低收入群体的影响尤为严重。非侵入性方法已用于及时检测,但其有限精度制约了临床使用。本研究提出一种新型高维 Transformer(HDformer),这是首个利用长程光电容积描记(PPG)检测糖尿病的基于 Transformer 的架构。与现有研究中常用的不足 30 秒信号相比,长程 PPG 最大化了信号上下文信息。为提高 HDformer 长程处理的计算效率,发明了新注意力模块——时间平方注意力(TSA),将 token 数量减少 10 倍以上,同时保留局部/全局依赖。TSA 将一维输入转换为二维表示,将相邻点分组为单个二维 token,随后生成动态块并输入门控混合专家(MoE)网络,优化对不同注意力区域的学习。HDformer 在标准 MIMIC-III 数据集上取得最先进结果(灵敏度 98.4、准确率 97.3、特异度 92.8、AUC 0.929),超越现有研究。此外,我们开发了端到端方案,原型化低成本可穿戴设备通过移动应用与云端 HDformer 连接。这种可扩展、便捷且经济的方法为个人提供即时检测与持续监测,协助医生轻松筛查糖尿病并保护弱势社区。HDformer 增强的通用性使其能高效处理和学习一般一维时间序列中的长程信号,尤其适用于所有生物医学波形。
引用
@article{arxiv.2303.11340,
title = {HDformer: A Higher Dimensional Transformer for Diabetes Detection Utilizing Long Range Vascular Signals},
author = {Ella Lan},
journal= {arXiv preprint arXiv:2303.11340},
year = {2023}
}
备注
9 pages, 8 figures