针对消费者医疗的基座模型持续微调框架 COMFORT

可穿戴医疗传感器 (WMS) 正在通过实现对用户生理信号的连续、实时监控， revolutionizing 智能医疗保健，尤其是在消费者医疗领域。WMS 与现代机器学习 (ML) 的集成，使得对高效早期疾病检测的 unprecedented 解决方案成为可能。尽管 Transformer 在诸多领域取得成功，但其在智能医疗保健等敏感领域的应用仍受限于数据可访问性不足和隐私 concerns。为弥合基于 Transformer 的基座模型与基于 WMS 的疾病检测之间的差距，我们提出 COMFORT，这是一个针对消费者医疗保健的基座模型持续微调框架。COMFORT 引入了一种新方法，仅使用来自来自健康个体且使用商业可用 WMS 收集的大规模生理信号数据集预训练基于 Transformer 的基座模型。我们采用掩码数据建模 (MDM) 目标来预训练此健康基座模型。随后，我们使用各种参数高效微调 (PEFT) 方法，如低秩适应 (LoRA) 及其变体，将其微调到依赖 WMS 数据的各种下游疾病检测任务。此外，COMFORT 持续存储来自 PEFT 算法获取的低秩分解矩阵，以构建用于多疾病检测的库。COMFORT 库使得在边缘设备上实现可扩展且内存高效的疾病检测成为可能。我们的实验结果表明，COMFORT 在保持高度竞争性能的同时，将相对于传统方法的内存开销降低最高可达 52%。因此，COMFORT 为消费者医疗保健中实现高效、有效的早期疾病检测的个性化、主动解决方案 paving 了道路。