健康基础模型中的涌现符号结构：提取、对齐与跨模态迁移
机器学习
2026-05-11 v1
摘要
健康基础模型（Health Foundation Models）从可穿戴传感器中学习到有用的表征，但对其编码内容的解释以及在训练后跨模态迁移知识仍然困难。我们提出一种训练后框架，将冻结的嵌入分解为可解释的方向，称为符号，并利用这些符号在不重新训练的情况下对齐嵌入空间。我们在三个针对脉搏血氧图（PPG）和加速度计数据的基础模型上进行评估，这些模型独立地在来自约17.2万名参与者的约2000万分钟无标签数据上预训练，并在3万名受试者的保留队列上进行分析。我们发现，提取的符号与健康状况和生理属性相关联，这些关联在模态和架构之间部分共享。通过符号实现的跨模态迁移保留了超过95%的领域内性能，跨域方向几乎对称，并在有限配对数据上即饱和，这表明对齐恢复了富含生理信息的共享低维子空间。总体而言，这些结果表明健康基础模型的嵌入包含一种跨模态共享且支持跨域迁移的可解释符号组织。
引用
@article{arxiv.2605.07407,
title = {Emergent Symbolic Structure in Health Foundation Models: Extraction, Alignment, and Cross-Modal Transfer},
author = {Gajendra Katuwal and Advait Koparkar and Salar Abbaspourazad and Anshuman Mishra and Sarvesh Kirthivasan},
journal= {arXiv preprint arXiv:2605.07407},
year = {2026}
}
备注
8 pages ICML workshop, 4 main figures