电囊心电图模型的规模化问题
机器学习
2026-05-19 v1 人工智能
摘要
尽管规模化法则已在自然语言处理领域建立了基础模型的框架，但其在电囊心电图（ECG）模型中的适用性仍未得到充分 characterization。近期研究并不总能在模型规模或预训练数据规模增加时获得一致的下游收益，使模型架构归纳偏置、预训练范式以及规模化带来的预期改进 remain largely unanswered。本文系统性地调查了ECG领域中的神经网络与损失函数规模化法则。通过在230万条记录的大规模CODE数据集上对120个模型（规模从2万到2000万参数）进行预训练，我们解耦了模型架构（ResNet vs. Transformer）和预训练范式（监督学习（SL） vs. 自监督学习（SSL））的作用。我们发现：(i) SL模型在分布内数据受限，而SSL模型在模型和数据规模方面都稳健；(ii) 在分布外（OOD）泛化方面，ResNet的参数效率是Transformer的1.3到2.5倍，而SSL的数据效率可达SL的16倍，在不可见临床任务上实现最高7.6倍的迁移效率；(iii) 在所观察到的规模范围内，基于ResNet的模型通常实现最低的OOD损失，SSL在不可见临床任务中占据主导地位，而自监督Transformer在非常大模型规模时超过后者。我们的结果表明，有效的ECG基础模型之路在于架构与范式的战略一致，而非粗暴式规模化。
引用
@article{arxiv.2605.17276,
title = {How Do Electrocardiogram Models Scale?},
author = {Jiawei Li and Fabio Bonassi and Ming Jin and Stefan Gustafsson and Johan Sundström and Thomas B. Schön and Antônio H. Ribeiro},
journal= {arXiv preprint arXiv:2605.17276},
year = {2026}
}