中文

基于模态连通性轨迹代理的临床数据集浓缩改进

机器学习 2025-10-20 v2 计算机视觉与模式识别 数据库

摘要

数据集浓缩(DC)使得创建紧凑且保护隐私的合成数据集成为可能,这些数据集可以匹配真实患者记录的效用,支持对高度受监管的临床数据进行民主化访问以开发下游临床模型。最先进的DC方法通过对齐在真实数据和合成数据上训练模型的训练动态来监督合成数据,通常使用完整的随机梯度下降(SGD)轨迹作为对齐目标;然而,这些轨迹往往噪声大、曲率高且存储密集,导致梯度不稳定、收敛缓慢和大量内存开销。我们通过用平滑、低损失的参数化代理——具体而言是连接真实训练轨迹中初始和最终模型状态的二次Bézier曲线——来取代完整的SGD轨迹来解决这些限制。这些模态连通路径提供了无噪声、低曲率的监督信号,从而稳定梯度、加速收敛并消除对密集轨迹存储的需求。我们从理论上证明了Bézier模态连通作为SGD路径有效代理的合理性,并在经验上表明所提出的方法在五个临床数据集上优于最先进的浓缩方法,产生的浓缩数据集能够支持有效的临床模型开发。

关键词

引用

@article{arxiv.2510.05805,
  title  = {Improving Clinical Dataset Condensation with Mode Connectivity-based Trajectory Surrogates},
  author = {Pafue Christy Nganjimi and Andrew Soltan and Danielle Belgrave and Lei Clifton and David A. Clifton and Anshul Thakur},
  journal= {arXiv preprint arXiv:2510.05805},
  year   = {2025}
}

备注

20 pages, 4 figures