临床数据压缩的几何特征与结构化轨迹替代物

数据压缩构建紧凑的合成数据集，以保留大型真实数据集的训练实用性，可能支持受管控领域如医疗保健领域的后续研究。轨迹匹配（TM）是一种广泛使用的压缩方法，通过观察在真实数据上训练期间模型参数的变化来监督合成数据，但这种监督信号的结构性尚不为人所知。在本文中，我们对轨迹匹配进行几何特征化，表明固定的合成数据集只能再现此类训练诱导参数变化的有限范围。当结果监督信号具有广谱特性时，这会导致条件可表示性瓶颈。针对这一不匹配， 我们提出贝塞尔轨迹匹配（BTM），用二次贝塞尔轨迹替代物取代SGD轨迹，连接初始和最终模型状态之间的轨迹。这些替代物经过优化，以减少沿路径的平均损失，同时用更结构化、更低秩的信号取代广泛的SGD衍生监督信号，这种信号更符合固定合成数据集的优化约束，并且显著减少轨迹存储。对五个临床数据集进行实验表明，BTM在一致上匹配或优于标准轨迹匹配，尤其在低患病率和低合成预算情境下获得最大提升。这些结果表明，有效的轨迹匹配取决于对监督信号进行结构化处理，而非再现随机优化路径。