闭式线性探针数据蒸馏：针对预训练视觉模型
计算机视觉与模式识别
2026-05-11 v1 人工智能
机器学习
摘要
数据蒸馏将大型训练集压缩为小型合成集，保留下游训练效用。虽然现有方法多针对从零训练网络，但现代视觉迁移学习常采用冻结预训练编码器后进行轻量级线性探针。现有方法要么通过轨迹基准的梯度匹配展开迭代线性探针更新，要么依赖最初为从零训练设计的神经张量核(NTK)近似的闭式公式。 Neither方案充分利用冻结特征线性探针可直接由预训练特征决定的闭式解这一事实，无需无限宽度近似或内循环轨迹。我们提出闭式线性探针数据蒸馈(Closed-Form Linear-Probe Dataset Distillation, CLP-DD)，一种双层公式，计算合成集诱导的线性探针。随后，通过在真实特征上评估该诱导分类器来更新合成图像，其中分类器的列作为特征空间中已学习的类锚。我们进一步表明，外层目标选择至关重要：将闭式内求解器与标准MSE外层损失搭配，显著低于轨迹基准方法；而采用判别式外层损失可弥补大部分差距。在ImageNet-100上使用四个预训练backbone，CLP-DD在LGM无DSA情况下显著优于，在LGM有DSA时计算成本仅为其的一小部分。
引用
@article{arxiv.2605.07194,
title = {Closed-Form Linear-Probe Dataset Distillation for Pre-trained Vision Models},
author = {Bincheng Peng and Guang Li and Ping Liu and Takahiro Ogawa and Miki Haseyama},
journal= {arXiv preprint arXiv:2605.07194},
year = {2026}
}