基于谱梯度手术的数据集蒸馏领域通用化
机器学习
2026-05-20 v1 计算机视觉与模式识别
摘要
数据集蒸馏(DD)合成紧凑的合成数据集，以保留完整数据集的训练效用，但其标准表述假设测试数据遵循与训练数据相同的分布，这在实际中很少成立。直接将现有领域泛化(DG)技术应用于蒸馏后数据是不可行的，因为现有 DG 方法依赖于真实数据集的自然多样性，而紧凑合成集本质上缺乏这种多样性，同时还会产生大量数据增广开销，这与数据集蒸馈的效率目标相冲突。为此，我们提出领域通用数据集蒸馏(DGDD)，一个新问题设定，显式针对蒸馆数据集的外分布(OOD)泛化。我们通过广泛采用的 DD 基线——分布匹配(DM)来研究该问题。我们认为 DM 的 OOD 脆弱性源于压缩合成集中类判别信息与域特定信息的纠缠，我们提出谱梯度手术(SGS)来解耦这两者。SGS 的关键洞察在于：在谱域中，跨域的梯度一致性揭示了哪些梯度分量在源域之间共享——因此是类判别性的——而哪些是域特定的。基于此，SGS 在标准 DM 更新中引入两个互补的梯度：一个强化跨域共享分量，另一个显式促进蒸馆数据集内部的多样性。大量实验在多样化规模基准上表明，SGS 在保持与现有 DM 方法无缝兼容的同时，显著提升了 OOD 泛化性能。
引用
@article{arxiv.2605.18836,
title = {Spectral Gradient Surgery for Domain-Generalizable Dataset Distillation},
author = {Minyoung Oh and Najeong Chae and Jae-Young Sim},
journal= {arXiv preprint arXiv:2605.18836},
year = {2026}
}
备注
17pages