最小化累积轨迹误差以改进数据集蒸馏
机器学习
2023-03-28 v3 人工智能
计算机视觉与模式识别
摘要
基于模型的深度学习取得了惊人成功，部分归因于大规模真实世界数据的可得性。然而，处理如此海量数据在计算、存储、训练及优良神经架构搜索方面代价高昂。数据集蒸馏因此近期受到关注。该范式将来自大型真实数据集的信息蒸馏为微小紧凑的合成数据集，使得处理后者的理想情况可产出与前者相近的性能。最先进方法主要依赖通过在真实与合成数据间匹配训练所得梯度来学习合成数据集。但这些梯度匹配方法受所谓累积轨迹误差的影响，该误差由蒸馏与后续评估间的不一致引起。为减轻此累积轨迹误差的不利影响，我们提出一种新方法，鼓励优化算法寻求平坦轨迹。我们表明，经合成数据训练的权重在朝向平坦轨迹的正则化下对累积误差扰动具有鲁棒性。我们的方法称为平坦轨迹蒸馏（FTD），在更高分辨率的 ImageNet 数据集图像子集上可将梯度匹配方法性能提升多达 4.7%。我们还在不同分辨率数据集上验证了方法的有效性与泛化性，并展示了其在神经架构搜索上的适用性。代码见 https://github.com/AngusDujw/FTD-distillation。
引用
@article{arxiv.2211.11004,
title = {Minimizing the Accumulated Trajectory Error to Improve Dataset Distillation},
author = {Jiawei Du and Yidi Jiang and Vincent Y. F. Tan and Joey Tianyi Zhou and Haizhou Li},
journal= {arXiv preprint arXiv:2211.11004},
year = {2023}
}