通过实证研究提升数据集蒸馏的跨架构泛化能力
机器学习
2024-06-27 v2
摘要
数据集蒸馏（dataset distillation, DD）较差的跨架构泛化能力极大削弱了其实用意义。本文试图通过一项实证研究来缓解这一问题，该研究表明合成数据集对蒸馏模型产生了归纳偏置。因此，评估模型被严格限制为具有与蒸馏模型相似的架构。我们提出了一种利用蒸馏特征进行评估（EvaLuation with distillation Feature, ELF）的新方法，该方法利用蒸馏模型中间层的特征进行跨架构评估。通过这种方式，评估模型学习无偏置知识，因此其架构不受限制，同时保持性能。通过进行广泛的实验，我们成功证明 ELF 能够很好地增强当前 DD 方法的跨架构泛化能力。本项目的代码位于 \url{https://github.com/Lirui-Zhao/ELF}。
引用
@article{arxiv.2312.05598,
title = {Boosting the Cross-Architecture Generalization of Dataset Distillation through an Empirical Study},
author = {Lirui Zhao and Yuxin Zhang and Fei Chao and Rongrong Ji},
journal= {arXiv preprint arXiv:2312.05598},
year = {2024}
}