DANCE: 双视图分布对齐用于数据集压缩
计算机视觉与模式识别
2024-06-04 v1
摘要
数据集压缩通过学习一个小的合成训练集来解决数据负担问题，该训练集保留了较大真实训练集中的基本知识。迄今为止，最先进的结果通常由优化导向的方法产生，但它们的低效率阻碍了其在真实数据集上的应用。另一方面，分布匹配方法显示出显著的效率，但与优化导向方法相比结果次优。在本文中，我们从类内和类间视角揭示了当前基于DM方法的局限性，即持续训练和分布偏移。为了解决这些问题，我们提出了一种新的基于DM的方法，名为双视图分布对齐用于数据集压缩（DANCE），该方法利用几个预训练模型从类内和类间视角改进DM。具体来说，从类内视角，我们构建多个“中间编码器”来执行伪长期分布对齐，使得压缩集在整个训练过程中成为真实集的一个良好代理；而从类间视角，我们使用专家模型进行分布校准，确保合成数据在压缩过程中保持在真实类区域内。实验表明，所提出的方法在各种场景下实现了最先进的性能，同时保持了与原始DM相当的计算效率。源代码可在https://github.com/Hansong-Zhang/DANCE获取。
引用
@article{arxiv.2406.01063,
title = {DANCE: Dual-View Distribution Alignment for Dataset Condensation},
author = {Hansong Zhang and Shikun Li and Fanzhao Lin and Weiping Wang and Zhenxing Qian and Shiming Ge},
journal= {arXiv preprint arXiv:2406.01063},
year = {2024}
}
备注
This work has been accepted by IJCAI-24