通过多种骨干与统计匹配的广义大规模数据浓缩
计算机视觉与模式识别
2024-03-19 v3 人工智能
摘要
SRe2L引入的轻量级“局部匹配全局”匹配成功创建了包含完整224x224 ImageNet-1k全面信息的蒸馏数据集。然而，这种单方面方法局限于特定骨干、层和统计量，限制了对蒸馏数据集泛化能力的提升。我们认为充分且多样的“局部匹配全局”匹配比单一匹配更精确有效，并能创建信息更丰富、泛化更好的蒸馏数据集。我们将此视角称为“广义匹配”，并在本工作中提出广义多种骨干与统计匹配（G-VBSM），旨在创建具有密度的合成数据集，确保跨多种骨干、层和统计量与完整数据集一致。如实验所示，G-VBSM是首个在小型与大型数据集上均获强性能的算法。具体而言，G-VBSM在每类图像数（IPC）分别为10、50和10时，于128宽ConvNet的CIFAR-100上取得38.7%性能、于ResNet18的Tiny-ImageNet上取得47.6%、于完整224x224 ImageNet-1k的ResNet18上取得31.4%。这些结果分别以3.9%、6.5%和10.1%的优势超越所有SOTA方法。
引用
@article{arxiv.2311.17950,
title = {Generalized Large-Scale Data Condensation via Various Backbone and Statistical Matching},
author = {Shitong Shao and Zeyuan Yin and Muxin Zhou and Xindong Zhang and Zhiqiang Shen},
journal= {arXiv preprint arXiv:2311.17950},
year = {2024}
}
备注
Accepted by CVPR2024