HIERAMP：基于层次自回归生成的数据蒸馏放大
计算机视觉与模式识别
2026-03-10 v1
摘要
数据蒸馏通常侧重于全局语义相似性，以创建针对原大规模数据集的小型替代数据集。然而，物体语义本质上具有层次结构。例如，鸟的眼睛位置和外观受其头部轮廓的约束。仅靠全局相似性无法捕捉不同层次上物体相关结构如何支持识别。在本工作中，我们探讨了层次语义对有效蒸馆数据的贡献。我们利用视觉自回归（VAR）模型，其粗到细生成镜像此层次结构，并提出 HIERAMP 来放大不同层次的语义。在每个 VAR 比例尺上，我们注入类别标记以动态识别显著区域，并利用其诱导图指导该比例尺上的放大。这仅增加了边缘推理成本，却将合成引导至判别性部件和结构。经验上，我们发现语义放大导致在构建粗尺度对象布局时，标记选择更具多样性。相反，在细尺度上，放大集中标记用法，增加对物体相关细节的关注。跨越多个流行数据蒸馏基准，HIERAMP 在不显式优化全局相似性的情况下持续提升验证性能，凸显了语义放大对有效数据蒸馆的重要性。
关键词
引用
@article{arxiv.2603.06932,
title = {HIERAMP: Coarse-to-Fine Autoregressive Amplification for Generative Dataset Distillation},
author = {Lin Zhao and Xinru Jiang and Xi Xiao and Qihui Fan and Lei Lu and Yanzhi Wang and Xue Lin and Octavia Camps and Pu Zhao and Jianyang Gu},
journal= {arXiv preprint arXiv:2603.06932},
year = {2026}
}
备注
The paper is accepted by CVPR 2026