PRISM：通过解耦架构偏差实现数据蒸馏的多样化
机器学习
2026-02-24 v2 人工智能
计算机视觉与模式识别
摘要
数据蒸馏（DD）旨在生成紧凑且忠实的合成数据，但现有方法往往继承单一教师模型的归纳偏差。随着数据规模的增加，这种偏差会导致生成的数据趋于平滑、均质，降低类内多样性，限制泛化能力。我们提出了PRISM（PRIors from diverse Source Models），一种在合成过程中解耦架构偏差的框架。PRISM解耦logit匹配与正则化目标，分别由不同的教师架构监督：主要模型负责logit，随机子集负责批次归一化（BN）对齐。在ImageNet-1K上，PRISM在低至中IPC区间 consistently（一致）且可重复地超越单教师方法（如SRe2L）以及最新多教师变体（如G-VBSM）。生成的数据在类内多样性方面表现出显著提升，反映为特征之间余弦相似性显著下降。我们进一步分析了教师选择策略（生成前 vs. 生成内），并引入一种可快速并行合成的跨类批次组装方案。代码将在审查期后发布。
引用
@article{arxiv.2511.09905,
title = {PRISM: Diversifying Dataset Distillation by Decoupling Architectural Priors},
author = {Brian B. Moser and Shalini Sarode and Federico Raue and Stanislav Frolov and Krzysztof Adamkiewicz and Arundhati Shanbhag and Joachim Folz and Tobias C. Nauen and Andreas Dengel},
journal= {arXiv preprint arXiv:2511.09905},
year = {2026}
}