基于特权信息的数据集缩减
计算机视觉与模式识别
2026-03-11 v3 人工智能
机器学习
摘要
数据集缩减 (DC) 旨在从大数据集中选择或提炼出保持目标任务性能的较小子集。现有方法主要关注在与原始数据集相同格式下修剪或合成数据，通常是输入数据及其对应标签。然而，在 DC 设置中，我们发现可以通过合成超过数据-标签对的更多信息作为额外学习目标来促进模型训练。本文引入了使用特权信息的数据集缩减 (DCPI)，通过合成缩减后数据集的特权信息来丰富 DC。这种特权信息可以表现为特征标签或注意力标签，提供额外的监督以改进模型学习。我们的发现表明，有效的特征标签必须在过于判别性和过于多样性之间取得平衡，适度的水平对提高缩减后数据集的有效性最为理想。在 ImageNet-1K、CIFAR-10/100 和 Tiny ImageNet 上的广泛实验表明，DCPI 可以无缝集成到现有的数据集缩减方法中，显著提升性能。
引用
@article{arxiv.2410.01611,
title = {DRUPI: Dataset Reduction Using Privileged Information},
author = {Shaobo Wang and Youxin Jiang and Tianle Niu and Yantai Yang and Ruiji Zhang and Shuhao Hu and Shuaiyu Zhang and Chenghao Sun and Weiya Li and Conghui He and Xuming Hu and Linfeng Zhang},
journal= {arXiv preprint arXiv:2410.01611},
year = {2026}
}
备注
21 pages, 5 figures, 11 tables