同等关键：数据集中的样本、目标及其映射
机器学习
2025-06-04 v1 人工智能
摘要
数据本质上具有双重属性：样本与目标。对于目标，知识蒸馏已被广泛用于加速模型收敛，主要依赖于教师生成的软目标监督。相反，近期在数据高效学习方面的进展强调了样本优化技术（如数据集蒸馏），却忽视了目标的关键作用。这种二分法促使我们研究样本与目标如何共同影响训练动态。为弥补这一空白，我们首先从样本-目标交互的视角建立现有范式的分类法，将其划分为不同的样本到目标映射策略。在此基础上，我们随后提出了一种新颖的统一损失框架，以评估它们对训练效率的影响。通过对我们提出的策略进行广泛的实证研究，我们全面分析了目标与样本的类型、数量及质量的变化如何影响模型训练，为提升训练效能提供了六项关键见解。
引用
@article{arxiv.2506.01987,
title = {Equally Critical: Samples, Targets, and Their Mappings in Datasets},
author = {Runkang Yang and Peng Sun and Xinyi Shang and Yi Tang and Tao Lin},
journal= {arXiv preprint arXiv:2506.01987},
year = {2025}
}