MILO：用于高效模型训练与调参的模型无关子集选择框架
机器学习
2023-06-21 v4 人工智能
摘要
在大规模数据集上训练深度网络和调整超计算成本高昂。高效训练的主要研究方向之一是通过选择泛化性良好的训练数据子集来降低训练成本。与简单的自适应随机子集选择基线相比，现有的智能子集选择方法因耗时的子集选择步骤而缺乏竞争力，该步骤涉及计算模型相关梯度和特征嵌入，并采用子模目标贪婪最大化。我们的核心见解是，去除对下游模型参数的依赖可将子集选择作为预处理步骤，并使人们能够以零额外成本训练多个模型。在这项工作中，我们提出 MILO，一种模型无关的子集选择框架，它将子集选择与模型训练解耦，同时通过由易到难的课程学习实现更优的模型收敛与性能。我们的实证结果表明，与全数据集训练或调参相比，MILO 能以不牺牲性能为代价，将模型训练加速 倍，将超参数调参加速 倍。
引用
@article{arxiv.2301.13287,
title = {MILO: Model-Agnostic Subset Selection Framework for Efficient Model Training and Tuning},
author = {Krishnateja Killamsetty and Alexandre V. Evfimievski and Tejaswini Pedapati and Kiran Kate and Lucian Popa and Rishabh Iyer},
journal= {arXiv preprint arXiv:2301.13287},
year = {2023}
}