InfoBatch：通过无偏动态数据剪枝实现无损训练加速
计算机视觉与模式识别
2023-10-23 v2
摘要
数据剪枝旨在以更低的总体代价获得无损性能。一种常见方法是过滤掉对训练贡献较小的样本。与原始数据相比，这可能导致梯度期望偏差。为解决该问题，我们提出\textbf{InfoBatch}，一种旨在通过无偏动态数据剪枝实现无损训练加速的新框架。具体而言，InfoBatch基于损失分布随机剪枝部分信息量较低的样本，并重新缩放剩余样本的梯度以逼近原始梯度。作为一个即插即用且与架构无关的框架，InfoBatch在分类、语义分割、视觉预训练以及指令微调任务上持续取得无损训练结果。在CIFAR10/100、ImageNet-1K和ADE20K上，InfoBatch无损地节省40%的总体代价。对于预训练MAE和扩散模型，InfoBatch可分别节省24.8%和27%的代价。对于LLaMA指令微调，InfoBatch亦能节省20%代价，并且与核心集选择方法兼容。代码已公开于\href{https://github.com/henryqin1997/InfoBatch}{github.com/NUS-HPC-AI-Lab/InfoBatch}。
引用
@article{arxiv.2303.04947,
title = {InfoBatch: Lossless Training Speed Up by Unbiased Dynamic Data Pruning},
author = {Ziheng Qin and Kai Wang and Zangwei Zheng and Jianyang Gu and Xiangyu Peng and Zhaopan Xu and Daquan Zhou and Lei Shang and Baigui Sun and Xuansong Xie and Yang You},
journal= {arXiv preprint arXiv:2303.04947},
year = {2023}
}
备注
The second version of InfoBatch, we extend it into SSL and LLM tasks