Cuttlefish：无需繁琐调参的低秩模型训练
机器学习
2023-05-08 v2
摘要
近期研究表明，训练低秩神经网络能有效减少可训练参数的总数而不牺牲预测精度，从而实现端到端加速。然而，低秩模型训练需要调整若干额外的分解超参数，例如每一层的分解秩。在本文中，我们通过引入 Cuttlefish 应对这一挑战，这是一种自动化的低秩训练方法，消除了调优分解超参数的需要。Cuttlefish 利用了如下观察：经过几轮全秩训练后，每一层的稳定秩（即真实秩的近似）稳定在一个常数值。一旦所有层的稳定秩收敛，Cuttlefish 就从全秩切换为低秩训练，将每个分解的维度设置为其对应的稳定秩。我们的结果表明，Cuttlefish 生成的模型比全秩模型小至多 5.6 倍，并在保持相当精度的同时实现至多 1.2 倍的更快端到端训练过程。此外，Cuttlefish 优于最先进的低秩模型训练方法和其他著名基线。我们实现的源代码可在以下地址找到：https://github.com/hwang595/Cuttlefish。
引用
@article{arxiv.2305.02538,
title = {Cuttlefish: Low-Rank Model Training without All the Tuning},
author = {Hongyi Wang and Saurabh Agarwal and Pongsakorn U-chupala and Yoshiki Tanaka and Eric P. Xing and Dimitris Papailiopoulos},
journal= {arXiv preprint arXiv:2305.02538},
year = {2023}
}
备注
Accepted for presentation at MLSys 2023