lo-fi：无通信的分布式微调
机器学习
2022-11-17 v2
摘要
在微调大型神经网络时，通常使用多个节点并在每个优化步骤通信梯度。相比之下，我们研究完全局部的微调，称之为 lo-fi。在 lo-fi 期间，每个节点独立微调且没有任何通信。然后，在微调结束时跨节点平均权重。当在 ImageNet 上微调 DeiT-base 和 DeiT-large 时，该过程在分布内匹配精度，并且相较于基线（其观测相同数据量但在每步通信梯度）在分布偏移下提高了精度。我们还观察到，在 Common Crawl 上微调 OPT 语言模型（参数至多 1.3B）时，lo-fi 匹配基线性能。通过消除通信需求，lo-fi 降低了微调大型模型的资源门槛，并使得在通信成本过高的环境下进行微调成为可能。
引用
@article{arxiv.2210.11948,
title = {lo-fi: distributed fine-tuning without communication},
author = {Mitchell Wortsman and Suchin Gururangan and Shen Li and Ali Farhadi and Ludwig Schmidt and Michael Rabbat and Ari S. Morcos},
journal= {arXiv preprint arXiv:2210.11948},
year = {2022}
}