效率为免费：理想数据是可传输的表示

数据是现代机器学习中的根本机遇和挑战，目前限制了表示学习的可扩展性，并阻碍了模型演进的进程。本文从优化和泛化两个角度探讨数据的效率属性。我们的理论与实证分析揭示了一个意想不到的发现：对于给定任务，利用面向任务且与体系结构无关的公开可用模型（本文称为"先验模型"）可有效产生高效数据。基于这一洞见，我们提出了Representation Learning Accelerator（ReLA），促进高效数据的形成与利用，从而加速表示学习。利用在CIFAR-10上预训练的ResNet-18作为先验模型来指导在ImageNet-1K上训练ResNet-50，可将计算成本降低50%，同时保持与使用原始BYOL（需100%成本）相同准确率。我们的代码可在https://github.com/LINs-lab/ReLA获取。