PRANC：用于压缩深度模型的伪随机网络
机器学习
2023-08-30 v2
摘要
我们证明深度模型可在权重空间中重新参数化为若干随机初始化并冻结的深度模型的线性组合。训练过程中，我们寻求位于这些随机模型（即“基”网络）所张成子空间内的局部极小。我们的框架PRANC能够实现深度模型的显著压缩。该模型可使用单个标量“种子”重建，该种子用于生成伪随机“基”网络，连同学习到的线性混合系数。在实际应用中，PRANC解决了高效存储与通信深度模型的挑战，这是多智能体学习、持续学习器、联邦系统和边缘设备等多种场景中的常见瓶颈。在本研究中，我们采用PRANC压缩图像分类模型，并通过压缩其关联的隐式神经网络来压缩图像。当将深度模型压缩近倍时，PRANC在图像分类上大幅优于基线。此外，我们展示PRANC通过即时生成逐层权重实现内存高效推断。PRANC的源代码见：\url{https://github.com/UCDvision/PRANC}
引用
@article{arxiv.2206.08464,
title = {PRANC: Pseudo RAndom Networks for Compacting deep models},
author = {Parsa Nooralinejad and Ali Abbasi and Soroush Abbasi Koohpayegani and Kossar Pourahmadi Meibodi and Rana Muhammad Shahroz Khan and Soheil Kolouri and Hamed Pirsiavash},
journal= {arXiv preprint arXiv:2206.08464},
year = {2023}
}