基于期望最大化和涡轮深度近似消息传递的贝叶斯深度学习
机器学习
2024-06-11 v2 人工智能
摘要
高效学习和模型压缩算法是深度学习（DL）兴起的关键工作。本文提出了一种基于消息传递的贝叶斯深度学习算法，称为EM-TDAMP，以避免传统基于随机梯度下降（SGD）的学习算法和基于正则化的模型压缩方法的缺点。具体而言，我们将DNN学习和压缩问题表述为稀疏贝叶斯推断问题，其中采用群稀疏先验以实现结构化模型压缩。然后，我们提出了一个期望最大化（EM）框架来估计参数（E步）的后验分布并更新超参数（M步），其中E步由一种新提出的涡轮深度近似消息传递（TDAMP）算法实现。我们进一步扩展了EM-TDAMP，提出了一种新的贝叶斯联邦学习框架，其中客户端基于本地数据执行TDAMP来高效计算局部后验分布，中央服务器首先聚合局部后验分布以更新全局后验分布，然后基于EM更新超参数以加速收敛。我们详细阐述了EM-TDAMP应用于波士顿房价预测和手写体识别的应用，并提供了大量数值结果来展示EM-TDAMP的优势。
引用
@article{arxiv.2402.07366,
title = {Bayesian Deep Learning Via Expectation Maximization and Turbo Deep Approximate Message Passing},
author = {Wei Xu and An Liu and Yiting Zhang and Vincent Lau},
journal= {arXiv preprint arXiv:2402.07366},
year = {2024}
}