边缘 AI 协作学习：贝叶斯方法的不确定性估计
机器学习
2024-10-14 v1 分布式、并行与集群计算
多智能体系统
摘要
边缘计算的 recent 进展显著提升了物联网 (IoT) 设备的 AI 能力。但这些进展在知识交换和资源管理方面带来了新挑战，尤其是针对边缘计算环境中的时空数据局部性。本研究考察了用于在具有自主网络能力的 AI 启用边缘设备上部署分布式机器学习的算法与方法。我们聚焦于考虑独立代理所遇数据空间变异性时，对学习结果置信水平的确定。以协作制图为案例，我们探索将分布式神经网络优化 (DiNNO) 算法扩展引入贝叶斯神经网络 (BNN) 以进行不确定性估计的应用。我们使用 Webots 平台实现 3D 环境仿真以模拟协作制图任务，将 DiNNO 算法解耦为用于异步网络通信的独立进程，并集成基于 BNN 的分布式不确定性估计。我们的实验表明，BNN 能有效支持分布式学习情境下的不确定性估计，学习超参数的精确调谐对于有效不确定性评估至关重要。值得注意的是，应用 KL 发散进行参数正则化，可在分布式 BNN 训练中相较于其他正则化策略实现 12-30% 的验证损失降低。
引用
@article{arxiv.2410.08651,
title = {Edge AI Collaborative Learning: Bayesian Approaches to Uncertainty Estimation},
author = {Gleb Radchenko and Victoria Andrea Fill},
journal= {arXiv preprint arXiv:2410.08651},
year = {2024}
}