基于DNN解耦的多智能体协同推理：中间特征压缩与边缘学习
机器学习
2022-06-14 v2
摘要
近年来，通过协同推理部署深度神经网络（DNN）模型——将预训练模型拆分为两部分并分别在用户设备（UE）与边缘服务器上执行——变得颇具吸引力。然而，DNN庞大的中间特征阻碍了灵活解耦，且现有方法要么聚焦于单UE场景，要么仅依据所需CPU周期简单定义任务，却忽略了单个DNN层的不可分性。本文研究多智能体协同推理场景，其中单个边缘服务器协调多个UE的推理。我们的目标是对所有UE实现快速且节能的推理。为实现该目标，我们首先设计一种基于轻量自编码器的方法来压缩庞大的中间特征。随后，我们根据DNN的推理开销定义任务，并将该问题建模为马尔可夫决策过程（MDP）。最后，我们提出一种多智能体混合近端策略优化（MAHPPO）算法，以求解具有混合动作空间的优化问题。我们使用不同类型的网络开展了大量实验，结果表明我们的方法最多可降低56%的推理延迟并节省最多72%的能耗。
引用
@article{arxiv.2205.11854,
title = {Multi-Agent Collaborative Inference via DNN Decoupling: Intermediate Feature Compression and Edge Learning},
author = {Zhiwei Hao and Guanyu Xu and Yong Luo and Han Hu and Jianping An and Shiwen Mao},
journal= {arXiv preprint arXiv:2205.11854},
year = {2022}
}