DPMAC：面向协作多智能体强化学习的差分隐私通信
机器学习
2023-08-22 v1
摘要
通信是人类社会与多智能体强化学习(MARL)中协作的基础。人类在与其他个体交流时也希望保护自身隐私，然而现有MARL研究尚未考虑此类隐私问题。为此，我们提出了差分隐私多智能体通信(DPMAC)算法，通过为每个智能体配备具有严格-差分隐私(DP)保证的本地消息发送器来保护个体智能体的敏感信息。与隐私保护场景中常见的直接对消息施加预定义DP噪声不同，我们分别为每个智能体采用随机消息发送器，并将DP要求纳入发送器中，从而自动调整学习到的消息分布以缓解DP噪声带来的不稳定性。进一步，我们证明了具有隐私保护通信的协作MARL中存在纳什均衡，这表明该问题在博弈论意义下是可学习的。大量实验表明，在隐私保护场景中DPMAC相较于基线方法具有明显优势。
引用
@article{arxiv.2308.09902,
title = {DPMAC: Differentially Private Communication for Cooperative Multi-Agent Reinforcement Learning},
author = {Canzhe Zhao and Yanjie Ze and Jing Dong and Baoxiang Wang and Shuai Li},
journal= {arXiv preprint arXiv:2308.09902},
year = {2023}
}
备注
Full version; Accepted in IJCAI 2023