一般图中具有有限记忆的协作学习：复杂性、可学习性与可靠性
机器学习
2023-05-09 v3 社会与信息网络
摘要
我们考虑一般图中的 K 臂赌博机问题，其中智能体任意连接，且每个智能体具有有限的记忆能力与通信带宽。目标是让每个智能体最终学习到最优臂。现有研究通常假设通信图应为完全图或结构良好的图，而这一假设在实践中并非总成立。此外，有限的记忆与通信带宽也限制了智能体间的协作，因为智能体记忆并通信的经验极少。并且，某个智能体可能被破坏而向同伴分享伪造的经验，而记忆与通信方面的资源限制会显著制约学习过程的可靠性。为应对上述问题，我们提出一种三阶段协作学习算法。在每一步中，智能体通过一般通信图中的轻量随机游走彼此分享最新经验，随后依据从同伴处收到的推荐决定拉取哪些臂。最后，智能体基于拉臂所获奖励更新其采纳情况（即对臂的偏好）。我们的理论分析表明，当有足量智能体参与协作学习时，即便记忆能力有限且通信轻量，所有智能体最终都以高概率学到最优臂。我们还在理论分析中揭示了算法可容忍的被破坏智能体数量的上界。所提三阶段协作学习算法的有效性最终通过在合成与真实数据集上的大量实验得到验证。
引用
@article{arxiv.2201.12482,
title = {Collaborative Learning in General Graphs with Limited Memorization: Complexity, Learnability, and Reliability},
author = {Feng Li and Xuyang Yuan and Lina Wang and Huan Yang and Dongxiao Yu and Weifeng Lv and Xiuzhen Cheng},
journal= {arXiv preprint arXiv:2201.12482},
year = {2023}
}