社交网络结构塑造创新：基于 SAPIENS 的强化学习经验共享
人工智能
2022-11-21 v2 多智能体系统
社会与信息网络
摘要
人类文化依赖于创新：我们持续探索如何将已有元素组合以创造新元素的能力。创新并非孤立的，它依赖于集体搜索与积累。强化学习（RL）方法通常假设全连接群体最适合创新。然而，人类实验室与实地研究表明，层级式创新更能由动态社交网络结构稳健实现。在动态环境中，人类在个体或小集群内创新与同他人分享成果之间往复切换。据我们所知，社交网络结构对创新的作用尚未在 RL 中被系统研究。在此，我们采用多层次问题设定（WordCraft）与三项不同创新任务，检验社交网络结构影响分布式 RL 算法性能的假设。我们系统设计了以不同结构（全连接、小世界、动态、环形）共享其回放缓冲区经验的 DQN 网络，并引入一组行为与记忆指标以拓展 RL 经典的聚焦于奖励的评估框架。比较不同社交网络结构在不同任务上达成的创新水平表明：第一，与人类发现一致，在具欺骗性与大搜索空间的任务中，动态结构内的经验共享达成最高创新水平；第二，当存在单一明确创新路径时，经验共享无甚助益；第三，我们提出的指标有助于理解不同社交网络结构在不同任务上的成功，个体与群体层面的经验多样性提供了关键洞见。
引用
@article{arxiv.2206.05060,
title = {Social Network Structure Shapes Innovation: Experience-sharing in RL with SAPIENS},
author = {Eleni Nisioti and Mateo Mahaut and Pierre-Yves Oudeyer and Ida Momennejad and Clément Moulin-Frier},
journal= {arXiv preprint arXiv:2206.05060},
year = {2022}
}