关系 Q 函数：基于多智能体学习恢复连续动作域中不可预见机器人故障

合作式多智能体学习方法是开发有效合作策略在多智能体领域中至关重要。在机器人领域，这些方法扩展到单机器人系统，其中它们使不同机器人模块（例如机器人四肢或关节）之间实现协调。然而，当前方法往往难以在算法收敛到策略后快速适应不可预见的故障，例如故障的机器人四肢。为克服这一问题，我们引入了关系 Q 函数（Relational Q-Functionals, RQF）框架。RQF 利用表示智能体关系的关系网络来增强适应性，提供对故障的韧性。我们的算法还能高效处理连续状态-动作领域，使其适用于机器人学习任务。我们的实验结果表明，RQF 使智能体能够有效地利用这些关系来促进合作并从单机器人系统中意外故障中恢复，其中包含多个相互作用的模块。因此，我们的方法在多智能体系统中提供了有前景的应用，特别是在不可预见故障的场景中。