研究强化学习中 Actor 与 Critic 表示之间的相互作用

从高维观测流中提取相关信息是深度强化学习智能体面临的核心挑战。Actor-Critic 算法给这一挑战增加了进一步的复杂性，因为通常不清楚相同的信息是否对 actor 和 critic 都相关。为此，我们在此探索了 on-policy 算法中 actor 和 critic 有效表示背后的原理。我们的研究重点是理解 actor 和 critic 是否会从分离的表示而非共享的表示中受益。我们的主要发现是，当分离时，actor 和 critic 的表示会系统性地专门提取环境中不同类型的信息——actor 的表示倾向于关注与动作相关的信息，而 critic 的表示则专门编码价值和动力学信息。我们进行了严格的实证研究，以理解不同的表示学习方法如何影响 actor 和 critic 的专门化及其在样本效率和生成能力方面的下游性能。最后，我们发现分离的 critic 在训练期间的探索和数据收集过程中发挥着重要作用。我们的代码、训练好的模型和数据可在 https://github.com/francelici/deac-rep 获取。