论价值函数的有限表示能力及其与统计（低）效性的联系

识别基于模型的方法与无模型方法之间的权衡是强化学习中的一个核心问题。基于价值的方法提供了显著的计算优势，有时其统计效率与基于模型的方法相当。然而，聚焦于策略评估这一核心问题，我们表明关于转移动态的信息可能无法在价值函数空间中表示。我们通过一系列针对许多重要问题中出现的结构的案例研究来探讨这一点。在部分案例中，不存在信息丢失，基于价值的方法与基于模型的方法具有相同的统计效率。在其他密切相关的例子中，信息丢失严重，基于价值的方法表现严重不足。更深入的研究指出，表示能力的局限性是导致低效的驱动因素，而非算法设计的失败。