迈向物理系统可控表示的习得

动态系统的习得表示降低了维度，有可能支撑下游强化学习（RL）。然而，尚无既定方法预测表示对控制的适用性，且评估主要经由下游 RL 性能完成，拖慢了表示设计。为对面向控制的表示进行原则性评估，我们考量真实状态与相应表示间的关系，提出理想情况下每个表示对应唯一的真实状态。这催生了两个度量：时间平滑性，以及真实状态/表示间的高互信息。这些度量与既有的表示目标相关，并在拉格朗日系统上加以研究，其中真实状态、信息需求及状态的统计性质可为一大类系统所形式化。这些度量被证明能在模拟的插孔入 peg 任务中比较基于自编码器的表示变体时预测强化学习性能。