神经网络控制器及其符号表示的堪忧特性

我们就简单强化学习基准问题中控制器的鲁棒性提出担忧。我们关注神经网络控制器及其低神经元与符号抽象。一个达到高平均回报值的典型控制器仍会产生大量持续的低回报解，这是一种极不可取的特性，易被对手利用。我们发现较简单的控制器容许更多持续的坏解。我们提供了一种用于系统性鲁棒性研究的算法，并使用计算机辅助证明方法证明了持续解的存在性，以及在某些情况下周期轨道的存在性。