面向深度机器人学习的适用于非平稳问题的优化器

本文提出一种用于深度学习的新优化器，名为d-AmsGrad。在真实世界数据中，噪声与离群点无法从用于学习机器人技能的数据集中排除。对于通过实时采集数据学习的机器人而言，该问题尤为突出，因为数据无法人工筛选。因此已开发若干噪声鲁棒优化器以解决此问题，其中名为AmsGrad的Adam优化器变体具有收敛性证明。但在实践中，它并未改善机器人场景中的学习性能。其原因被假设为大多数机器人学习问题是非平稳的，而AmsGrad假设学习过程中的最大二阶动量平稳给定。为适配非平稳问题，我们提出一种缓慢衰减最大二阶动量的改进版本。所提优化器具有与基线相同的达到全局最优的能力，且在机器人问题中的性能优于基线。