激光雷达导航中更强自编码器的陷阱

相较于在原始观测上训练，预训练自编码器用于强化学习的益处已为人所知[1]。本文中，我们致力于生成紧凑且信息丰富的状态表示。具体而言，我们训练了一个用于2D激光雷达扫描的变分自编码器，以将其潜状态用于导航任务的强化学习。为实现自编码流程的高重建能力，我们提出了一种在2D激光雷达扫描自编码背景下新颖的预处理方法，将其转化为局部二值占据图像。该方法无额外要求，既不需要自定位也不需要鲁棒建图，因此可应用于任意环境，并易于从仿真迁移至真实世界。在第二阶段，我们展示了由自编码流程生成的紧凑状态表示在简单导航任务中的使用，并揭示了重建能力增强未必带来性能提升的陷阱。我们使用tensorflow以python实现了该方法。我们的数据集由pybullet仿真生成，并使用slamtec rplidar A3记录。实验表明，相较于现有最优方法，我们的方法对2D激光雷达扫描的重建能力显著提升。然而，正如我们在实验中所展示的，在基于激光雷达的导航任务中，当改进自编码流程生成的潜状态表示时，其对强化学习的影响是不可预测的。这令人惊讶，且在针对强化学习任务优化预训练自编码器的过程中需加以考虑。