Neuro-Planner：基于神经形态强化学习、面向深度相机微型飞行器的三维视觉导航方法
机器人学
2022-10-06 v1
摘要
微型飞行器（MAV）的传统视觉导航方法通常依赖于先验地图来计算满足约束的可通行路径。然而，这些方法存在计算资源需求高、在陌生环境中鲁棒性差等问题。为解决上述问题，我们提出一种神经形态强化学习方法（Neuro-Planner），结合脉冲神经网络（SNN）与深度强化学习（DRL）来实现 MAV 基于深度相机的三维视觉导航。具体而言，我们设计了基于双态 LIF（TS-LIF）神经元及其编解码方案的脉冲 actor 网络以实现高效推理。随后，我们改进的混合深度确定性策略梯度（HDDPG）与基于 TS-LIF 的时空反向传播（STBP）算法被用作 actor-critic 网络架构的训练框架。为验证所提 Neuro-Planner 的有效性，我们在软件在环（SITL）仿真框架中与多种 SNN 训练算法（STBP、BPTT 与 SLAYER）进行了详细对比实验。我们的 HDDPG-STBP 在两个评估环境中的导航成功率分别比原始 DDPG 高 4.3% 和 5.3%。据我们所知，这是首个将神经形态计算与深度强化学习结合用于 MAV 三维视觉导航任务的工作。
引用
@article{arxiv.2210.02305,
title = {Neuro-Planner: A 3D Visual Navigation Method for MAV with Depth Camera based on Neuromorphic Reinforcement Learning},
author = {Junjie Jiang and Delei Kong and Kuanxv Hou and Xinjie Huang and Hao Zhuang and Fang Zheng},
journal= {arXiv preprint arXiv:2210.02305},
year = {2022}
}