软致动昆虫尺度微型航空器的悬停飞行
机器人学
2025-02-19 v1 机器学习
系统与控制
系统与控制
摘要
软致动昆虫尺度微型航空器（IMAVs）在设计鲁棒且计算效率高的控制器方面存在独特挑战。在毫米尺度上，快速机器人动力学（约毫秒级），以及系统延迟、模型不确定性和外部扰动显著影响飞行性能。本文设计了一种深度强化学习（RL）控制器，以解决系统延迟和不确定性问题。为初始化该神经网络（NN）控制器，我们提出一种modified behavior cloning（BC）方法，通过状态-动作重新匹配以考虑延迟和基于domain-randomized expert demonstration来处理不确定性。随后我们应用近端策略优化（PPO）对策略进行微调，以提升性能并平滑指令。在仿真中，我们的modified BC显著提高了基准BC的平均奖励；而使用PPO的RL显著改善了飞行质量并降低了指令波动。我们将该控制器部署在两个不同质量的昆虫尺度航空机器人上（分别为720毫克和850毫克），这些机器人演示了多个成功的零样本悬停飞行，最长飞行持续50秒，横向方向的均方根误差为1.34厘米，高度方向为0.05厘米，标志着首个基于深度RL的软驱动IMAVs实现端到端飞行控制。
引用
@article{arxiv.2502.12355,
title = {Hovering Flight of Soft-Actuated Insect-Scale Micro Aerial Vehicles using Deep Reinforcement Learning},
author = {Yi-Hsuan Hsiao and Wei-Tung Chen and Yun-Sheng Chang and Pulkit Agrawal and YuFeng Chen},
journal= {arXiv preprint arXiv:2502.12355},
year = {2025}
}
备注
7 pages, 7 figures, accepted to 2025 IEEE International Conference on Soft Robotics (RoboSoft)