通过像素运动感知：基于单目光流学习障碍物避让
机器人学
2025-04-22 v2
摘要
光流捕获图像序列中像素随时间的运动信息，提供了关于运动、深度和环境结构的信息。飞行昆虫利用这些信息在复杂环境中导航并避开障碍物，从而执行高度敏捷的机动动作。尽管光流具有潜力，但自主飞行机器人尚未充分利用这些运动信息来实现同等水平的敏捷性和鲁棒性。从光流进行控制面临的挑战包括：在高速下提取准确的光流、处理噪声估计以及在复杂环境中确保鲁棒性能。为解决这些挑战，本文提出了一种基于单目光流的四旋翼障碍物避让端到端系统。我们开发了一个高效的可微分模拟器 coupled with 简化四旋翼模型，使策略能够通过一阶梯度优化直接训练。此外，本文引入了一种中心光流注意力机制和一种动作引导的主动感知策略，以增强策略对任务相关光流观测的关注，从而实现飞行过程中更具响应性的决策。本文在仿真和真实环境中使用 FPV 竞速无人机对系统进行了验证。尽管在仿真中的简单环境中进行训练，该系统在真实世界的各种未知杂乱环境中展示了敏捷且鲁棒的飞行，速度高达 6 m/s。
引用
@article{arxiv.2411.04413,
title = {Seeing Through Pixel Motion: Learning Obstacle Avoidance from Optical Flow with One Camera},
author = {Yu Hu and Yuang Zhang and Yunlong Song and Yang Deng and Feng Yu and Linzuo Zhang and Weiyao Lin and Danping Zou and Wenxian Yu},
journal= {arXiv preprint arXiv:2411.04413},
year = {2025}
}