FlightAR：多视频流与目标检测的AR无人机飞行辅助界面
机器人学
2024-10-23 v1
摘要
无人机技术的快速发展迫切需要新的标准来发展人机交互（HDI）接口。大多数面向HDI的接口，尤其是第一人称视角（FPV）眼镜，都限制了操作员获取环境信息的能力。本文提出一种新型接口FlightAR，将无人机第一人称视角（FPV）和底部摄像头 feed的增强现实（AR）叠加层与头戴式显示器（HMD）集成，以提高飞行员的情境意识。通过FlightAR，该系统不仅为飞行员提供来自多个无人机摄像头的视频流，还能实时观察周围环境。使用NASA-TLX和UEQ调查进行用户评估，结果显示低物理需求（, ）和良好性能（, ），证明与基准FPV眼镜相比，用户评估更佳。参与者还对该系统在刺激性（, ）、新颖性（, ）和吸引力（, ）方面给出了高评分，表明用户体验良好。这些结果表明，该系统通过增强情境意识和直观控制，可能改善无人机飞行体验。代码可在此处获取：https://github.com/Sautenich/FlightAR
引用
@article{arxiv.2410.16943,
title = {FlightAR: AR Flight Assistance Interface with Multiple Video Streams and Object Detection Aimed at Immersive Drone Control},
author = {Oleg Sautenkov and Selamawit Asfaw and Yasheerah Yaqoot and Muhammad Ahsan Mustafa and Aleksey Fedoseev and Daria Trinitatova and Dzmitry Tsetserukou},
journal= {arXiv preprint arXiv:2410.16943},
year = {2024}
}
备注
Manuscript accepted in IEEE International Conference on Robotics and Biomimetics (IEEE ROBIO 2024)