基于 HMD 视觉的无人机与无人车遥操作及其在恶劣环境中的深度学习应用
机器人学
2016-09-15 v1
摘要
随着社会不法分子的 resurgence，维持一支强大的反恐特遣部队已成为当务之急。装备精良的作战部队保障了公民的安全与主权国家的领土完整。本文提出一种新型遥操作机器人，通过大幅减少人员在恶劣环境中的伤亡，可在作战、救援和侦察任务中发挥重要作用。所提出的机器人解决方案由配备 IP 摄像头视觉系统的无人地面车辆组成，该系统将实时视频数据广播至远程云服务器。随着计算机视觉领域机器学习算法的进步，我们结合最先进的深度卷积神经网络来识别和预测具有恶意意图的个体。分类由云服务器上训练好的网络对视频流的每一帧执行。网络的预测输出以特定颜色标记和预测百分比叠加在视频流上。最后，数据被调整为半并排格式并流式传输到由人类操作员佩戴的头戴式显示器上，以提供场景的第一人称视角。该地面车辆还与一架用于空中监视的无人机相耦合。所提出的方案是一个辅助系统，最终决策权显然属于人类操作员。
引用
@article{arxiv.1609.04147,
title = {HMD Vision-based Teleoperating UGV and UAV for Hostile Environment using Deep Learning},
author = {Abhishek Sawarkar and Vishal Chaudhari and Rahul Chavan and Varun Zope and Akshay Budale and Faruk Kazi},
journal= {arXiv preprint arXiv:1609.04147},
year = {2016}
}
备注
6 pages, 9 figures