Eagle：基于端到端深度强化学习的 PTZ 摄像机自主控制
计算机视觉与模式识别
2023-04-11 v1 机器学习
系统与控制
系统与控制
摘要
现有的云台变焦（PTZ）摄像机自主控制方法采用多阶段流程，其中目标检测与定位同 PTZ 机构控制分开进行。这些方法需要人工标注，并因多阶段信息流中的误差传播而存在性能瓶颈。目标检测神经网络的大体量也使得先前的方案难以在资源受限设备上实时部署。我们提出一种称为 Eagle 的端到端深度强化学习（RL）方案，用于训练一个神经网络策略，该策略直接以图像为输入来控制 PTZ 摄像机。由于标注负担、运行环境随机性以及实验装置脆弱，在真实世界中训练强化学习十分繁琐。我们引入了一个照片级真实感的仿真框架，用于 PTZ 摄像机控制策略的训练与评估。Eagle 通过将感兴趣目标维持在高分辨率捕获图像的中心附近，实现了优越的摄像机控制性能，其跟踪时长比最先进（SOTA）方法最多高出 17%。Eagle 策略轻量（参数比 Yolo5s 少 90 倍），可运行于嵌入式摄像机平台如 Raspberry PI（33 FPS）和 Jetson Nano（38 FPS），为资源受限环境提供实时 PTZ 跟踪。通过域随机化，我们在仿真器中训练的 Eagle 策略可直接迁移至真实场景。
引用
@article{arxiv.2304.04356,
title = {Eagle: End-to-end Deep Reinforcement Learning based Autonomous Control of PTZ Cameras},
author = {Sandeep Singh Sandha and Bharathan Balaji and Luis Garcia and Mani Srivastava},
journal= {arXiv preprint arXiv:2304.04356},
year = {2023}
}
备注
20 pages, IoTDI