视觉反应：学习用你的无人机接物
计算机视觉与模式识别
2020-04-13 v2
摘要
本文中我们解决视觉反应问题：即在动态环境中交互的任务，其中环境的变化不一定由智能体自身引起。视觉反应需要预测视觉环境中的未来变化并相应规划。我们在视觉丰富的合成环境中以无人机接物为背景研究视觉反应问题。这是一个具有挑战性的问题，因为智能体需要学习（1）具有不同物理性质和形状的物体如何运动，（2）根据预测应采取何种动作序列，（3）如何基于来自动态环境的视觉反馈调整动作（例如物体从墙壁弹回时），以及（4）如何及时对意外状态变化进行推理与行动。我们为该任务提出一个新数据集，包含 20 类物体以不同力度向不同方向的 30K 次抛掷。我们的结果表明，集成预测器与规划器的模型优于基于跟踪以及纯基于模型和免模型 RL 基线的一组强基线。代码与数据集可在 github.com/KuoHaoZeng/Visual_Reaction 获取。
引用
@article{arxiv.1912.02155,
title = {Visual Reaction: Learning to Play Catch with Your Drone},
author = {Kuo-Hao Zeng and Roozbeh Mottaghi and Luca Weihs and Ali Farhadi},
journal= {arXiv preprint arXiv:1912.02155},
year = {2020}
}
备注
8 pages, 6 figures