基于深度学习的自主操作场景理解

在过去几年中，深度学习技术在许多视觉理解任务（如目标检测、图像分割和图像描述生成）中取得了巨大成功。尽管在计算机视觉和自然语言处理领域蓬勃发展，深度学习尚未在机器人技术中显示出显著的影响力。由于理论与应用之间的差距，将深度学习的结果应用于真实机器人系统时存在许多挑战。在本研究中，我们的长期目标是通过开发可用于真实机器人的视觉方法来弥合计算机视觉与机器人技术之间的差距。具体而言，这项工作解决了自主机器人操作的两个基本视觉问题：可供性检测和细粒度动作理解。在理论上，我们提出了不同的深度架构以进一步提升每个问题的现有技术水平。在实验上，我们展示了我们提出的方法的结果可以应用于真实机器人，并允许它们执行有用的操作任务。