构建智能自主导航智能体

过去十年中机器学习的突破带来了“数字智能”，即能够从大量标注数据中学习以执行若干数字任务（如语音识别、人脸识别、机器翻译等）的机器学习模型。本论文旨在推进设计算法以实现“物理智能”，即构建能够学习在物理世界中执行涉及视觉感知、自然语言理解、推理、规划与序贯决策的复杂导航任务的智能自主导航智能体。尽管近几十年经典导航方法取得诸多进展，当前导航智能体在长程语义导航任务上仍举步维艰。在论文第一部分，我们讨论基于端到端强化学习的短程导航工作，以应对避障、语义感知、语言接地与推理等挑战。在第二部分，我们提出一类基于模块化学习与结构化显式地图表示的新型导航方法，其结合了经典与端到端学习方法的优势，以应对长程导航任务。我们表明这些方法能有效应对定位、建图、长程规划、探索与语义先验学习等挑战。这些模块化学习方法具备长程空间与语义理解能力，并在多种导航任务上取得最先进的（state-of-the-art）结果。