通过提问在生命周期内学习为图像生成描述

为了让人工智能体进入我们的生活，我们需要超越在封闭数据集上的监督学习，具备持续扩展知识的能力。受学生在课堂中学习方式的启发，我们提出一个能够通过向人类提出自然语言问题来持续学习的智能体。我们的智能体由三个交互模块组成：一个执行图像描述生成，一个生成问题，以及一个通过隐式推理智能体不确定性与教师专业性来决定何时提问的决策器。与当前针对完整描述查询图像的主动学习方法相比，我们的智能体能够提出针对性问题以改进生成的描述。智能体在改进后的描述上训练，扩展其知识。我们表明，在具有挑战性的 MSCOCO 数据集上，我们的方法以比基线更少的监督获得了更好的性能。