通过自然语言反馈教会机器描述图像

机器人最终将成为每个家庭的一部分。因此，使算法能够从非专家用户那里学习并接受其指导至关重要。在本文中，我们将人引入回路，使人类教师能够以自然语言的形式向学习智能体提供反馈。我们认为，描述性句子能够提供比数值奖励更强的学习信号，因为它可以轻易指出错误所在以及如何纠正。我们聚焦于图像描述生成问题，其输出质量很容易由非专家评判。我们提出了一种基于策略梯度训练的层次化短语描述模型，并设计了一个反馈网络，该网络以人类提供的反馈为条件向学习器提供奖励。我们表明，通过利用描述性反馈，我们的模型学习到的表现优于给定独立编写的人类描述时的表现。