基于最优传输多边形匹配的开放词汇操作指令对象分割

我们考虑从对象操作指令生成目标对象的分割掩码的任务，这允许用户对 domestic service robots 提出开放词汇指令。传统的分割生成方法往往无法考虑摄像头视野外的对象，以及顶点顺序不同但仍表示相同多边形的情况，这导致错误的掩码生成。本文提出了一种新方法，用于从开放词汇指令生成分割掩码。我们实现了一种新损失函数，使用最优传输技术可防止在顶点顺序不同但仍表示相同多边形时发生显著损失。为评估我们的方法，我们在 REVERIE 数据集和 Matterport3D 数据集基础上构建了一个新数据集。结果表明，所提方法在现有掩码生成方法方面表现有效。值得注意的是，我们最佳模型在数据集上的性能比代表性的基于多边形的方法提高了 +16.32%。