多种互联网数据指导下机器人烹饪技能的高效获取

本研究探讨了多种互联网数据源在从模板机器人行为中挑选以执行技能方面的效用。从互联网数据源获取涉及工具使用的接触式技能，通常具有挑战性，因为该数据缺乏物理信息，如接触存在、位置、区域和力度。以往的研究通常利用互联网数据和基于此数据训练的基础模型，以生成机器人低层次行为。我们假设，这些数据和模型可能更适合在挑选执行这些接触式技能的基本机器人行为方面发挥作用。我们探索了三种模板选择方法：查询大型语言模型、使用先前工作中常用的预训练视频编码器特征，将机器人执行视频与检索到的人类视频进行比较，以及使用在互联网数据上训练的光流编码器进行相同比较。我们的结果表明，尽管大型语言模型缺乏视觉信息，仍具备惊人的模板选择能力；光流编码器在数据规模小一个数量级的情况下，显著优于视频编码器；以及，不同形式的互联网数据之间存在重要的协同作用。通过利用这些协同作用，我们构建了一个利用多种互联网数据进行模板选择的选择器，在一组包含16种不同烹饪技能（涉及工具使用）的测试中实现了79%的成功率。