从演示视频中估计运动编码

运动分类法可将操作编码为二进制表示，我们称之为运动编码 (motion codes)。这些运动编码天然地在描述运动机械特征（包括接触与轨迹类型）的嵌入空间中表示一种操作动作。使用运动编码进行嵌入的关键优势在于，运动可用与机器人相关的特征更恰当地定义，且其距离可借助这些运动特征更合理地度量。本文开发了一种深度学习流程，以无监督方式从演示视频中提取运动编码，从而使这些视频中的知识能被恰当表示并用于机器人。我们的评估表明，运动编码可从 EPIC-KITCHENS 数据集中动作演示提取。