基于世界模型的NewtonianVAE多物体工业装箱控制

工业装箱过程涉及多个物体的精准放置，需要高精度定位与顺序动作。当机器人被要求将物体高精度放置于特定位置时，不仅需要有待放置物体位置的信息，还需掌握机械手抓取物体的姿态。工业装箱常需将同形物体依次放入单一箱体中，机器人的动作应由同一学习模型决定。工厂中常出现新产品，因此需要能轻松适应的模型，故应易于收集数据训练该模型。本研究设计了一套机器人系统以自动化现实工业任务，采用基于视觉的学习控制模型。我们提出手持视角敏感的牛顿变分自编码器(ihVS-NVAE)，利用RGB相机获取物体的手持姿态。我们证明了所提模型在单一物体放置任务上训练后，无需额外训练即可处理顺序任务。为评估模型效能，我们使用真实机器人执行多物体顺序工业装箱。结果表明，所提模型在工业装箱任务中达到100%成功率，优于SOTA与传统方法，凸显其在工业任务中的优越效能与潜力。