装配中每个错误都至关重要

AI助手一个有前景的应用场景是协助完成烹饪、家庭维修和装配任务等复杂流程。我们能否让助手在用户犯错后进行干预？本文针对装配流程中顺序错误识别的问题。我们提出了一种利用学习型知识库检测顺序错误的系统。我们的框架基于观察到的错误构建具有空间信念和时间信念的知识库。空间信念描述装配部件之间的拓扑关系，而时间信念将前置动作聚合为顺序约束。借助情景记忆设计，我们的算法可以在观察到更多动作时以在线方式动态更新并构建信念集合。我们通过实验证明，我们推断的空间和时间信念能够识别真实世界动作序列中的错误顺序。为构建空间信念，我们基于玩具部件的位置为Assembly101收集了一组新的粗粒度动作标注。最后，我们展示了我们的信念推断算法在Assembly101数据集上检测顺序错误的优越性能。