用于学习程序性任务可规划表示的行为动态任务图
计算机视觉与模式识别
2023-02-13 v1 人工智能
机器学习
摘要
给定家庭程序性任务（如更换轮胎）的视频演示与配对解说，我们提出一种通过以动作为中心的任务图来提取底层任务结构——相关动作及其时间依赖关系——的方法。我们方法学习到的结构化表示，即动作动态任务图 (ADTG)，可用于理解人类执行这些任务的未见视频。此外，ADTG 能够为人类在这些任务中提供以用户为中心的引导，无论是为了更好地执行还是学习新任务。具体地，我们展示 ADTG 如何用于：(1) 跟踪进行中的任务，(2) 推荐下一步动作，以及 (3) 规划一系列动作以完成程序性任务。我们与最先进的神经任务图方法进行比较，并在 CrossTask 数据集的 18 个程序性任务上展示了大幅提升，包括任务跟踪准确率提升 30.1% 和下一步动作预测准确率提升 20.3%。
引用
@article{arxiv.2302.05330,
title = {Action Dynamics Task Graphs for Learning Plannable Representations of Procedural Tasks},
author = {Weichao Mao and Ruta Desai and Michael Louis Iuzzolino and Nitin Kamra},
journal= {arXiv preprint arXiv:2302.05330},
year = {2023}
}
备注
AAAI 2023 Workshop on User-Centric Artificial Intelligence for Assistance in At-Home Tasks