LATMOS：源自观测序列的潜在自动机任务模型

基于高层指令的机器人任务规划是向服务部门部署完全自主机器人系统的重要一步。机器人任务规划的三个关键方面提出了尚未同时解决的挑战，即（i）将复杂任务规范分解为更简单的可执行子任务，（ii）从原始观测中理解当前任务状态，以及（iii）任务执行的规划和验证。为了应对这些挑战，我们提出了 LATMOS，一种受自动机启发的任务模型，在给定正确任务执行的观测时，能够分解任务，同时支持验证和规划操作。LATMOS 将用于从潜在高维观测中提取特征的观测编码器与自动机理论相结合，以学习一个在潜在特征空间中包含带符号自动机的序列模型。我们在三种任务模型学习设置中进行了广泛评估：（i）由逻辑公式描述的抽象任务，（ii）由视频和自然语言提示描述的真实世界人类任务，以及（iii）由图像和状态观测描述的机器人任务。结果证明了 LATMOS 在跨观测模态和任务中改进的规划生成和验证能力。