学习混合对象运动学以实现不确定性下的高效分层规划

机器人任务动力学的突变（如与物体接触或门闩锁上）常被视为使操作困难的烦人不连续点。然而，当这些转变被充分理解时，它们可被用来降低不确定性或辅助操作——例如，晃动螺丝以判断其是否完全拧入。当前无模型强化学习方法需要大量数据来学习利用此类动力学，随问题复杂度增加扩展性差，且难以迁移到差异显著的问题。相比之下，基于分层 POMDP 规划的方法通过规划分解扩展性良好，在新问题表现优异，并直接考虑不确定性，但常依赖精确手工指定模型与任务分解。为结合这两种对立范式的优势，我们提出新方法 MICAH：给定物体在施加动作下运动的未分段数据，其（1）使用动作条件推断检测物体运动模型中的变化点，（2）估计各局部运动模型及其参数，（3）将其转换为兼容分层 POMDP 规划的混合自动机。我们表明 MICAH 下的模型学习比先前方法更准确且对噪声更鲁棒。进一步，我们将 MICAH 与分层 POMDP 规划器结合，证明所学模型足够丰富，可用于在不确定性下执行需以训练时未遇的新颖方式使用物体的操作任务。