预测逆动力学何时优于行为克隆？
机器学习
2026-01-30 v1 人工智能
摘要
行为克隆（BC）是一种实用的离线模仿学习方法，但当专家演示有限时常常失败。最近的研究引入了一类称为预测逆动力学模型（PIDM）的架构，将未来状态预测器与逆动力学模型（IDM）结合。虽然 PIDM 通常优于 BC，但其优势的原因仍不清晰。在本文中，我们提供了理论解释：PIDM 引入了偏差-方差权衡。虽然预测未来状态会引入偏差，但对 IDM 进行条件化可显著降低方差。我们确立了状态预测偏差的条件，使得 PIDM 在预测误差和样本效率方面优于 BC，当可获得额外数据源时，差距会扩大。我们在 2D 导航任务中对理论见解进行了实证验证，在这些任务中，BC 需要最多五倍（平均为三倍）的演示才能达到相当的性能；在具有高维视觉输入和随机转换的复杂 3D 环境中，BC 需要超过 66% 的样本才能与 PIDM 相当。
引用
@article{arxiv.2601.21718,
title = {When does predictive inverse dynamics outperform behavior cloning?},
author = {Lukas Schäfer and Pallavi Choudhury and Abdelhak Lemkhenter and Chris Lovett and Somjit Nath and Luis França and Matheus Ribeiro Furtado de Mendonça and Alex Lamb and Riashat Islam and Siddhartha Sen and John Langford and Katja Hofmann and Sergio Valcarcel Macua},
journal= {arXiv preprint arXiv:2601.21718},
year = {2026}
}
备注
Preprint