物理驱动的目标想象：基于物理信息变分自编码器的自监督强化学习
机器人学
2025-11-11 v1 人工智能
摘要
自监督目标条件强化学习使机器人能够在无需人类监督的情况下自主获取多样化技能。然而，核心挑战在于目标设置问题：机器人必须提出可行且多样化的目标，这些目标在当前环境中可被实现。现有方法如RIG（Visual Reinforcement Learning with Imagined Goals）使用变分自编码器（VAE）在学习到的潜在空间中生成目标，但存在产生物理上不合理的目标以影响学习效率的局限性。我们提出物理信息RIG（PI-RIG），通过一种 novel 的增强物理信息变分自编码器（Enhanced p3-VAE）将物理约束直接集成到VAE训练过程中，从而实现物理一致且可实现的目标生成。我们的关键创新是将潜在空间显式分为控制物体动力学的物理变量和捕获视觉外观的环境因素，同时通过微分方程约束和守恒定律实现物理一致性。这使得能够生成遵循物体恒久性、碰撞约束和动态可行性等基本物理原理的物理一致且可实现的目标。通过大量实验，我们展示了这种物理信息驱动的目标生成显著提高了所提议目标的质量，导致在视觉机器人操作任务中（包括到达、推送和抓取-放置场景）的更有效探索和更好的技能获取。
引用
@article{arxiv.2511.06745,
title = {Physically-Grounded Goal Imagination: Physics-Informed Variational Autoencoder for Self-Supervised Reinforcement Learning},
author = {Lan Thi Ha Nguyen and Kien Ton Manh and Anh Do Duc and Nam Pham Hai},
journal= {arXiv preprint arXiv:2511.06745},
year = {2025}
}