RISP：基于可微仿真与渲染的渲染不变状态预测器用于跨域参数估计

本工作考虑直接从渲染配置不可知的视频中识别刻画物理系统动态运动的参数。现有方案需要海量训练数据，或缺乏对未知渲染配置的泛化能力。我们提出了一种新方法，将域随机化与可微渲染梯度相结合以解决该问题。我们的核心思想是训练一个渲染不变状态预测（RISP）网络，将图像差异转换为独立于渲染配置（如光照、阴影或材质反射率）的状态差异。为训练该预测器，我们利用可微渲染的梯度，在渲染方差上构造了一个新的损失。此外，我们提出了一种高效的二阶方法来计算该损失的梯度，使其能无缝集成到现代深度学习框架中。我们在刚体和可变形体仿真环境中使用四项任务评估了我们的方法：状态估计、系统辨识、模仿学习和视觉运动控制。我们进一步在一个真实世界示例上展示了我们方法的有效性：从四旋翼飞行器运动序列的视频中推断其状态和动作序列。与现有方法相比，我们的方法实现了显著更低的重建误差，并在未知渲染配置间具有更好的泛化能力。