基于去噪的协同模仿学习
机器学习
2025-03-21 v1 人工智能
摘要
模仿学习中的一个根本挑战是\emph{协ariate shift}问题。现有方法往往需要额外的专家交互、环境动力学访问，或复杂的对抗训练，这在实际应用中往往不够实用。本文提出一种简单却有效的方法（DeCIL），通过引入去噪机制增强状态转移映射的收缩性。我们的方法涉及训练两个神经网络：一个预测当前状态下下一个状态的动力学模型（f），以及一个联合状态-动作去噪策略网络（d），后者通过去噪细化状态预测并输出相应动作。我们提供理论分析表明，去噪网络作为局部收缩映射，减少了状态转移的误差传播，提高了稳定性。该方法易于实现，可无缝集成到现有的模仿学习框架中，无需额外专家数据或复杂的训练修改。实验结果表明，我们的方法在噪声扰动下的各种模仿学习任务中有效提升了成功率。
关键词
引用
@article{arxiv.2503.15918,
title = {Denoising-based Contractive Imitation Learning},
author = {Macheng Shen and Jishen Peng and Zefang Huang},
journal= {arXiv preprint arXiv:2503.15918},
year = {2025}
}