DIDA：基于域适应的去噪模仿学习
机器学习
2024-04-05 v1 人工智能
摘要
从低质量数据集（如次优示范和带有干扰物的观测）中模仿技能在现实应用中很常见。在本工作中，我们聚焦于从噪声示范中学习（Learning from Noisy Demonstrations, LND）问题，其中模仿者需要从在数据收集或传输过程中经常出现的带噪数据中学习。以往的 IL 方法通过向纯专家数据中注入对抗学习的 Gaussian 噪声或利用额外的排序信息来提升所学策略的鲁棒性，但它们在 LND 设定下可能会失效。为缓解上述问题，我们提出了基于域适应的去噪模仿学习（Denoised Imitation learning based on Domain Adaptation, DIDA），该方法设计了两个判别器来区分数据的噪声水平和专业水平，从而促使特征编码器学习与任务相关但与域无关的表示。在 MuJoCo 上的实验结果表明，DIDA 能够成功应对来自带有各类噪声示范的挑战性模仿任务，优于大多数基线方法。
引用
@article{arxiv.2404.03382,
title = {DIDA: Denoised Imitation Learning based on Domain Adaptation},
author = {Kaichen Huang and Hai-Hang Sun and Shenghua Wan and Minghao Shao and Shuai Feng and Le Gan and De-Chuan Zhan},
journal= {arXiv preprint arXiv:2404.03382},
year = {2024}
}