重新思考 ValueDice：它真的提升了性能吗？
机器学习
2022-05-30 v2
摘要
自 GAIL 提出以来，对抗模仿学习 (AIL) 方法吸引了大量研究兴趣。在这些方法中，ValueDice 取得了显著改进：它在离线设定下击败了经典方法行为克隆 (BC)，且在在线设定下比 GAIL 需要更少的交互。这些改进是否得益于更先进的算法设计？我们通过以下结论回答该问题。首先，我们表明 ValueDice 在离线设定下可退化为 BC。其次，我们验证了在低数据机制中存在过拟合且正则化至关重要。具体而言，我们证明带权重衰减的 BC 也几乎能像 ValueDice 那样匹配专家性能。前两点解释了 ValueDice 优越的离线性能。第三，我们确认当专家轨迹被下采样时 ValueDice 不工作。相反，上述 ValueDice 的成功是在专家轨迹完整时成立的，此时 ValueDice 与表现良好的 BC 密切相关。最后，我们讨论了本研究对超越 ValueDice 的模仿学习研究的意义。
引用
@article{arxiv.2202.02468,
title = {Rethinking ValueDice: Does It Really Improve Performance?},
author = {Ziniu Li and Tian Xu and Yang Yu and Zhi-Quan Luo},
journal= {arXiv preprint arXiv:2202.02468},
year = {2022}
}
备注
This paper appeared at the blog track of the 10th international conference on learning representations (ICLR), 2022. Link: https://iclr-blog-track.github.io/2022/03/25/rethinking-valuedice/