"我还有什么选项？"：基于多样化近最优备选方案的强化学习解释（扩展版）
机器学习
2025-06-12 v1
摘要
本工作提供了对新方法的扩展讨论，该方法被称为多样化近最优备选方案（DNA），首次提出于 L4DC 2025。DNA 寻求为轨迹规划智能体寻找一组合理的"选项"，通过优化策略产生在欧几里得空间中定性上多样化的轨迹。就可解释性而言，这些不同的政策用于"解释"智能体的选项，基于可用轨迹形状，人类用户可从中选择。在特定方面，DNA 适用于基于价值函数的马尔可夫决策过程，其中智能体限制为连续轨迹。本文描述了 DNA，该方法通过对局部修改的 Q 学习问题进行奖励塑形，以求解具有保证 epsilon 最优性的不同政策。我们展示了它成功返回在仿真环境中定性上不同的政策，这些政策构成有意义的"选项"，包括与基于质量多样性方法的简要比较。除解释动机外，本工作为探索和自适应规划在强化学习中开辟了新的可能性。
引用
@article{arxiv.2506.09901,
title = {"What are my options?": Explaining RL Agents with Diverse Near-Optimal Alternatives (Extended)},
author = {Noel Brindise and Vijeth Hebbar and Riya Shah and Cedric Langbort},
journal= {arXiv preprint arXiv:2506.09901},
year = {2025}
}