稀疏奖励与稀疏交互下的质量多样性：在机器人抓取中的应用
机器人学
2023-11-01 v2 机器学习
摘要
质量多样性（QD）方法是一类旨在为给定问题生成一组多样且高性能解的算法。QD 最初为进化机器人学而发展，多数 QD 研究在有限的一组领域上进行——主要应用于运动控制，其中适应度与行为信号均为稠密。抓取是机器人操作中一项关键任务。尽管诸多研究团体付出努力，该任务尚待解决。抓取在 QD 文献中累积了前所未有的挑战：它遭受奖励稀疏、行为稀疏以及行为空间错位的困扰。本文研究 QD 如何应对抓取。我们在 10 个抓取领域（对应 2 种不同机器人-夹爪配置与 5 种标准物体）上对 15 种不同方法进行了实验。我们还提出了一种将算法评估与其内部组件评估区分开来的评估框架，以实现公平比较。所得结果表明，优先选择成功解的 MAP-Elites 变体在所研究指标上大幅优于所有对比方法。我们还发现了稀疏交互可导致欺骗性新颖性的实验证据。据我们所知，本文所展示的高效生成抓取轨迹示例的能力在文献中尚无先例。
引用
@article{arxiv.2308.05483,
title = {Quality Diversity under Sparse Reward and Sparse Interaction: Application to Grasping in Robotics},
author = {J. Huber and F. Hélénon and M. Coninx and F. Ben Amar and S. Doncieux},
journal= {arXiv preprint arXiv:2308.05483},
year = {2023}
}
备注
37 pages, 17 figures. Draft version