AutoQD：基于质量-多样性优化自动发现多样行为

质量-多样性（QD）算法在发现多样且高性能解决方案方面显示出惊人的成功，但依赖于手工设计的行为描述符，这限制了探索仅限于预定义的多样性概念。利用策略与占用度量（occupancy measures）等价性，我们提出了一种自动生成行为描述符的方法，通过对MDP中策略占用度量进行嵌入来实现。我们的方法，AutoQD，利用随机傅里叶特征来近似策略占用度量之间的最大均值不等式（MMD），从而创建能够反映有意义行为差异的嵌入。在这些嵌入的低维投影中捕获最具行为显著性维度的部分，可用作CMA-MAE（一种先进的黑盒QD方法）的行为描述符，以发现多样策略。我们证明了随着抽样轨迹数量和嵌入维度的增加，这些嵌入会收敛到占用度量之间真实MMD距离。通过在多个连续控制任务中的实验，我们展示AutoQD在无需预定义行为描述符的情况下发现多样策略的能力，为无监督强化学习和QD优化提供了一种切实可行的替代方案。我们的ethods为无需特定领域知识即可实现的序列决策环境中的开放式学习和自动行为发现开辟了新的可能性。源代码已公开于https://github.com/conflictednerd/autoqd-code。