潜在预测授权度：无需模拟器的授权度测量方法
人工智能
2024-10-16 v1 机器学习
机器人学
摘要
授权度（Empowerment）具有助于智能体学习大型技能集的潜力，但目前尚未成为通用智能体训练的可扩展解决方案。最近的授权度方法通过最大化技能与状态之间的互信息来学习多样化技能集；然而，这些方法需要过渡动力学模型，而在现实环境中面对高维随机观测时学习此类模型往往具有挑战性。我们提出了潜在预测授权度（Latent-Predictive Empowerment, LPE），一种更为实用的方法来计算授权度。LPE通过最大化一个原则性地取代技能与状态之间互信息的目标来学习大型技能集，该目标仅需更简单的潜在预测模型，而非完整的环境模拟器。我们在多种设置下进行了实证验证，包括高维观测和高度随机转移动力学的环境；结果表明，我们的授权度目标（1）在学习相似规模技能集方面，优于假设拥有转移动力学模型的领先授权度算法；（2）在其他基于模型的授权度方法中表现更优。
引用
@article{arxiv.2410.11155,
title = {Latent-Predictive Empowerment: Measuring Empowerment without a Simulator},
author = {Andrew Levy and Alessandro Allievi and George Konidaris},
journal= {arXiv preprint arXiv:2410.11155},
year = {2024}
}