面向高效关系模型学习的引导式探索
机器学习
2025-05-13 v2 人工智能
摘要
高效探索对于在具有复杂、长时域任务的大规模环境中学习关系模型至关重要。随机探索方法通常会收集冗余或无关的数据，限制了其学习准确环境关系模型的能力。目标文字咿呀学语（GLIB）通过设定并规划新颖目标来改进随机探索，但其对随机动作和随机新颖目标选择的依赖限制了其向更大领域扩展的能力。在这项工作中，我们确定了关系领域中高效探索的基本原则：（1）使用覆盖规划所需的不同提升效果的演示进行算子初始化，以及（2）通过选择信息量大的目标-动作对并执行到达这些目标的计划，来精化前提条件以收集最大信息量的转移。为证明这些原则，我们引入了 Baking-Large，一个具有广泛状态-动作空间和长时域任务的挑战性领域。我们评估了使用神谕驱动的演示进行算子初始化和前提条件引导以高效收集关键转移的方法。实验表明，神谕演示和前提条件引导的神谕都显著提高了样本效率和泛化能力，为未来方法利用这些原则在复杂领域中高效学习准确的关系模型铺平了道路。
引用
@article{arxiv.2502.06146,
title = {Guided Exploration for Efficient Relational Model Learning},
author = {Annie Feng and Nishanth Kumar and Tomas Lozano-Perez and Leslie Pack-Kaelbling},
journal= {arXiv preprint arXiv:2502.06146},
year = {2025}
}