面向监督效果预测任务的机器人学习

在自监督式机器人学习中，智能体通过与环境的主动互动获取数据，导致能源消耗、人工监督和实验时间等成本。为缓解这些成本，样本高效探索至关重要。虽然内在动机（intrinsic motivation, IM）方法如学习进度（learning progress, LP）在机器人领域广泛使用，而主动学习（active learning, AL）在机器学习中的分类任务中已为人所熟知，但鲜有框架针对典型世界模型学习的连续性、高维回归任务。我们提出MUSEL（Model Uncertainty for Sample-Efficient Learning），一种专为机器人中的回归任务（如动作-效果预测）定制的新型AL框架。MUSEL引入一种模型不确定性度量，将总体预测不确定性、学习进度和输入多样性相结合，以引导数据获取。我们在两种机器人桌面任务上使用随机变分深核学习（Stochastic Variational Deep Kernel Learning, SVDKL）模型进行验证。实验结果表明，MUSEL在提高学习准确率和样本效率方面均取得改善，验证了其在学习动作效果和选择信息性样本方面的有效性。