FLoRA：基于低秩风格适配的样本高效偏好强化学习
机器人学
2025-04-15 v1 机器学习
摘要
基于偏好的强化学习（PbRL）是一种适合风格适配预训练机器人行为的方法：在仍能执行原任务的同时，根据人类用户偏好调整机器人的策略。然而，在机器人领域收集偏好数据往往具有挑战性且耗时。本文探讨了在低偏好数据 regime 下对预训练机器人的适应。我们表明，在此 regime 下，最近的适应方法会出现严重奖励遗忘（CRF），即更新后的奖励模型对新偏好过拟合，导致智能体无法执行原任务。为缓解 CRF，我们提出通过少量参数（低秩矩阵）增强原始奖励模型，以负责建模偏好适应。我们的评估显示，该方法在仿真基准任务和多个真实机器人任务上能够高效且有效地调整机器人行为以符合人类偏好。
引用
@article{arxiv.2504.10002,
title = {FLoRA: Sample-Efficient Preference-based RL via Low-Rank Style Adaptation of Reward Functions},
author = {Daniel Marta and Simon Holk and Miguel Vasco and Jens Lundell and Timon Homberger and Finn Busch and Olov Andersson and Danica Kragic and Iolanda Leite},
journal= {arXiv preprint arXiv:2504.10002},
year = {2025}
}
备注
Accepted at 2025 IEEE International Conference on Robotics & Automation (ICRA). We provide videos of our results and source code at https://sites.google.com/view/preflora/