通过隐式人类反馈强化人类与机器人对齐
机器人学
2025-12-15 v2 人工智能
摘要
常规强化学习方法在奖励稀疏的情况下往往难以学习有效策略， necessitating 手动设计复杂、任务特定的奖励函数。为此，基于人类反馈的强化学习（RLHF）作为一种承袭手工奖励的 promising 策略，补充人类派生的评估信号。然而，大多数现有RLHF方法依赖显式反馈机制（如按钮按压或偏好标签），这些机制会破坏自然的交互过程，并对用户造成巨大的认知负担。我们提出一种新型基于隐式人类反馈的强化学习（RLIHF）框架，利用非侵入性脑电图（EEG）信号，特别是误差相关电位（ErrPs），提供连续的、无需显式用户介入的反馈。该方法采用预训练解码器将原始EEG信号转化为概率性奖励组成部分，从而即使在外部奖励稀疏的情况下也能实现有效的策略学习。我们在基于MuJoCo物理引擎构建的仿真环境中评估了该方法，运用Kinova Gen2机器人臂完成一项需在操作目标物体的同时规避障碍物的复杂抓取与放置任务。结果表明，使用解码EEG反馈训练的智能体，其性能可与稠密、人工设计奖励训练的智能体相当。这一发现验证了利用隐式神经反馈实现可扩展且符合人类取向的强化学习在交互式机器人中的潜力。
引用
@article{arxiv.2507.13171,
title = {Aligning Humans and Robots via Reinforcement Learning from Implicit Human Feedback},
author = {Suzie Kim and Hye-Bin Shin and Seong-Whan Lee},
journal= {arXiv preprint arXiv:2507.13171},
year = {2025}
}
备注
Accepted to IEEE Int. Conf. Syst., Man, Cybern. (SMC) 2025