带人类反馈的 GFlowNets
机器学习
2023-05-15 v1 人工智能
摘要
我们提出了带人类反馈的 GFlowNets（GFlowHF）框架，以提升训练 AI 模型时的探索能力。对于奖励未知的任务，我们通过人类对不同时序轨迹的评估来拟合奖励函数。GFlowHF 的目标是学习一个严格正比于人类评分的策略，而非像 RLHF 那样仅关注人类偏好的评分。实验表明，GFlowHF 能取得比 RLHF 更好的探索能力。
引用
@article{arxiv.2305.07036,
title = {GFlowNets with Human Feedback},
author = {Yinchuan Li and Shuang Luo and Yunfeng Shao and Jianye Hao},
journal= {arXiv preprint arXiv:2305.07036},
year = {2023}
}