切换损失函数降低批量（离线）强化学习中的代价
机器学习
2024-08-02 v5
摘要
我们提出使用对数损失（log-loss）训练拟合 Q 迭代（FQI-log）用于批量强化学习（RL）。我们表明，使用 FQI-log 学习近优策略所需的样本数量与最优策略的累积代价成比例缩放；在那些最优行为即可达成目标且不产生代价的问题中，该累积代价为零。借此，我们提供了一个在批量 RL 中证明小代价界（即与可实现的最优代价成比例缩放的界）的通用框架。此外，我们在最优策略能可靠达成目标的问题上通过实验验证，FQI-log 比使用平方损失训练的 FQI 所需样本更少。
引用
@article{arxiv.2403.05385,
title = {Switching the Loss Reduces the Cost in Batch (Offline) Reinforcement Learning},
author = {Alex Ayoub and Kaiwen Wang and Vincent Liu and Samuel Robertson and James McInerney and Dawen Liang and Nathan Kallus and Csaba Szepesvári},
journal= {arXiv preprint arXiv:2403.05385},
year = {2024}
}