损失函数在强化学习中的核心作用
机器学习
2025-04-07 v3 机器学习
统计理论
统计理论
摘要
本文阐明了损失函数在数据驱动决策中的核心作用，提供了关于其在成本敏感分类 (CSC) 和强化学习 (RL) 中影响的全面调查。我们展示了不同的回归损失函数如何影响基于价值的决策算法的样本效率和适应性。在多个设置下，我们证明使用二元交叉熵损失的算法以最优策略的成本为尺度获得一阶界，且远高于常用的平方损失。此外，我们证明使用最大似然损失的分布al 算法获得的最优策略方差为尺度的二阶界，且更精细于一阶界。这特别证明了分布al RL 的优势。我们希望本文作为分析具有不同损失函数的决策算法的指南，并能激发读者寻求更好的损失函数以改进任何决策算法。
引用
@article{arxiv.2409.12799,
title = {The Central Role of the Loss Function in Reinforcement Learning},
author = {Kaiwen Wang and Nathan Kallus and Wen Sun},
journal= {arXiv preprint arXiv:2409.12799},
year = {2025}
}
备注
Accepted to Statistical Science