具有紧致风险证书的深度 Actor-Critic 算法
机器学习
2025-11-27 v2
摘要
深度 actor-critic 算法已发展到影响日常生活的水平。它们是通过用户反馈持续改进大型语言模型的驱动力。然而，它们在物理系统中的部署尚未被广泛采用，主要因为没有验证方案能够完全量化其发生故障的风险。我们证明，为深度 actor-critic 算法开发紧致的风险证书是可能的，这些证书能够根据验证时的观测来预测泛化性能。我们的核心洞见在于最小评估数据的有效性。从预训练策略中收集的一小部分可行的评估 rollout 数据集，结合对 PAC-Bayes 理论的简单调整，便足以产生准确的风险证书。具体而言，我们采用了一种最近引入的递归 PAC-Bayes 方法，该方法将验证数据分成若干部分，并使用前一部分的预测器作为数据驱动的先验，在每个部分预测器的超额损失上递归地构建 PAC-Bayes 界。我们在多种运动控制任务、actor-critic 方法以及不同策略专业水平上的实证结果表明，风险证书足够紧致，可被考虑用于实际应用。
引用
@article{arxiv.2505.19682,
title = {Deep Actor-Critics with Tight Risk Certificates},
author = {Bahareh Tasdighi and Manuel Haussmann and Yi-Shan Wu and Andres R. Masegosa and Melih Kandemir},
journal= {arXiv preprint arXiv:2505.19682},
year = {2025}
}
备注
updated version with new methods and experiments