数字侄弟选择的覆盖度分析——改进的多环境 Q 学习
机器学习
2024-11-14 v1 信号处理
摘要
Q 学习广泛应用于优化具有未知系统动力学的大型维度网络。最近的进展包括多环境混合 Q 学习（MEMQ）算法，这些算法在多个结构上相关但独立的环境中利用多个独立 Q 学习算法，并在准确性、复杂度和鲁棒性方面优于几个最先进的 Q 学习算法。我们在此对 MEMQ 算法进行全面概率性覆盖度分析，以确保其最优数据覆盖条件。首先，我们推导了不同覆盖系数（CC）的期望和方差的上界和下界。利用这些界限，我们开发了一种简单的方法来比较 MEMQ 算法中多个环境的实用性。这一方法相较于我们先前提出的部分排序方法几乎最优。我们还提出了一种基于 CC 的新型 MEMQ 算法，以提高现有 MEMQ 算法的准确性和复杂度。我们使用具有四种不同图属性的随机网络图进行数值实验。我们的算法相对于部分排序方法可将平均策略误差（APE）降低65%，比穷举搜索快95%。此外，它比几个最先进的强化学习和先前 MEMQ 算法实现60%更少的 APE。我们还数值验证了理论结果，并展示了其随动作空间大小的可扩展性。
引用
@article{arxiv.2411.08360,
title = {Coverage Analysis for Digital Cousin Selection -- Improving Multi-Environment Q-Learning},
author = {Talha Bozkus and Tara Javidi and Urbashi Mitra},
journal= {arXiv preprint arXiv:2411.08360},
year = {2024}
}
备注
This work has been submitted to the IEEE for possible publication