利用混沌微谐振子频率梳求解多臂老虎机问题
光学
2025-06-10 v2 新兴技术
摘要
多臂老虎机（MAB）问题是基于强化学习的决策制定的基础，其应对在多个不确定选择中最大化奖励的挑战。虽然算法解有效，但其计算效率随问题复杂度增加而下降。光子加速器利用时间与时空混沌，已成为有前景的替代方案。然而，尽管有这些进展，当前方法要么牺牲计算速度，要么增加系统复杂度。本文中，我们引入混沌微谐振子频率梳（混沌梳）来解决 MAB 问题，其中每个梳模被分配至一台老虎机。通过概念验证实验，我们利用 44 个梳模处理具有 44 台老虎机的 MAB，展现出与常规软件算法及其他光子方法相竞争的性能。进一步，利用不同时间槽中实验获得的时间混沌，我们探索了多达 512 台老虎机的决策可扩展性。实现了指数为 0.96 的幂律可扩展性，优于常规基于软件的算法。此外，我们发现数值计算的混沌梳能准确复现实验结果，为讨论增加老虎机数量的策略铺平了道路。
引用
@article{arxiv.2308.10590,
title = {Solving multi-armed bandit problems using a chaotic microresonator comb},
author = {Jonathan Cuevas and Ryugo Iwami and Atsushi Uchida and Kaoru Minoshima and Naoya Kuse},
journal= {arXiv preprint arXiv:2308.10590},
year = {2025}
}