片上系统上的多臂老虎机算法：频率派还是贝叶斯？
系统与控制
2021-06-08 v1 硬件体系结构
机器学习
系统与控制
摘要
多臂老虎机（MAB）算法通过探索-利用权衡在无需臂统计先验知识的情况下识别多臂中的最优臂。其在无线射频、物联网和机器人中的用途要求在边缘设备上部署，因此需要在片上系统（SoC）上实现映射。理论上，基于贝叶斯方法的 Thompson Sampling（TS）算法比基于频率派方法的 Upper Confidence Bound（UCB）算法性能更优。然而，TS 因 Beta 函数而不可综合。我们通过基于伪随机数生成器的近似方法解决该问题，并在 Zynq SoC 上高效实现 TS 算法。实践中，臂分布的类型（如伯努利、高斯等）未知，因此单一算法可能并非最优。我们提出一种可重构智能 MAB（RI-MAB）框架。其中，智能性可识别给定环境下的合适 MAB 算法，可重构性允许在 SoC 上算法间实时切换。这消除了并行实现算法的需要，从而大幅节省资源与功耗。我们分析了所提及现有架构在不同臂分布、字长和软硬件协同设计方法下的功能正确性、面积、功耗与执行时间。我们展示了 RI-MAB 相对于仅 TS 和仅 UCB 架构的优越性。
引用
@article{arxiv.2106.02855,
title = {Multi-armed Bandit Algorithms on System-on-Chip: Go Frequentist or Bayesian?},
author = {S. V. Sai Santosh and Sumit J. Darak},
journal= {arXiv preprint arXiv:2106.02855},
year = {2021}
}