M3：基于 MBRL 的 Mamba 辅助多电路优化及高效调度
机器学习
2024-11-26 v1
摘要
近期，针对模拟电路优化的强化学习 (reinforcement learning, RL) 方法在提高样本效率和跨 diverse 电路拓扑与目标规格的泛化方面显示出巨大的潜力。然而，这些方法仍面临高计算开销和为每个电路 nécessite 专属模型的挑战。为此，我们提出 M3，一种新型基于模型的 RL (model-based RL, MBRL) 方法，采用 Mamba 架构并运用高效调度策略。Mamba 架构作为 transformer 架构的强有力替代方案，使得能够通过 distinct 参数和目标规格实现多电路优化。有效调度策略通过调整关键 MBRL 训练参数来提升样本效率。据我们所知，M3 是首个利用 Mamba 架构和 MBRL 高效调度相结合进行多电路优化的方法。结果表明，M3 在样本效率方面显著优于现有 RL 方法。
引用
@article{arxiv.2411.16019,
title = {M3: Mamba-assisted Multi-Circuit Optimization via MBRL with Effective Scheduling},
author = {Youngmin Oh and Jinje Park and Seunggeun Kim and Taejin Paik and David Pan and Bosun Hwang},
journal= {arXiv preprint arXiv:2411.16019},
year = {2024}
}