RoSE-Opt：面向模拟电路参数优化的鲁棒高效知识驱动强化学习方法
硬件体系结构
2024-07-30 v1
摘要
本文提出一种学习框架 RoSE-Opt，以实现模拟电路参数的鲁棒高效优化。RoSE-Opt 有两个重要特点。首先，它将模拟电路设计中的关键领域知识（如电路拓扑、电路规格之间的耦合关系、以及工艺、供电电压和温度的变化）融入学习循环。这一策略有助于训练能够实现设计目标的人工智能代理，通过识别最优且鲁棒的器件参数来实现目标。其次，它运用两层优化方法，即将贝叶斯优化（BO）与强化学习（RL）相结合以提高样本效率。具体而言，采用 BO 进行粗糙而快速的初始搜索，以此为 RL 代理提供坚实的基础，从而以更少的样本数进行高效训练。在 benchmarking 电路上的实验评估显示，我们的方法在样本效率方面表现突出，图谱指标在设计效率和设计成功率方面均表现卓越，并在电路性能上实现帕累托最优。此外，本工作系统研究了不同 RL 优化算法的性能，如基于无策略学习机制的深度确定性策略梯度（DDPG）和基于有策略学习机制的近端策略优化（PPO），为用户在模拟电路器件参数优化中选择合适 RL 算法提供了指导。最后，我们的研究还表明 RoSE-Opt 在考虑 parasitic 的器件优化中同样具有潜力。总之，本工作报告了一种知识驱动的 BO-RL 设计自动化框架，用于可靠且高效地优化模拟电路器件参数。
引用
@article{arxiv.2407.19150,
title = {RoSE-Opt: Robust and Efficient Analog Circuit Parameter Optimization with Knowledge-infused Reinforcement Learning},
author = {Weidong Cao and Jian Gao and Tianrui Ma and Rui Ma and Mouhacine Benosman and Xuan Zhang},
journal= {arXiv preprint arXiv:2407.19150},
year = {2024}
}
备注
14 pages, 12 Figures. Accepted by IEEE Transactions on Computer-Aided Design of Integrated Circuits and Systems