基于 Dyna 风格强化学习的模拟电路设计
机器学习
2020-11-17 v1
摘要
在本工作中，我们提出一种基于学习的模拟电路设计方法，其目标是在特定设计约束下优化电路性能。使该问题难以优化的一方面是，通过仿真测量候选配置的性能可能计算代价高昂，尤其在版图后设计中。此外，大量设计约束以及相关量之间的相互作用使问题变得复杂。因此，为更好地辅助人类设计者，获取关于整个可行解空间的知识是可取的。为应对这些挑战，我们从基于模型的强化学习中获得启发，提出一种具有两个关键性质的方法。首先，它学习一个奖励模型，即由神经网络近似的性能代理模型，以减少所需的仿真次数。其次，它使用随机策略生成器来探索满足约束的多样化解空间。我们将二者结合在一个 Dyna 风格的优化框架中，称之为 DynaOpt，并在两级运算放大器的电路基准上对其性能进行了实证评估。结果表明，相较于采用 20,000 次电路仿真训练策略的无模型方法，DynaOpt 仅从 500 次仿真从头学习便取得了甚至更优的性能。
引用
@article{arxiv.2011.07665,
title = {Analog Circuit Design with Dyna-Style Reinforcement Learning},
author = {Wook Lee and Frans A. Oliehoek},
journal= {arXiv preprint arXiv:2011.07665},
year = {2020}
}
备注
NeurIPS 2020 Workshop on Machine Learning for Engineering Modeling, Simulation and Design