强化学习在异型材挤出模具形状优化中的研究

异型材挤出是一种由熔融聚合物连续生产塑料型材的工艺。尤其令人感兴趣的是模具的设计，熔体被压过模具以获得所需形状。然而，由于模具出口处速度分布不均匀或挤出物内部存在残余应力，制成零件的最终形状常偏离预期。为避免这些偏差，可对模具形状进行计算优化，文献中已使用经典优化方法对此开展研究。形状优化领域的一种新方法是利用强化学习（RL）作为一种基于学习的优化算法。RL基于智能体与环境之间的试错交互。对于每个动作，智能体获得奖励并获知环境的后续状态。虽然对于单一问题未必优于经典的（例如基于梯度或进化的）优化算法，但当类似优化任务重复出现时，RL技术有望表现尤为出色，因为智能体学习到生成最优形状的更通用策略，而非仅聚焦于单个问题。本工作中，我们通过将此方法应用于两个二维测试用例来开展研究。流道几何可由RL智能体使用所谓的自由变形（Free-Form Deformation）进行修改，该方法将计算网格嵌入变换样条中，随后基于控制点位置对其进行操控。我们特别研究了采用不同智能体对训练进程的影响，以及训练期间利用多环境节省挂钟时间的潜力。