使用深度强化学习实现零缺陷智能锻造

生产过程中的缺陷可能导致材料浪费，这对许多企业而言是重大挑战，因为它会降低收入并对可持续性与环境产生负面影响。材料浪费的一个重要原因是自动化程度低，尤其是在当前数字化程度较低的行业，如钢锻造。这些行业通常依赖笨重且老旧的机械，例如大型感应炉，其大多由人工控制或使用专家制定的已知配方。然而，当发生计划外停机等不可预见事件时，标准配方可能失效，从而导致锻造过程中过热及材料退化。在本文中，我们开发了一种基于数字孪生的锻造线加热过程优化策略，以自动化地开发最优控制策略，该策略基于高温计观测的温度数据调节感应炉加热线圈的功率。我们设计了一个基于数字孪生的深度强化学习（DTRL）框架，并利用锻造线的数字孪生训练了两种不同的深度强化学习（DRL）模型用于加热阶段。该孪生基于一个包含传热与运动模型的模拟器，用作 DRL 训练的环境。我们的评估表明，两种模型均显著降低了温度不均匀性，并有助于实现传统加热过程的自动化。