引入时间序列 Transformer 的混合建模：间歇结晶中串联与并联方法的比较研究

大多数现有数字孪生依赖数据驱动的黑箱模型，主要使用深度神经循环与卷积神经网络（DNNs、RNNs 和 CNNs）来捕捉化学系统动态。然而，鉴于安全与运行问题导致直接部署黑箱工具的顾虑，这些模型未能真正投入实用。为解决这一难题，将第一性原理物理动力学与机器学习（ML）模型相结合的混合模型日益流行，被视为“两全其美”的途径。尽管如此，现有简单 DNN 模型不擅长长期时间序列预测及利用过程动态轨迹的上下文信息。近期，基于注意力的时序 Transformer（TSTs）利用多头注意力机制与位置编码捕捉过程状态的长期与短期变化，展现出高预测性能。因此，我们开发了首个基于 TST 的混合框架用于间歇结晶，相较传统黑箱模型表现出更高的精度与可解释性。具体而言，构建并比较了两种不同配置（即串联与并联）的基于 TST 的混合模型，其归一化均方误差（NMSE）处于 $[10, 50]\times10^{-4}$ 范围，且 $R^2$ 值超过 0.99。鉴于数字孪生的日益采用，下一代基于注意力的混合模型有望在塑造化学制造未来中发挥关键作用。