使用 Transformer 模型与强化学习预测实时科学实验

生命与物理科学一向迅速采纳机器学习最新进展以加速科学发现，例如细胞分割或癌症检测。然而，这些卓越结果基于挖掘既有数据集以发现模式或趋势。AI 近期进展已在自动驾驶或电子游戏等实时场景中展现。但这些新技术尚未在生命或物理科学中广泛采用，因为实验可能缓慢。为应对此局限，本工作旨在调整生成式学习算法以建模科学实验，并利用计算机模拟加速其发现。我们特别关注实时实验，旨在建模其如何对用户输入作出反应。为此，我们提出一种基于 Transformer 模型的编码器-解码器架构，以模拟实时科学实验、预测其未来行为并逐步操控它。作为概念验证，该架构被训练将一组力学输入映射到化学反应产生的振荡。模型与强化学习控制器配对，以展示模拟化学如何被实时操控朝向用户定义的行为。我们的结果展示了生成式学习如何建模实时科学实验，以追踪其随用户操控随时间的变化，以及训练模型如何与优化算法配对以发现超越实验室实验物理局限的新现象。本工作为构建物理实验与机器学习逐步交互的代理系统铺平道路。