面向地下两相流约束型油田开发的深度强化学习优化方法

我们提出了一种基于深度强化学习的人工智能智能体，在仅给定油藏及岩石/流体性质的基本描述且计算成本极低的情况下，能够提供优化的开发方案。该人工智能智能体由一个卷积神经网络组成，建立了从给定的油藏模型状态、约束条件与经济状况到在既定序贯油田开发规划过程下一阶段所应采取的最优决策（钻井/不钻井及井位）的映射。油藏模型的状态由两相流控制方程中出现的参数定义。采用称为深度强化学习的反馈循环训练过程来训练具备此种能力的人工智能智能体。训练涉及数百万次流动模拟，其油藏模型描述（构造、岩石与流体性质）、作业约束及经济状况各不相同。定义油藏模型、作业约束与经济状况的参数从既定的适用范围内随机采样。我们引入了若干算法处理手段以增强该人工智能智能体的训练。经过适当训练后，该人工智能智能体可对适用范围内新场景即时给出优化的油田开发方案。相较于传统优化算法（如粒子群优化、遗传算法）——其通常用于求解特定油田开发场景且一般难以推广至不同场景——本方法具有优势。