针对扩散和流模型的信任区噪声搜索用于黑箱对齐

优化扩散和流模型的噪声样本是对齐这些模型以在推理时匹配目标奖励的日益流行的方法。然而，我们注意到这些方法通常局限于可微分或低成本的奖励模型、针对预训练生成模型的底层预设，或在内存/计算效率方面较差。我们提出一种简单的基于信任区的搜索算法 (TRS)，将预训练的生成模型和奖励模型视为黑箱，仅优化源噪声。我们的方法在全局探索和局部开发之间取得良好平衡，具有通用性，可轻松适应各种生成设置和奖励模型，仅需最小化超参数调优。我们在文本到图像、分子和蛋白质设计任务中评估了 TRS，相较于基础生成模型和其他在源噪声上进行优化的推理时对齐方法（甚至在扩散模型的情况下优化整个反向时间采样噪声轨迹），获得了显著更好的输出样本。我们的源代码已公开。