半自回归能量流:探索标准化流的免似然训练

训练标准化流生成模型可能具有挑战性,因为需要计算计算代价昂贵的雅可比行列式。本文研究流的免似然训练,并提出能量目标,一种基于适当评分规则的替代性基于样本的损失。能量目标无行列式且支持不易与最大似然训练兼容的灵活模型架构,包括半自回归能量流,一个在完全自回归与非自回归模型之间插值的新模型族。能量流相对于基于似然的流具有竞争的采样质量、后验推断与生成速度;该性能与对数似然估计的质量去相关,而后者通常非常差。我们的发现质疑将最大似然用作目标或度量,并为对其在生成建模中作用的科学研究做出贡献。