一种用于生成式显著性的基于能量的先验

我们提出了一种新颖的生成式显著性预测框架，其采用一个信息性的基于能量的模型作为先验分布。该基于能量的先验模型定义在一个显著性生成器网络的潜空间上，该生成器基于连续潜变量和观测图像生成显著性图。显著性生成器的参数与基于能量的先验通过基于马尔可夫链蒙特卡洛的最大似然估计联合训练，其中从潜变量难以处理的后验和先验分布的采样由朗之万动力学执行。利用该生成式显著性模型，我们可以从图像中获得逐像素的不确定性图，指示模型在显著性预测中的置信度。与现有的将潜变量先验分布定义为简单各向同性高斯分布的生成模型不同，我们的模型使用信息性的基于能量的先验，在捕捉数据潜空间方面更具表现力。借助信息性的基于能量的先验，我们将生成模型的高斯分布假设扩展，以实现更具代表性的潜空间分布，从而得到更可靠的不确定性估计。我们将所提框架应用于基于 transformer 和卷积神经网络的 RGB 与 RGB-D 显著目标检测任务。我们进一步提出了一种对抗学习算法和一种变分推断算法作为训练所提生成框架的替代方案。实验结果表明，我们带有基于能量的先验的生成式显著性模型不仅能实现准确的显著性预测，还能得到与人类感知一致的可信不确定性图。结果与代码见 \url{https://github.com/JingZhang617/EBMGSOD}。