基于能量的生成式协同显著性预测
计算机视觉与模式识别
2022-06-24 v2
摘要
传统的显著性预测模型通常学习从图像到其显著性图的确定性映射，因而无法解释人类注意力的主观性。本文为建模视觉显著性的不确定性，从生成模型视角研究显著性预测问题，通过学习给定输入图像下显著性图的条件概率分布，并将显著性预测视为从所学分布中的采样过程。具体而言，我们提出一种生成式协同显著性预测框架，其中条件潜变量模型（LVM）与条件能量基模型（EBM）以协同方式联合训练以预测显著物体。LVM 作为快速但粗糙的预测器高效生成初始显著性图，随后由 EBM 的迭代 Langevin 修正（作为慢速但精细的预测器） refinement。这种由粗到细的协同显著性预测策略兼具两者之长。此外，我们提出“协同学习同时恢复”策略并应用于弱监督显著性预测，其中训练图像的显著性标注部分缺失。最后，我们发现 EBM 中学得的能量函数可作为精炼模块，精炼其他预训练显著性预测模型的结果。实验结果表明，我们的模型能生成一组多样且合理的图像显著性图，并在全监督与弱监督显著性预测任务中均取得最先进性能。
引用
@article{arxiv.2106.13389,
title = {Energy-Based Generative Cooperative Saliency Prediction},
author = {Jing Zhang and Jianwen Xie and Zilong Zheng and Nick Barnes},
journal= {arXiv preprint arXiv:2106.13389},
year = {2022}
}