用于减少视觉干扰的深度显著性先验
计算机视觉与模式识别
2021-09-07 v1 图形学
机器学习
摘要
仅使用一个被训练用于预测人眼在图像上注视位置的模型，而无需额外的训练数据，我们就能产生一系列用于减少图像中干扰的强大编辑效果。给定一幅图像和一个指定待编辑区域的掩码，我们通过一个最先进的显著性模型反向传播来参数化一个可微编辑算子，从而降低掩码区域内的显著性。我们展示了若干算子，包括：重新着色算子，它学习应用颜色变换将干扰物伪装并融入其背景；扭曲算子，它将显著性较低的图像区域扭曲以覆盖干扰物，逐渐将物体坍缩至自身从而有效移除它们（一种类似于修复的效果）；GAN 算子，它利用语义先验将图像区域完全替换为合理的、显著性更低的替代内容。所得效果与关于人类视觉系统的认知研究一致（例如，由于颜色不匹配是显著的，重新着色算子学习将物体颜色与周围环境协调以降低其显著性），并且重要的是，这些都仅通过预训练显著性模型的引导实现，无需额外监督。我们在多种自然图像上展示了结果，并进行了感知研究以评估和验证观看者眼动注视在原始图像与我们编辑结果之间的变化。
引用
@article{arxiv.2109.01980,
title = {Deep Saliency Prior for Reducing Visual Distraction},
author = {Kfir Aberman and Junfeng He and Yossi Gandelsman and Inbar Mosseri and David E. Jacobs and Kai Kohlhoff and Yael Pritch and Michael Rubinstein},
journal= {arXiv preprint arXiv:2109.01980},
year = {2021}
}
备注
https://deep-saliency-prior.github.io/