BokehOrNot：利用图像变换器与镜头元数据嵌入实现散景效果变换
计算机视觉与模式识别
2023-06-08 v1 机器学习
图像与视频处理
摘要
散景效果（Bokeh effect）是一种光学现象，能带来愉悦的视觉体验，通常由配备大光圈镜头的高端相机生成。散景效果变换任务旨在基于一组镜头和光圈的组合，在另一组组合下产生期望的效果。当前模型在渲染特定散景效果方面能力有限，主要是从清晰到模糊的变换。本文中，我们提出一种将镜头元数据嵌入模型的新颖通用方法，并引入一种利用新发布的散景效果变换数据集（BETD）[3]中alpha掩码的损失计算方法。基于上述技术，我们提出了BokehOrNot模型，其能够利用各种镜头与光圈尺寸组合生成从模糊到清晰以及从清晰到模糊的散景效果。我们提出的模型优于当前领先的散景渲染与图像复原模型，并渲染出视觉自然的散景效果。我们的代码可在 https://github.com/indicator0/bokehornot 获取。
引用
@article{arxiv.2306.04032,
title = {BokehOrNot: Transforming Bokeh Effect with Image Transformer and Lens Metadata Embedding},
author = {Zhihao Yang and Wenyi Lian and Siyuan Lai},
journal= {arXiv preprint arXiv:2306.04032},
year = {2023}
}