中文

基于弥散圆预测网络的自然与对抗散景渲染

计算机视觉与模式识别 2023-11-30 v3

摘要

散景效应是一种自然的浅景深现象,在摄影中使失焦部分模糊。近年来,一系列工作提出了出于艺术和美学目的的自动且逼真的散景渲染方法。它们通常采用结合复杂训练策略和网络架构的尖端数据驱动深度生成网络。然而,这些工作忽略了散景效应作为一种真实现象,不可避免地会影响后续的视觉智能任务(如识别),并且它们数据驱动的性质阻碍了研究散景相关物理参数(即景深)对智能任务的影响。为了填补这一空白,我们研究了一个全新的问题,即自然与对抗散景渲染,它包含两个目标:渲染逼真自然的散景和欺骗视觉感知模型(即基于散景的对抗攻击)。为此,除了纯数据驱动的解决方案外,我们通过结合数据驱动和物理感知方法的优势,提出了一种混合替代方案。具体来说,我们提出了弥散圆预测网络(CoCNet),以全对焦图像和深度图像作为输入来估计每个像素的弥散圆参数,这些参数通过著名的散景物理模型用于渲染最终图像。借助混合解决方案,我们的方法可以通过简单的训练策略和轻量得多的网络实现更逼真的渲染结果。

关键词

引用

@article{arxiv.2111.12971,
  title  = {Natural & Adversarial Bokeh Rendering via Circle-of-Confusion Predictive Network},
  author = {Yihao Huang and Felix Juefei-Xu and Qing Guo and Geguang Pu and Yang Liu},
  journal= {arXiv preprint arXiv:2111.12971},
  year   = {2023}
}

备注

11 pages, accepted by TMM