GALA：面向图像合成的几何与光照感知物体检索
计算机视觉与模式识别
2022-04-04 v1
摘要
合成感知物体检索旨在给定背景图像和查询边界框时，寻找最兼容的物体用于合成。先前工作聚焦于学习前景物体与背景之间的兼容性，但未能从大规模数据中学习其他重要因素，即几何与光照。为更进一步，本文提出 GALA（Geometry-and-Lighting-Aware，几何与光照感知），一种针对开放世界图像合成、对几何与光照兼容性进行判别建模的通用前景物体检索方法。值得注意的是，它在 CAIS 数据集上取得了最先进（SOTA）结果，并在大规模开放世界数据集（即 Pixabay 和 Open Images）上泛化良好。此外，我们的方法能有效处理非边界框场景，即用户仅提供背景图像而无任何输入边界框。我们构建了一个网页演示（见补充材料）来展示该方法在合成感知检索及前景物体自动位置/尺度预测中的应用。
引用
@article{arxiv.2204.00125,
title = {GALA: Toward Geometry-and-Lighting-Aware Object Search for Compositing},
author = {Sijie Zhu and Zhe Lin and Scott Cohen and Jason Kuen and Zhifei Zhang and Chen Chen},
journal= {arXiv preprint arXiv:2204.00125},
year = {2022}
}