将GPS用作图像生成的控制信号
计算机视觉与模式识别
2025-01-23 v2
摘要
我们表明，照片元数据的 GPS 标签为图像生成提供了有用的控制信号。我们训练 GPS-to-image 模型，并用于需要细粒度理解图像在城市中如何变化的任务。具体而言，我们训练一个扩散模型，以 GPS 和文本为条件生成图像。学习到的模型生成的图像能够捕捉不同社区、公园和地标的独特外观。我们还通过评分蒸馏抽取 3D 模型于 2D GPS-to-image 模型，通过 GPS 条件化约束每个视角的重建外观。我们的评估表明，GPS 条件化模型成功学习生成基于位置变化的图像，GPS 条件化还能改善估计的3D结构。
引用
@article{arxiv.2501.12390,
title = {GPS as a Control Signal for Image Generation},
author = {Chao Feng and Ziyang Chen and Aleksander Holynski and Alexei A. Efros and Andrew Owens},
journal= {arXiv preprint arXiv:2501.12390},
year = {2025}
}
备注
Project page: https://cfeng16.github.io/gps-gen/