SemFlow：通过定向流将语义分割与图像合成绑定
计算机视觉与模式识别
2024-11-26 v2
摘要
语义分割和语义图像合成是视觉感知和生成中的两个代表性任务。虽然现有方法将它们视为两个独立的任务，但我们提出了一个统一框架（SemFlow），将它们建模为一对逆问题。具体来说，受定向流理论的启发，我们训练一个ordinary 微分方程（ODE）模型在真实图像分布和语义掩码分布之间进行传输。由于训练对象是对称的，属于两个分布的样本（图像和语义掩码）可以轻松地进行可逆传输。对于语义分割，我们的方法解决了扩散输出随机性与分割结果唯一性之间的矛盾。对于图像合成，我们提出了一种有限扰动方法，在不改变语义类别的前提下增强生成结果的多样性。实验表明，我们的SemFlow在语义分割和语义图像合成任务上实现了具竞争力的结果。我们希望这个简单的框架将激励人们重新思考低层和高层视觉的统一。
引用
@article{arxiv.2405.20282,
title = {SemFlow: Binding Semantic Segmentation and Image Synthesis via Rectified Flow},
author = {Chaoyang Wang and Xiangtai Li and Lu Qi and Henghui Ding and Yunhai Tong and Ming-Hsuan Yang},
journal= {arXiv preprint arXiv:2405.20282},
year = {2024}
}
备注
NeurIPS 2024