利用扩散先验实现可泛化稠密预测
计算机视觉与模式识别
2024-04-04 v2
摘要
近期先进的文本到图像（T2I）扩散模型生成的内容有时过于富有想象力，现有现成稠密预测器因不可缓解的域差距而难以估计。我们引入 DMP，一种利用预训练 T2I 模型作为稠密预测任务先验的流程。为解决确定性预测任务与随机 T2I 模型之间的错位，我们通过一系列插值重新表述扩散过程，在输入 RGB 图像与输出预测分布间建立确定性映射。为保持可泛化性，我们使用低秩适配（low-rank adaptation）微调预训练模型。涵盖 3D 属性估计、语义分割和本征图像分解等五项任务的大量实验展示了所提方法的有效性。尽管训练数据领域有限，该方法对任意图像均能给出忠实估计，超越现有最先进算法。
引用
@article{arxiv.2311.18832,
title = {Exploiting Diffusion Prior for Generalizable Dense Prediction},
author = {Hsin-Ying Lee and Hung-Yu Tseng and Hsin-Ying Lee and Ming-Hsuan Yang},
journal= {arXiv preprint arXiv:2311.18832},
year = {2024}
}
备注
To appear in CVPR 2024. Project page: https://shinying.github.io/dmp