基于扩散图像形变与流估计的语义形状注册框架 SRIF
计算机视觉与模式识别
2024-10-04 v2
摘要
本文提出 SRIF，一种基于扩散图像形变和流估计的语义形状注册框架。更具体地，给定一对外在对齐的形状，我们首先从多视角渲染它们，然后利用基于扩散模型的图像插值框架生成它们之间的中间图像序列。随后将图像输入动态 3D 高斯溅写框架，以重建和后处理生成的中间点云，确保其遵循图像形变过程。最后，针对上述需求，我们提出了新颖的注册模块来估计连续归一化流，从而一致地将源形状变形至目标形状，借助中间点云作为弱导师。我们的关键洞察是利用大型视觉模型 (LVMs) 将形状关联起来，从而获取比 ad-hoc 特征提取与对齐更丰富的形状间语义信息。因此，SRIF 在具有挑战性的形状对上实现高质量稠密对应，同时在两者之间提供平滑、语义上有意义的插值。实证证据证明我们方法的有效性与优越性以及特定设计选择。代码已发布于 https://github.com/rqhuang88/SRIF。
引用
@article{arxiv.2409.11682,
title = {SRIF: Semantic Shape Registration Empowered by Diffusion-based Image Morphing and Flow Estimation},
author = {Mingze Sun and Chen Guo and Puhua Jiang and Shiwei Mao and Yurun Chen and Ruqi Huang},
journal= {arXiv preprint arXiv:2409.11682},
year = {2024}
}
备注
Accepted as a conference paper of SIGGRAPH Asia 2024