基于无摄像机姿态假设的3D多视图风格化:用于稳健3D几何保持的姿态无关对应匹配
摘要
艺术风格迁移已在图像和视频中广泛研究,但将其扩展到多视图3D场景仍然困难,因为风格化可能破坏几何感知管道所需的对应关系。独立的 per-view 风格化常导致纹理漂移、扭曲的边缘和不一致的阴影,从而影响 SLAM、深度预测和多视图重建。本论文解决了在训练时不假设摄像机姿态或显式3D表示的多视图风格化问题,使其对下游3D任务保持可用性。我们引入了一个在 per-scene test-time optimization 下训练的 feed-forward 风格化网络,其复合目标函数将外观迁移与几何保持耦合。风格化由来自冻结 VGG-19 编码器的 AdaIN 风格化 loss 驱动,通过匹配风格图像的通道级矩来实现。为稳定视角间的结构一致性,我们提出了基于 SuperPoint 和 SuperGlue 的对应关系一致性 loss,约束来自风格化锚定视图的描述符保持与来自原始多视图集合中匹配描述符的一致性。我们还施加了基于 MiDaS/DPT 的深度保持 loss,并使用全局颜色对齐来减少深度模型的 domain shift。采用阶段性权重计划引入几何和深度约束。我们在 Tanks and Temples 和 Mip-NeRF 360 上进行评估,使用图像和重建指标。通过 Color Histogram Distance(CHD)和 Structure Distance(DSD)衡量风格一致性和结构保持。对于3D一致性,我们使用单目 DROID-SLAM 轨迹和对反投影点云的对称 Chamfer distance。在各种 ablation 实验中,对应关系和深度正则化减少了结构畸变,改善了 SLAM 稳定性和重建几何;在 MuVieCAST 基准场景上,我们的方法在保持竞争性风格化的同时,实现了更强的轨迹和点云一致性。
引用
@article{arxiv.2604.09639,
title = {3D Multi-View Stylization with Pose-Free Correspondences Matching for Robust 3D Geometry Preservation},
author = {Shirsha Bose},
journal= {arXiv preprint arXiv:2604.09639},
year = {2026}
}