MEt3R：测量生成图像中的多视图一致性
计算机视觉与模式识别
2026-02-24 v2 机器学习
图像与视频处理
摘要
我们引入MEt3R，一种用于生成图像中多视图一致性的度量。大规模多视图图像生成模型正在快速推进从稀疏观测进行3D推理的领域。然而，由于生成建模的性质，传统的重建度量不适合衡量生成输出的质量，迫切需要独立于采样过程的度量。在这项工作中，我们专门解决生成的多视图图像之间的一致性问题，该问题可以独立于特定场景进行评估。我们的方法使用DUSt3R以前馈方式从图像对获得密集3D重建，用于将一个视图的图像内容扭曲到另一个视图。然后，比较这些图像的特征图以获得对视图依赖效应不变的相似性分数。使用MEt3R，我们评估了大量先前方法在新视图和视频生成中的一致性，包括我们开放的多视图潜在扩散模型。
引用
@article{arxiv.2501.06336,
title = {MEt3R: Measuring Multi-View Consistency in Generated Images},
author = {Mohammad Asim and Christopher Wewer and Thomas Wimmer and Bernt Schiele and Jan Eric Lenssen},
journal= {arXiv preprint arXiv:2501.06336},
year = {2026}
}
备注
Project website: https://geometric-rl.mpi-inf.mpg.de/met3r/ Updated to Camera-Ready version