HarmonyView：在单图生成 3D 中协调一致性与多样性
计算机视觉与模式识别
2023-12-27 v1 人工智能
摘要
单图像 3D 生成的最新进展突出了多视图一致性的重要性，利用了在互联网规模图像上预训练的大规模扩散模型中的 3D 先验。然而，由于将 2D 图像转换为 3D 内容存在模糊性（可能涌现出无数种潜在形状），新视图多样性这一方面在研究领域中仍未得到充分探索。在此，我们旨在通过同时解决一致性和多样性来填补这一研究空白。然而，由于这两方面固有的权衡，在它们之间取得平衡构成了相当大的挑战。本工作介绍了 HarmonyView，这是一种简单而有效的扩散采样技术，擅长分解单图像 3D 生成中的两个复杂方面：一致性和多样性。这种方法为在采样过程中更细致地探索这两个关键维度铺平了道路。此外，我们提出了一种基于 CLIP 图像和文本编码器的新评估指标，以全面评估生成视图的多样性，该指标与人类评估者的判断高度一致。实验表明，HarmonyView 实现了和谐的平衡，在一致性和多样性方面均展示了双赢的局面。
引用
@article{arxiv.2312.15980,
title = {HarmonyView: Harmonizing Consistency and Diversity in One-Image-to-3D},
author = {Sangmin Woo and Byeongjun Park and Hyojun Go and Jin-Young Kim and Changick Kim},
journal= {arXiv preprint arXiv:2312.15980},
year = {2023}
}
备注
Project page: https://byeongjun-park.github.io/HarmonyView/