GPT-4V(ision) 是一种与人类对齐的文本到三维生成评估器
计算机视觉与模式识别
2024-01-11 v2
摘要
尽管文本到三维生成方法近期取得了进展，但仍明显缺乏可靠的评估指标。现有指标通常各自仅关注单一标准，例如资产与输入文本的匹配程度。这些指标缺乏泛化到不同评估标准的灵活性，且可能与人类偏好不一致。进行用户偏好研究是一种替代方案，既能提供适应性，又能给出与人类对齐的结果。然而，用户研究在规模化时可能成本极高。本文提出了一种用于文本到三维生成模型的自动、通用且与人类对齐的评估指标。为此，我们首先利用 GPT-4V 开发了一个提示生成器，用于生成评估提示，作为比较文本到三维模型的输入。我们进一步设计了一种方法，指示 GPT-4V 根据用户定义的标准比较两个三维资产。最后，我们使用这些成对比较结果为这些模型分配 Elo 评分。实验结果表明，我们的指标在不同评估标准下均与人类偏好高度一致。
引用
@article{arxiv.2401.04092,
title = {GPT-4V(ision) is a Human-Aligned Evaluator for Text-to-3D Generation},
author = {Tong Wu and Guandao Yang and Zhibing Li and Kai Zhang and Ziwei Liu and Leonidas Guibas and Dahua Lin and Gordon Wetzstein},
journal= {arXiv preprint arXiv:2401.04092},
year = {2024}
}
备注
Project page: https://gpteval3d.github.io/ ; Code: https://github.com/3DTopia/GPTEval3D