3D Arena：用于生成 3D 模型评估的开放平台

评估生成 3D 模型仍具有挑战性，因为自动化指标与人类感知质量的错位。当前基准依赖基于图像的指标忽略 3D 结构，或几何措施未能捕捉感知吸引力和实际实用性。为解决此问题，我们提出 3D Arena，一个通过大规模人类偏好收集（使用成对比较）来评估图像到 3D 生成模型的开放平台。自 2024 年 6 月启动以来，平台已收集 123,243 票来自 8,096 位用户的偏好，覆盖 19 个最先进模型，建立了生成 3D 人类偏好评估的最大平台。我们贡献了 100 个评估提示的数据集 iso3d，并实现了 99.75% 的用户真实性通过统计欺诈检测。我们的 ELO 基于排名系统提供可靠的模型评估，平台已成为该领域的 established 评估资源。通过分析这些偏好数据，我们 present 关于人类偏好模式的洞见。我们的发现表明，人类偏好倾向于视觉呈现特征，Gaussian splat 输出在网格和带纹理模型中获得 16.6 ELO 优势，带纹理模型相对于无纹理模型获得 144.1 ELO 优势。我们提供改进评估方法的建议，包括多标准评估、任务导向评估和 format-aware 比较。平台的社区参与将 3D Arena 确立为该领域的 benchmark，同时推动了人类中心评估在生成 3D 中的理解。