中文

来自单张图像的珊瑚模型生成:面向虚拟现实的深度学习框架

计算机视觉与模式识别 2024-09-05 v1 人工智能 图形学 人机交互 多媒体

摘要

随着VR技术的快速发展,高质量3D模型的需求日益增长。传统方法在大规模定制化方面效率和质量方面存在挑战。本文引入了一种深度学习框架,可从单张图像生成高精度3D珊瑚模型。该框架基于Coral数据集,提取几何与纹理特征,进行3D重建,并优化设计与材料混合。先进的优化技术和多边形数量控制确保了形状精度、细节保留以及对各种复杂度的灵活输出,满足高质量渲染和实时交互需求。该项目集成了可解释人工智能(XAI),将AI生成的模型转化为可在VR中欣赏的互动“艺术品”,这既增强了模型可解释性,也促进了人机协作。VR交互中的实时反馈显示了珊瑚种类和栖息地等信息,丰富了用户体验。生成的模型在细节、视觉质量和效率方面均优于传统方法。这项研究为VR领域的智能3D内容创建提供了新思路,降低了生产门槛,推动了广泛的VR应用。此外,集成XAI为AI生成的视觉内容及其3D视觉解释性研究提供了新视角。

关键词

引用

@article{arxiv.2409.02376,
  title  = {Coral Model Generation from Single Images for Virtual Reality Applications},
  author = {Jie Fu and Shun Fu and Mick Grierson},
  journal= {arXiv preprint arXiv:2409.02376},
  year   = {2024}
}

备注

In Proceedings of Explainable AI for the Arts Workshop 2024 (XAIxArts 2024) arXiv:2406.14485