零样本多模态艺术家可控的3D物体集检索与探索
计算机视觉与模式识别
2022-09-05 v1 人工智能
图形学
机器学习
摘要
在创建3D内容时,通常需要高度专业的技能来手工设计与生成物体及其他素材的模型。我们通过基于多模态输入(包括2D草图、图像与文本)的高质量3D素材检索来解决此问题。我们使用CLIP,因其提供了通往更高层潜特征的桥梁。我们利用这些特征执行多模态融合,以解决影响常见数据驱动方法的艺术控制缺失问题。我们的方法通过结合输入潜嵌入,实现基于3D素材数据库的多模态条件特征驱动检索。我们探索了不同输入类型与加权方法下特征嵌入不同组合的效果。
引用
@article{arxiv.2209.00682,
title = {Zero-Shot Multi-Modal Artist-Controlled Retrieval and Exploration of 3D Object Sets},
author = {Kristofer Schlachter and Benjamin Ahlbrand and Zhu Wang and Valerio Ortenzi and Ken Perlin},
journal= {arXiv preprint arXiv:2209.00682},
year = {2022}
}