Artemis：具有外观与运动合成能力的关节化神经宠物

我们人类正在进入一个虚拟时代，并且确实也希望将动物带入虚拟世界作为陪伴。然而，计算机生成（CGI）的毛皮动物受限于繁琐的离线渲染，更不用说交互式运动控制了。在本文中，我们提出ARTEMIS，一种用于生成具有外观与运动合成能力的关节化（ARTiculated）神经宠物（neural pets）的新型神经建模与渲染流水线。我们的ARTEMIS支持毛皮动物的交互式运动控制、实时动画和照片级真实感渲染。我们ARTEMIS的核心是一个神经生成（NGI）动物引擎，它采用高效的基于八叉树的表示来进行动物动画和毛发渲染。动画随后等价于基于显式骨骼扭曲的体素级形变。我们进一步使用快速八叉树索引和高效体渲染方案来生成外观和密度特征图。最后，我们提出一种新颖的着色网络，从外观和密度特征图生成新姿态下外观和不透明度的保真度细节。对于ARTEMIS中的运动控制模块，我们将最先进的动物动作捕捉方法与近期的神经角色控制方案相结合。我们引入一种有效的优化方案来重建由多视角RGB和Vicon相机阵列捕捉的真实动物的骨骼运动。我们将所有捕捉到的运动输入神经角色控制方案，以生成带有运动风格的抽象控制信号。我们进一步将ARTEMIS集成到支持VR头显的现有引擎中，提供前所未有的沉浸式体验，用户可亲密交互各种具有生动运动和照片级真实感外观的虚拟动物。我们在 https://haiminluo.github.io/publication/artemis/ 公开了我们的ARTEMIS模型和动态毛皮动物数据集。