基于角色设定图的协同神经渲染
计算机视觉与模式识别
2023-04-18 v5
摘要
绘制具有期望姿态的角色图像是动画制作中一项必不可少但费力的工作。辅助创作者进行创作是近年来的研究热点。本文提出协同神经渲染（CoNR）方法，该方法利用少量参考图像（又称角色设定图）为指定姿态生成新图像。一般而言，动画角色多样的发型与服饰使得 SMPL 等适用于大多数裸体人形的人体通用模型难以应用。为克服此问题，CoNR 采用紧凑且易获取的 landmarks 编码，以避免在流程中创建统一的 UV 映射。此外，得益于精心设计的神经网络中的特征空间跨视角扭曲，当参考多张图像时 CoNR 的性能可显著提升。此外，我们收集了一个包含超过 700,000 张手绘与合成的多姿态图像的角色设定图数据集，以促进该领域的研究。我们的代码与演示可在 https://github.com/megvii-research/IJCAI2023-CoNR 获取。
引用
@article{arxiv.2207.05378,
title = {Collaborative Neural Rendering using Anime Character Sheets},
author = {Zuzeng Lin and Ailin Huang and Zhewei Huang},
journal= {arXiv preprint arXiv:2207.05378},
year = {2023}
}
备注
The three authors contribute equally. In the Arts and Creativity Track of IJCAI2023