中文

基于持续学习的可维护数字化化身:MaintaAvatar

计算机视觉与模式识别 2025-02-05 v1 人工智能

摘要

虚拟数字化化身的生成是计算机视觉领域的关键研究主题。许多现有工作利用神经辐射场(NeRF)来解决此问题并取得了令人印象深刻的结果。然而,先前的工作假设训练人员的图像是固定且可用的,而在实际场景中,人的外观和姿态可能会不断变化和增加。如何更新人类化身同时又能渲染旧人物外观是一个实际挑战。一个显而易见的解决方案是将现有的基于NeRF的虚拟化身模型与持续学习方法相结合。然而,这种方法存在一些关键问题:学习新的外观和姿态会导致模型忘记过去的信息,从而导致旧外观渲染质量下降,尤其是出现颜色漂移和错误的人体姿态。本文提出一种基于神经辐射场的可维护化身(MaintaAvatar),通过持续学习来解决上述问题,利用全局-局部联合存储模块和姿态蒸馏模块。总体而言,我们的模型只需有限的数据收集即可快速微调模型,同时避免灾难性遗忘,从而实现可维护的虚拟化身。实验结果验证了MaintaAvatar模型的有效性。

关键词

引用

@article{arxiv.2502.02372,
  title  = {MaintaAvatar: A Maintainable Avatar Based on Neural Radiance Fields by Continual Learning},
  author = {Shengbo Gu and Yu-Kun Qiu and Yu-Ming Tang and Ancong Wu and Wei-Shi Zheng},
  journal= {arXiv preprint arXiv:2502.02372},
  year   = {2025}
}

备注

AAAI 2025. 9 pages