基于经验回放的个性化生成式人脸模型持续学习
计算机视觉与模式识别
2024-12-04 v1
摘要
我们提出了一个新颖的持续学习问题：如何在不同外观、风格、姿态和光照条件下定期捕获的新照片批次中，顺序更新个性化 2D 和 3D 生成式人脸模型的权重。我们观察到，对模型进行简单的随机顺序微调会导致对过去人脸表征的灾难性遗忘。我们随后演示了，当可以存储和重放相当多的图像时，简单的随机抽样经验回放方法对于缓解灾难性遗忘非常有效。然而，对于存储较小且长期部署的模型，简单的随机抽样回放技术也会遗忘过去的表征。因此，我们引入了一种新的经验回放算法，将随机抽样与 StyleGAN 的潜在空间结合起来，将缓冲区表示为一个最优凸包。我们观察到，我们提出的凸包基于经验回放比随机抽样基线和低界限更有效地防止遗忘。
引用
@article{arxiv.2412.02627,
title = {Continual Learning of Personalized Generative Face Models with Experience Replay},
author = {Annie N. Wang and Luchao Qi and Roni Sengupta},
journal= {arXiv preprint arXiv:2412.02627},
year = {2024}
}
备注
Accepted to WACV 2025. Project page (incl. supplementary materials): https://anniedde.github.io/personalizedcontinuallearning.github.io/