基于知识蒸馏的人脸至卡通图像增量超分辨率
计算机视觉与模式识别
2024-01-30 v1 图像与视频处理
摘要
人脸超分辨率/幻觉是一个重要的研究领域，旨在增强低分辨率人脸图像以用于各种应用。虽然生成对抗网络在该领域展现出了潜力，但它们适应新的、未见数据的能力仍然是一个挑战。本文通过提出一种使用 GAN 与知识蒸馏的人脸至卡通图像增量超分辨率方法（ISR-KD）来解决这个问题。该领域的先前研究尚未研究增量学习，而在不断生成新数据的现实应用中，增量学习至关重要。所提出的 ISR-KD 旨在开发一种新颖的统一人脸超分辨率框架，该框架能够处理不同设置，包括不同类型的人脸（如卡通人脸）以及不同细节级别。为了实现这一点，在 CelebA 数据集上预训练了基于 GAN 的超分辨率网络，然后在 iCartoonFace 数据集上进行增量训练，使用知识蒸馏在保持 CelebA 测试集性能的同时提高 iCartoonFace 测试集上的性能。我们的实验证明了知识蒸馏在为模型增量添加卡通人脸超分辨率能力方面的有效性，同时保留了 GAN 在人脸幻觉任务中已学到的知识。
引用
@article{arxiv.2401.15366,
title = {Face to Cartoon Incremental Super-Resolution using Knowledge Distillation},
author = {Trinetra Devkatte and Shiv Ram Dubey and Satish Kumar Singh and Abdenour Hadid},
journal= {arXiv preprint arXiv:2401.15366},
year = {2024}
}