MOST-Net：一种面向人脸素描合成的记忆导向风格迁移网络
计算机视觉与模式识别
2022-06-09 v2 人工智能
摘要
人脸素描合成已广泛应用于多媒体娱乐与执法领域。尽管深度神经网络近期取得进展，但由于人脸的多样性和复杂性，准确且逼真的人脸素描合成仍具挑战性。当前基于图像到图像翻译的人脸素描合成在小规模数据集上常遭遇过拟合问题。为应对该问题，我们提出一种端到端记忆导向风格迁移网络（MOST-Net）用于人脸素描合成，其能在有限数据下生成高保真素描。具体而言，引入外部自监督动态记忆模块以长期捕获域对齐知识。如此，我们所提模型可通过在特征层面上建立人脸与对应素描间的持久关系来获得域迁移能力。此外，我们设计了一种新颖的记忆精炼损失（MR Loss）用于记忆模块中的特征对齐，以无监督方式增强记忆槽的准确性。在 CUFS 与 CUFSF 数据集上的大量实验表明，我们的 MOST-Net 取得了最先进的性能，尤其在结构相似性指数（SSIM）方面。
引用
@article{arxiv.2202.03596,
title = {MOST-Net: A Memory Oriented Style Transfer Network for Face Sketch Synthesis},
author = {Fan Ji and Muyi Sun and Xingqun Qi and Qi Li and Zhenan Sun},
journal= {arXiv preprint arXiv:2202.03596},
year = {2022}
}
备注
7 pages, 4 figures