ContraFeat：用于语义发现的深度特征对比方法
计算机视觉与模式识别
2022-12-15 v1
摘要
得益于其多层中间潜变量的特殊设计，StyleGAN 在解耦语义控制方面展现出强大潜力。然而，现有 StyleGAN 语义发现方法依赖手动选择修改的潜层以获得满意操控结果，繁琐且要求高。本文中，我们提出一种自动化该过程并达到最先进语义发现性能的模型。该模型由带注意力的导航模块与对比深度特征变化的损失组成。我们提出两种模型变体，一种以二元方式对比样本，另一种以学习到的原型变化模式对比样本。所提损失基于预训练深度特征定义，基于其特征可隐式揭示含一致性与正交性的期望语义结构的假设。此外，我们设计两个指标在 FFHQ 数据集上定量评估语义发现方法性能，并展示可通过简单训练过程导出解耦表示。实验上，我们的模型无需依赖潜层逐层手动选择即可获得最先进语义发现结果，且所发现语义可用于操控真实图像。
引用
@article{arxiv.2212.07277,
title = {ContraFeat: Contrasting Deep Features for Semantic Discovery},
author = {Xinqi Zhu and Chang Xu and Dacheng Tao},
journal= {arXiv preprint arXiv:2212.07277},
year = {2022}
}
备注
AAAI23