基于泄漏滤波的开放式内容-风格重组
机器学习
2018-10-02 v1 机器学习
摘要
我们考虑如下视觉域：类别标签指定图像内容，而区分实例的类别无关属性构成风格。我们提出一种与领域无关的方法，允许将一幅图像的风格与另一幅图像的内容进行开放式重组。开放式仅指该方法可泛化至训练数据中未出现的风格与内容。该方法首先使用现有深度度量学习技术构建内容嵌入。此训练好的内容编码器被纳入变分自编码器（VAE），并与待训练的风格编码器配对。仅 VAE 重建损失不足以确保潜表示分解为风格与内容。因此，我们的方法包含一项辅助损失——泄漏滤波，其确保内容表示中残留的风格信息不被用于重建，反之亦然。我们通过将一幅图像获得的风格表示与另一幅图像的内容表示解码来合成新图像。将该 method 用于数据集增广，我们在少样本学习任务上取得了 SOTA 性能。
引用
@article{arxiv.1810.00110,
title = {Open-Ended Content-Style Recombination Via Leakage Filtering},
author = {Karl Ridgeway and Michael C. Mozer},
journal= {arXiv preprint arXiv:1810.00110},
year = {2018}
}