内容-风格解耦的偏差与有效性度量

近期一系列最先进的半监督与无监督方案将图像“内容”解耦并编码为空间张量，将图像外观或“风格”编码为向量，以在空间等变任务（例如图像到图像翻译）中取得良好性能。为此，它们采用了不同的模型设计、学习目标和数据偏差。尽管在向量表示的解耦度量及其对任务性能的影响评估方面已付出大量努力，但对于（空间）内容-风格解耦的此类分析仍然缺乏。在本文中，我们进行了一项实证研究，探究不同偏差在内容-风格解耦设置中的作用，并揭示解耦程度与任务性能之间的关系。具体而言，我们考虑如下设置： (i) 确定三种流行的内容-风格解耦模型的关键设计选择与学习约束； (ii) 以消融方式放宽或移除此类约束；以及 (iii) 使用两个指标度量解耦程度并评估其对各任务性能的影响。我们的实验揭示，在解耦、任务性能以及——令人惊讶的——内容可解释性之间存在一个“甜点”，表明盲目强制更高解耦会损害模型性能与内容因素的语义性。我们的发现以及所用的任务无关指标，可用于指导对内容-风格表示有用的任务中新模型的设计与选择。