风格迁移的定量评估

风格迁移方法生成一幅迁移图像，该图像是以风格图像的方式对内容图像的渲染。相关变体方法已有丰富文献。然而，评估过程多为定性，主要依赖用户研究。我们描述了一种新颖的定量评估流程。将有效性(风格被迁移程度的度量)对协调性(迁移图像以与内容图像相同方式分解为物体的程度的度量)作图，得到EC图。我们构建EC图比较若干近期风格迁移方法。多数方法控制层内 gram 矩阵，但我们也研究了一种控制跨层 gram 矩阵的方法。这些EC图揭示了近期风格迁移方法的若干有趣特性。对于所有方法，所用风格对结果有强烈影响。使用大风格权重未必提升有效性，反而可能产生更差结果。跨层 gram 矩阵轻易击败所有其他方法，但某些风格对所有方法仍困难。集成方法展现出真正前景。很可能对于当前方法，每种风格都需不同权重选择以获得最佳结果，因此自动权重设定方法值得期待。最后，我们给出将EC评估与人类评估相比较的证据。