利用校准指标改进风格迁移
计算机视觉与模式识别
2020-02-17 v2
摘要
风格迁移方法生成一幅迁移图像，该图像是以风格图像的方式对内容图像的渲染。我们致力于理解如何改进风格迁移。为此需要定量评估流程，但当前的评估是定性的，主要依赖用户研究。我们描述一种新颖的定量评估流程。我们的流程依赖两个统计量：有效性（E）统计量衡量给定风格迁移至目标的程度，连贯性（C）统计量衡量原始图像内容被保留的程度。我们的统计量经校准以符合人类偏好：在风格（相应地为内容）比较中，具有更大E（相应地为C）值的目标将可靠地被人类受试者偏好。我们利用这些统计量考察若干神经风格迁移（NST）方法的相对表现，揭示了若干引人关注的特性。可接受的方法位于帕累托前沿上（即提升E会降低C，或反之）。三种方法可接受：通用风格迁移产生非常好的C但较弱的E；修改Gatys损失的优化流程得到具有强E与强C的方法；一种改进的交叉层方法以C的显著代价获得略优的E。尽管直方图损失改善了Gatys方法的E统计量，但并未使该方法可接受。令人惊讶的是，风格权重在提升EC分数上作用相对较小，且迁移中的大部分差异可由风格本身解释（意味着实验者可能因选择风格而产生误导）。
引用
@article{arxiv.1910.09447,
title = {Improving Style Transfer with Calibrated Metrics},
author = {Mao-Chuang Yeh and Shuai Tang and Anand Bhattad and Chuhang Zou and David Forsyth},
journal= {arXiv preprint arXiv:1910.09447},
year = {2020}
}
备注
updated conference camera ready version. arXiv admin note: text overlap with arXiv:1804.00118