基于细粒度知识迁移的图像翻译
计算机视觉与模式识别
2020-12-22 v1
摘要
主流的图像翻译框架大多通过端到端方式处理图像，已取得了令人信服的结果。然而，这些方法缺乏可解释性，且难以在不同图像翻译任务（如风格迁移、HDR等）上扩展。本文提出一种可解释的基于知识的图像翻译框架，通过知识检索与迁移实现图像翻译。具体而言，该框架构建了一个即插即用、与模型无关的通用知识库，记录任务特定的风格、色调、纹理模式等。此外，我们提出一种快速的近似最近邻（ANN）搜索方法——带通分层 K-Means（BHKM），以应对在庞大知识库中搜索的困难。大量实验充分证明了我们的框架在不同图像翻译任务中的有效性与可行性。特别地，回溯实验验证了方法的可解释性。我们的代码将很快发布于 https://github.com/AceSix/Knowledge_Transfer。
引用
@article{arxiv.2012.11193,
title = {Image Translation via Fine-grained Knowledge Transfer},
author = {Xuanhong Chen and Ziang Liu and Ting Qiu and Bingbing Ni and Naiyuan Liu and Xiwei Hu and Yuhan Li},
journal= {arXiv preprint arXiv:2012.11193},
year = {2020}
}
备注
Submitted to CVPR2021