APISR：受动漫制作启发的真实世界动漫超分辨率
图像与视频处理
2024-04-05 v2 人工智能
计算机视觉与模式识别
摘要
尽管真实世界动漫超分辨率（SR）在SR领域日益受到关注，现有方法仍沿用来自真实感图像领域的技术。本文分析动漫制作流程，并重新思考如何利用其特性来服务于真实世界动漫SR。首先，我们认为由于手绘帧的重复使用，视频网络和数据集对于动漫SR并非必要。相反，我们提出了一种动漫图像采集流程，从视频源中选择压缩程度最低且信息量最丰富的帧。基于该流程，我们引入了面向动漫制作的图像（API）数据集。此外，我们识别出两个动漫特有的挑战：扭曲模糊的手绘线条以及不期望的颜色伪影。我们通过引入图像退化模型中的预测导向压缩模块和带有增强手绘线条的伪真值准备来解决第一个问题。同时，我们引入了平衡双感知损失，结合动漫和真实感高级特征，以减轻不期望的颜色伪影并提高视觉清晰度。通过在公开基准上的大量实验评估，我们的方法优于当前最先进的基于动漫数据集训练的方法。
引用
@article{arxiv.2403.01598,
title = {APISR: Anime Production Inspired Real-World Anime Super-Resolution},
author = {Boyang Wang and Fengyu Yang and Xihang Yu and Chao Zhang and Hanbin Zhao},
journal= {arXiv preprint arXiv:2403.01598},
year = {2024}
}