面向图像识别的图像超分辨率：基于任务驱动感知损失
计算机视觉与模式识别
2024-04-05 v2
摘要
在实际场景中，图像识别任务（如语义分割和目标检测）常因低分辨率图像中信息匮乏而面临更大挑战。图像超分辨率（SR）是解决这一问题的有前景的方法之一。然而，由于SR问题的欠定性质，常规SR方法难以恢复与识别任务相关的高频细节，这可能会削弱利用SR方法的优势。因此，本文提出一种名为"面向图像识别的超分辨率"（Super-Resolution for Image Recognition, SR4IR）的方法，通过有效引导生成对实现满意图像识别性能所必需的SR图像。我们的SR4IR的关键组件是任务驱动感知损失（task-driven perceptual loss, TDP loss），它使SR网络能够从针对特定任务设计的网络中获取任务特定知识。此外，我们提出了交叉质量块混合（cross-quality patch mix）和交替训练框架（alternate training framework），显著增强了TDP损失的有效性，解决了应用TDP损失时可能遇到的问题。通过大量实验，我们展示了我们的SR4IR在生成对特定图像识别任务（包括语义分割、目标检测和图像分类）有用的SR图像方面取得了卓越的任务性能。实现代码已公开于 https://github.com/JaehaKim97/SR4IR。
引用
@article{arxiv.2404.01692,
title = {Beyond Image Super-Resolution for Image Recognition with Task-Driven Perceptual Loss},
author = {Jaeha Kim and Junghun Oh and Kyoung Mu Lee},
journal= {arXiv preprint arXiv:2404.01692},
year = {2024}
}
备注
Accepted at CVPR 2024