Clarity ChatGPT：一种用于图像复原与增强的交互式自适应处理系统
计算机视觉与模式识别
2023-11-21 v1
摘要
现有图像复原与增强（IRE）方法的泛化能力受限于有限的预训练数据集，难以处理超出其设计范围的未知输入，例如不同的退化程度和场景。此外，它们未配备交互机制以考虑用户偏好或反馈，且其端到端设置无法为用户提供更多选择。面对上述IRE方法性能有限和交互不足的问题，我们尝试从工程和系统框架层面解决。具体而言，我们提出Clarity ChatGPT——一种将ChatGPT的对话智能与多种IRE方法相结合的变革性系统。Clarity ChatGPT可自动检测图像退化类型并选择合适的IRE方法进行复原，或基于用户反馈迭代生成满意结果。其创新特性包括：由CLIP驱动的检测器用于准确退化分类、无参考图像质量评价用于性能评估、区域特定处理用于精确增强，以及先进融合技术用于最优复原结果。Clarity ChatGPT标志着在语言与视觉融合、增强图文交互以及提供鲁棒高性能IRE解决方案方面的重大进展。我们的案例研究表明，Clarity ChatGPT有效提升了IRE中的泛化与交互能力，并填补了现有视觉-语言模型在低层领域的空白。
引用
@article{arxiv.2311.11695,
title = {Clarity ChatGPT: An Interactive and Adaptive Processing System for Image Restoration and Enhancement},
author = {Yanyan Wei and Zhao Zhang and Jiahuan Ren and Xiaogang Xu and Richang Hong and Yi Yang and Shuicheng Yan and Meng Wang},
journal= {arXiv preprint arXiv:2311.11695},
year = {2023}
}