基于人类反馈的领域自适应以增强生成模型去噪能力
计算机视觉与模式识别
2023-08-02 v1
摘要
我们如何将人类反馈应用于生成模型？作为该问题的回答，本文展示了应用于去噪问题及利用人类反馈进行领域自适应的方法。深度生成模型在图像去噪上已展现令人印象深刻的成果。然而，当前图像去噪模型在应用于与其训练域不同的域时，常产生不恰当结果。若对未见数据存在“好”与“坏”结果，如何提升“坏”结果的质量。多数方法采用基于模型泛化的思路。但这些方法需要目标图像以训练或自适应未见域。本文中，为进行领域自适应，我们处理未见域的非目标图像，并改善特定的失败图像。为此，我们提出一种利用人类反馈微调在异域生成的不恰当结果的方法。首先，我们仅使用含噪 MNIST 数字“0”图像训练生成器以去噪。在源域上训练的去噪生成器应用于目标域图像时导致非预期结果。为实现领域自适应，我们构建噪声-图像-去噪生成图像数据集并训练奖励模型以预测人类反馈。最后，我们利用带辅助损失函数的奖励模型在不同域上微调生成器，旨在将去噪能力迁移至目标域。我们的方法展示了利用另一域的人类反馈高效微调单域训练生成器，从而增强不同域中去噪能力的潜力。
引用
@article{arxiv.2308.00307,
title = {Domain Adaptation based on Human Feedback for Enhancing Generative Model Denoising Abilities},
author = {Hyun-Cheol Park and Sung Ho Kang},
journal= {arXiv preprint arXiv:2308.00307},
year = {2023}
}