利用 3 分钟人类反馈对扩散模型进行筛查式采样
计算机视觉与模式识别
2023-11-01 v2 人工智能
摘要
扩散模型近来在高质量图像生成中展现出显著成功。然而有时，预训练扩散模型表现出部分不对齐，即模型可以生成好的图像，但偶尔会输出不期望的图像。若是如此，我们只需阻止坏图像的生成，我们将此任务称为筛查(censoring)。本工作中，我们提出利用在极少人类反馈上训练的奖励模型，对预训练扩散模型进行筛查式生成。我们表明筛查可以以极高的人类反馈效率完成，仅用区区几分钟人类反馈生成的标签便已足够。代码见：https://github.com/tetrzim/diffusion-human-feedback。
引用
@article{arxiv.2307.02770,
title = {Censored Sampling of Diffusion Models Using 3 Minutes of Human Feedback},
author = {TaeHo Yoon and Kibeom Myoung and Keon Lee and Jaewoong Cho and Albert No and Ernest K. Ryu},
journal= {arXiv preprint arXiv:2307.02770},
year = {2023}
}
备注
Published in NeurIPS 2023