利用人类反馈对齐文本到图像模型
机器学习
2023-02-24 v1 人工智能
计算机视觉与模式识别
摘要
深度生成模型在文本到图像合成中已展现出令人印象深刻的结果。然而，当前的文本到图像模型生成的图像往往与文本提示对齐不足。我们提出了一种利用人类反馈微调此类模型以实现对齐的方法，包含三个阶段。首先，我们收集人类反馈，从一组多样化的文本提示评估模型输出的对齐情况。随后，我们使用人工标注的图像-文本数据集训练一个预测人类反馈的奖励函数。最后，通过最大化奖励加权似然对文本到图像模型进行微调，以改善图像-文本对齐。我们的方法比预训练模型更准确地生成具有指定颜色、数量和背景的物体。我们还分析了若干设计选择，发现对此类设计选择的细致考察对于平衡对齐-保真度权衡十分重要。我们的结果展示了从人类反馈中学习的潜力，可显著改进文本到图像模型。
引用
@article{arxiv.2302.12192,
title = {Aligning Text-to-Image Models using Human Feedback},
author = {Kimin Lee and Hao Liu and Moonkyung Ryu and Olivia Watkins and Yuqing Du and Craig Boutilier and Pieter Abbeel and Mohammad Ghavamzadeh and Shixiang Shane Gu},
journal= {arXiv preprint arXiv:2302.12192},
year = {2023}
}