基于人类反馈的可靠广告图像生成
计算机视觉与模式识别
2024-08-02 v1
摘要
在电子商务领域，引人注目的广告图像对于吸引客户注意力至关重要。虽然生成模型可以自动生成图像，但它们往往产生可能误导客户的低质量图像，需要大量人力成本来审查。本文深入研究了提高可用生成图像比例的问题。我们首先引入了一种多模态可靠反馈网络(RFNet)来自动审查生成的图像。将RFNet结合到循环过程中，即循环生成，可产生更多可用的广告图像。为进一步提高生产效率，我们利用RFNet的反馈对扩散模型进行微调，采用一种创新的一致条件正则化(RFFT)。这使得可用生成图像的比例显著提高，减少了循环生成中的尝试次数，并在不牺牲视觉吸引力的前提下提供了高效的生产流程。我们还构建了可靠反馈百万(RF1M)数据集，其中包含超过一百万张由人工标注的生成广告图像，有助于训练RFNet准确评估生成图像的可用性并忠实反映人类反馈。总之，我们的方法为广告图像生成提供了一种可靠的解决方案。
引用
@article{arxiv.2408.00418,
title = {Towards Reliable Advertising Image Generation Using Human Feedback},
author = {Zhenbang Du and Wei Feng and Haohan Wang and Yaoyu Li and Jingsen Wang and Jian Li and Zheng Zhang and Jingjing Lv and Xin Zhu and Junsheng Jin and Junjie Shen and Zhangang Lin and Jingping Shao},
journal= {arXiv preprint arXiv:2408.00418},
year = {2024}
}
备注
ECCV2024