基于Bradley-Terry偏好模型的文本到图像分类与生成中的快速适配
计算机视觉与模式识别
2023-09-22 v2 机器学习
摘要
近来，大型多模态模型，如CLIP和Stable Diffusion，在基础与应用方面都取得了巨大成功。然而，随着这些模型的参数规模与计算需求不断增加，用户针对特定任务或偏好对其进行个性化变得更具挑战性。在这项工作中，我们解决了将前述模型适配到特定人类偏好集合的问题，使检索或生成的图像与用户偏好对齐。我们利用Bradley-Terry偏好模型开发了一种快速适配方法，该方法能以少量样本和最小计算资源高效微调原始模型。通过在多模态文本与图像理解相关不同领域的实验，包括作为奖励模型的偏好预测以及生成任务，提供了该框架能力的充分证据。
引用
@article{arxiv.2308.07929,
title = {Fast Adaptation with Bradley-Terry Preference Models in Text-To-Image Classification and Generation},
author = {Victor Gallego},
journal= {arXiv preprint arXiv:2308.07929},
year = {2023}
}
备注
Accepted to Proceedings of the 23rd European Young Statisticians Meeting (EYSM)