通过模型反馈的人类学习：与 Midjourney 迭代提示的动态过程
计算与语言
2023-11-22 v1
摘要
使用文本到图像（Text-to-Image）模型生成图像通常需要多次尝试，人类用户根据反馈（即输出图像）迭代更新其提示。受关于指称游戏和对话对齐的认知研究启发，本文分析了此类迭代过程中用户提示的动态变化。我们整理了一个人类用户与 Midjourney 迭代交互的数据集。我们的分析随后揭示，在这些迭代中提示可预测地收敛于特定特征。我们进一步研究这种收敛是由于人类用户意识到遗漏了重要细节，还是由于对模型“偏好”的适应——即为特定语言风格生成更好的图像。我们展示了两种可能性均起作用的最初证据。用户适应模型偏好的可能性引发了关于将用户数据用于进一步训练的担忧。这些提示可能偏向于特定模型的偏好，而非与人类意图和自然表达方式相对齐。
引用
@article{arxiv.2311.12131,
title = {Human Learning by Model Feedback: The Dynamics of Iterative Prompting with Midjourney},
author = {Shachar Don-Yehiya and Leshem Choshen and Omri Abend},
journal= {arXiv preprint arXiv:2311.12131},
year = {2023}
}
备注
EMNLP23