透过动机语境透镜理解模型生成图像满意度中的主观性
人机交互
2024-03-12 v1 人工智能
摘要
图像生成模型有望在各类应用中变得无处不在。这些模型通常使用假设存在通用标准的人类质量判断进行微调和评估，却未能考虑此类任务的主观性。为了研究如何量化主观性及其影响规模，我们测量了不同用例中人类标注者评估的差异。通过模拟标注者主观性中通常潜在要素的影响，我们设计了一组动机（T 恤图案、演示文稿视觉效果和手机背景图像），为众包任务提供语境。我们的结果表明，人类对图像的评估在个体语境内以及跨语境组合中存在差异。影响这种主观性的三个关键因素是图像外观、图像与文本的对齐程度，以及文本中提及对象的呈现方式。我们的研究强调了在构建和评估生成模型时，将个体用户和语境纳入考量的重要性。
引用
@article{arxiv.2403.05576,
title = {Understanding Subjectivity through the Lens of Motivational Context in Model-Generated Image Satisfaction},
author = {Senjuti Dutta and Sherol Chen and Sunny Mak and Amnah Ahmad and Katherine Collins and Alena Butryna and Deepak Ramachandran and Krishnamurthy Dvijotham and Ellie Pavlick and Ravi Rajakumar},
journal= {arXiv preprint arXiv:2403.05576},
year = {2024}
}