广义人群多样性：学习一种与人类感知对齐的人物图像多样性表征
计算机视觉与模式识别
2024-01-26 v1 计算机与社会
摘要
捕捉图像中人物的多样性具有挑战性：近期文献倾向于关注一两个属性的多样化，这需要昂贵的属性标签或构建分类器。我们引入了一种多样化人物图像排序方法，该方法以更灵活、无标签的方式与人类对人群多样性的概念对齐。感知对齐文本衍生人物表征空间 (PATHS) 旨在捕获人物相关多样性的所有或许多相关特征，并且当用作标准最大边际相关性 (MMR) 排序算法中的表征空间时，能够更好地呈现一系列类型的人物相关多样性（例如，残障、文化服饰）。PATHS 的创建分为两个阶段。首先，采用文本引导的方法从预训练的图像-文本模型中提取人物多样性表征。然后，根据人类标注员的感知判断对该表征进行微调，使其能够捕获人类认为最显著的人物相关相似性方面。实证结果表明，根据人类标注员的并列评分，PATHS 方法实现的多样性优于基线方法。
引用
@article{arxiv.2401.14322,
title = {Generalized People Diversity: Learning a Human Perception-Aligned Diversity Representation for People Images},
author = {Hansa Srinivasan and Candice Schumann and Aradhana Sinha and David Madras and Gbolahan Oluwafemi Olanubi and Alex Beutel and Susanna Ricco and Jilin Chen},
journal= {arXiv preprint arXiv:2401.14322},
year = {2024}
}