HAIFAI: 用于心理面部重建的人类-人工智能交互
计算机视觉与模式识别
2025-02-26 v2
摘要
我们提出 HAIFAI - 一个新颖的两阶段系统,人类和 AI 交互以解决挑战性的任务:重建仅存在于人类心中某人面部的视觉表征。在第一阶段,用户迭代地对我们重建系统呈现的图像进行排序,以基于其与心理图像的相似性进行排序。这些排序结果反过来允许系统提取相关图像特征、融合成统一的特征向量,并使用生成模型产生心理图像的初始重建。在第二阶段,我们利用现有的面部编辑方法,允许用户通过易用的滑块界面对面部形状进行手动细化和进一步改进此重建。为避免为训练重建系统收集繁琐的人类数据,我们引入一种人类排序行为的计算用户模型。为此,我们通过在线众包研究收集了一个包含 275 名参与者数据的数据集。我们对 HAIFAI 和一个被剥离版本进行了 12 名参与者的用户研究评估,表明我们的做法在重建质量、可用性、感知工作负荷和重建速度方面均优于先前的最先进技术.我们进一步在随后的 18 名参与者的面部排序研究中对重建结果进行了验证,表明 HAIFAI 实现了 60.6% 的新纪录识别率。这些发现代表了一项重大进展,旨在开发能够可靠且轻松重建用户心理图像的新型交互式智能系统。
引用
@article{arxiv.2412.06323,
title = {HAIFAI: Human-AI Interaction for Mental Face Reconstruction},
author = {Florian Strohm and Mihai Bâce and Andreas Bulling},
journal= {arXiv preprint arXiv:2412.06323},
year = {2025}
}