面向图像情感估计的人类在回环注释：评估模型可靠性对注释准确性的影响
人机交互
2025-06-10 v2 人工智能
计算机视觉与模式识别
摘要
人类在回环(Human-in-the-Loop, HITL)框架日益受到关注，因其在情感估计系统中通过结合机器预测与人类专长来提高注释准确性。本研究聚焦于将高性能图像情感模型集成到HITL注释框架中，以评估人类-机器交互的协同潜力，并识别成功协作的关键心理因素和实践因素。具体而言，我们研究在HITL系统中，模型可靠性和认知框架如何影响人类信任、认知负荷和注释行为。我们展示，模型可靠性和心理框架显著影响注释者的信任、参与度和一致性，为优化HITL框架提供了见解。通过三种实验情景（基线模型可靠性S1、制造错误S2、由消极框架引发的认知偏差S3），我们分析了行为数据和定性数据。S1中可靠的预测导致高信任和注释一致性，而S2中不可靠的输出引发更严厉的评估，同时也引发挫败感和响应变异性。S3中的消极框架揭示了认知偏差如何影响参与者将模型视为更具亲和力和准确性，尽管该模型关于其可靠性存在误导。这些发现突显了可靠机器输出和心理因素在塑造有效人类-机器协作中的重要性。通过充分利用人类监督和自动化系统的优势，本研究构建了一个可扩展的情感注释HITL框架，为更广泛的自适应学习和人机交互应用奠定了基础。
引用
@article{arxiv.2502.07404,
title = {Human-in-the-Loop Annotation for Image-Based Engagement Estimation: Assessing the Impact of Model Reliability on Annotation Accuracy},
author = {Sahana Yadnakudige Subramanya and Ko Watanabe and Andreas Dengel and Shoya Ishimaru},
journal= {arXiv preprint arXiv:2502.07404},
year = {2025}
}