从社会认知视角：情境感知的视觉社交关系识别
计算机视觉与模式识别
2024-06-13 v1 人工智能
摘要
人的社交关系往往通过其周围环境表现出来，某些对象或互动作为特定关系的象征，例如婚戒、玫瑰、拥抱或握手。 这给识别社交关系带来了独特的挑战，要求理解和捕捉这些情境从视觉外观中的本质。然而，当前的社交关系理解方法依赖于检测人员和对象的基本分类范式，无法理解综合情境，常常忽略关键社交因素，尤其是细微的视觉线索。 为凸显社交感知情境和细致细节，我们提出了一种新方法，从社会认知视角识别情境社交关系（ConSoR）。具体而言，通过我们新颖的多模态侧适配调谐机制，在冻结的CLIP上构建轻量级适配器以学习社交概念。进一步，我们为每张图像构建社交感知描述性语言提示（例如场景、活动、对象、情感），然后通过视觉-语言对比，使ConSoR更集中地注意决定性视觉社交因素。令人印象深刻的是，ConSoR在PISC数据集上 outperform（提升）了12.2%，在PIPA基准测试中提升了9.8%。此外，我们观察到ConSoR在发现揭示社交关系的关键视觉证据方面表现出色。
引用
@article{arxiv.2406.08358,
title = {From a Social Cognitive Perspective: Context-aware Visual Social Relationship Recognition},
author = {Shiwei Wu and Chao Zhang and Joya Chen and Tong Xu and Likang Wu and Yao Hu and Enhong Chen},
journal= {arXiv preprint arXiv:2406.08358},
year = {2024}
}