DeSIQ：面向无偏且具有挑战性的社会智能理解基准
计算与语言
2023-10-31 v1 人工智能
摘要
社会智能对于理解和推理人类表达、意图与交互至关重要。其研究的代表性基准之一是Social Intelligence Queries（Social-IQ），一个基于复杂社会交互视频多选题的数据集。我们定义了一套综合方法来研究Social-IQ的可靠性，因为此类基准数据集的可靠性对探究底层研究问题十分关键。我们的分析揭示Social-IQ含有大量偏差，可被中等强度的语言模型利用，通过学习虚假关联，在无需上下文甚至问题的情况下达到完美性能。我们提出DeSIQ，一个通过对Social-IQ施加简单扰动构建的、更具挑战性的新数据集。实证分析表明DeSIQ显著降低了原始Social-IQ中的偏差。此外，我们考察并阐明了模型规模、模型风格、学习设置、常识知识以及多模态对新基准性能的影响。我们的新数据集、观察与发现为社智能研究提出了重要问题。
引用
@article{arxiv.2310.18359,
title = {DeSIQ: Towards an Unbiased, Challenging Benchmark for Social Intelligence Understanding},
author = {Xiao-Yu Guo and Yuan-Fang Li and Gholamreza Haffari},
journal= {arXiv preprint arXiv:2310.18359},
year = {2023}
}
备注
12 pages, 5 figures, EMNLP 2023 Long Paper