面向社交视觉问答的数据集刻画及新数据集 TinySocial
人机交互
2020-10-26 v1 计算与语言
计算机视觉与模式识别
社会与信息网络
摘要
现代社交智能包括观看视频并回答有关社交与心理理论相关内容问题的能力，例如针对《哈利·波特》中的某个场景提问：“父亲真的因为男孩们开飞车而生气吗？”社交视觉问答（social VQA）正作为一种有价值的方法论，用于研究人类（如自闭症儿童）与 AI 智能体的社会推理能力。然而，这一问题空间在视频与问题两方面均存在极大的差异。我们讨论了创建与刻画社交 VQA 数据集的方法，包括：1）众包与内部编写，含我们所构建的两个新数据集（TinySocial-Crowd 与 TinySocial-InHouse）与已有 Social-IQ 数据集的样例对比；2）用于刻画给定视频难度与内容的新评分准则；3）用于刻画问题类型的新评分准则。最后我们指出，拥有良好刻画的社交 VQA 数据集将提升 AI 智能体的可解释性，并可为人群评估与教育干预提供参考。
引用
@article{arxiv.2010.11997,
title = {Characterizing Datasets for Social Visual Question Answering, and the New TinySocial Dataset},
author = {Zhanwen Chen and Shiyao Li and Roxanne Rashedi and Xiaoman Zi and Morgan Elrod-Erickson and Bryan Hollis and Angela Maliakal and Xinyu Shen and Simeng Zhao and Maithilee Kunda},
journal= {arXiv preprint arXiv:2010.11997},
year = {2020}
}
备注
To appear in the Joint IEEE International Conference on Development and Learning and on Epigenetic Robotics (ICDL), 2020