Inter-Stance：用于对话立场分析的二元多模态语料库
计算机视觉与模式识别
2026-04-27 v1
摘要
社交互动主导我们的世界观感知，塑造我们的日常行为，通过赋予简单且自然的姿势、面部表情、语音和言语等行为以社会意义。人们会模仿或以其他方式响应他人的姿势、面部表情、习惯用语以及其他语言和非语言行为，并在此过程中形成评估或评价。然而，目前没有公开可用的语料库包含多模态录音和来自社交互动中多个个体的自我报告测量。缺乏二元录音和标注。我们 presented 一个新的多模态二元互动数据语料库（45 对来双方，90 个个体），包括同步的多模态行为（2D 面部视频、3D 面部几何、热谱动态、语音和言语行为、生理指标（PPG、EDA、心率、血压和呼吸）以及所有参与者在沟通互动情境中的自我报告情绪）。语料库包含两种类型来双方：有过共同过去历史的来双方和陌生人。标注包括社交信号、一致、 disagreement 和中性立场。借助强大的情感诱导，这些多模态数据将促进对多模态人际行为的新建模。我们进行大量实验以评估有无人际历史的来双方之间的多模态沟通及其情感。这个新的数据库将使之前不可能的多模态社交互动建模成为可能。该数据集包含 20TB 的多模态数据，可与研究社区共享。
引用
@article{arxiv.2604.22739,
title = {Inter-Stance: A Dyadic Multimodal Corpus for Conversational Stance Analysis},
author = {Xiang Zhang and Xiaotian Li and Taoyue Wang and Nan Bi and Xin Zhou and Cody Zhou and Zoie Wang and Andrew Yang and Yuming Su and Jeff Cohn and Qiang Ji and Lijun Yin},
journal= {arXiv preprint arXiv:2604.22739},
year = {2026}
}