非语言互动检测

本工作致力于理解社交背景下人类非语言互动的新挑战。非语言信号遍布几乎所有交际行为。我们的手势、面部表情、姿态、凝视视线甚至身体外观都在没有任何言语的情况下传递信息。尽管其在社交生活中的关键作用，非语言信号相较于语言因素受到的关注仍有限，现有方法通常仅单独考察非语言线索。我们的研究首次系统性地提升了对多维度非语言信号的解释。首先，我们贡献了一个新型大规模数据集，称为 NVI，其包含人类边界框、对应社交团体的边界框，以及在五种广泛互动类型下的 22 种原子级非语言行为的精细标注。其次，我们建立了一个新的任务 NVI-DET，用于非语言互动检测，形式化为从图像中识别 <individual, group, interaction> 三元组。第三，我们提出了一种非语言互动检测超图 (NVI-DEHR)，一种新方法，显式地使用超图建模高阶非语言互动。该模型的核心是双重多尺度超图，能够妥善处理不同尺度下的 individual-to-individual 和 group-to-group 关联，促进互动特征学习并最终提高互动预测。NVI 上的大量实验表明，NVI-DEHR 在 NVI-DET 中显著优于各种基线方法。它在 HOI-DET 上的领先表现也确认了其在支持相关任务方面的通用性和强大泛化能力。我们希望本研究为社区提供新的探索非语言信号的深入途径。