社交生成：基于语言模型的多人社交互动建模
计算机视觉与模式识别
2025-04-01 v1
摘要
日常生活中的人类互动本质上是社会性的，涉及与不同个体在各种情境下的互动。对这些社交互动进行建模是广泛实际应用的基础。本文介绍了 SocialGen，即首个能够建模不同数量个体之间互动行为的统一运动-语言模型，以解决这一关键且具挑战性的问题。不同于以往仅限于两人互动的方法，我们提出了一种新型社交运动表示方式，支持对任意数量个体的运动进行标记化，并与语言空间对齐。这种对齐使模型能够利用丰富的预训练语言知识来更好地理解和推理人类社交行为。为解决数据稀缺问题，我们策划了一个全面的多人互动数据集 SocialX，包含文本注释。依据该数据集，我们建立了多人互动任务的首个全面基准。我们的方法在运动-语言任务上实现了最先进的性能，为多人互动建模树立了新标准。
引用
@article{arxiv.2503.22906,
title = {SocialGen: Modeling Multi-Human Social Interaction with Language Models},
author = {Heng Yu and Juze Zhang and Changan Chen and Tiange Xiang and Yusu Fang and Juan Carlos Niebles and Ehsan Adeli},
journal= {arXiv preprint arXiv:2503.22906},
year = {2025}
}