基于时间深度网络的人类社交互动建模
计算机与社会
2015-05-29 v2 机器学习
摘要
我们提出了一种基于基本社交互动谓词（ESIPs，如联合注意和同步(entrainment)）建模的计算社交互动建模新方法。基于可靠的社会心理学理论和方法，我们收集了一个新的“塔游戏”（Tower Game）数据集，包含带有ESIPs标签的二人互动音视频记录。我们期望该数据集为计算社交互动建模研究提供新途径。我们提出了一种新颖的联合判别条件受限玻尔兹曼机（DCRBM）模型，将判别组件与CRBMs的生成能力相结合。这种组合使我们能够分两步揭示ESIPs的可操作成分。首先，我们在标记数据上训练DCRBM模型，并获得对谓词的准确检测（跨各种ESIPs达76%-49%）。其次，我们利用DCRBMs的生成能力激活训练好的模型，以生成对应于特定ESIP的底层数据，这些数据与真实训练数据紧密匹配（生成100帧的均方误差为0.01-0.1）。因此我们能够将ESIPs分解为其组成的可操作行为。这种关于如何建立诸如参与度(engagement)等ESIP的纯计算确定是前所未有的。
引用
@article{arxiv.1505.02137,
title = {Human Social Interaction Modeling Using Temporal Deep Networks},
author = {Mohamed R. Amer and Behjat Siddiquie and Amir Tamrakar and David A. Salter and Brian Lande and Darius Mehri and Ajay Divakaran},
journal= {arXiv preprint arXiv:1505.02137},
year = {2015}
}