利用可穿戴设备结合 proxemics 与动力学通过LSTM检测拥挤社交场景中的F-formation与角色
计算机视觉与模式识别
2019-11-19 v1 机器学习
社会与信息网络
摘要
在本文中，我们研究利用 proxemics（空间关系学）与动力学自动识别交谈组（即所谓 F-formation）的方法。更形式化地，我们旨在自动判断来自两人的可穿戴传感器数据是否指示其属于同一 F-formation。我们还探讨联合检测成员关系及关于该 pair 在交谈中所扮演角色（即说话者或听者）的更具描述性信息的问题。我们利用每人单个可穿戴传感器获得的二值邻近度与加速度，联合建模 proxemics 与动力学概念。我们在真实社交聚会活动中收集的公开 MatchNMingle 数据集上测试我们的方法。我们发现这两种模态的融合表现显著优于各自独立使用，在使用 30 秒时间窗数据时提供 0.975 的 AUC。此外，我们对角色检测的研究表明，每一类角色 pair 需要不同的时间分辨率以实现准确检测。
引用
@article{arxiv.1911.07279,
title = {Detecting F-formations & Roles in Crowded Social Scenes with Wearables: Combining Proxemics & Dynamics using LSTMs},
author = {Alessio Rosatelli and Ekin Gedik and Hayley Hung},
journal= {arXiv preprint arXiv:1911.07279},
year = {2019}
}
备注
2019 8th International Conference on Affective Computing and Intelligent Interaction Workshops and Demos (ACIIW)