SALSA：一种用于多模态群体行为分析的新数据集
计算机视觉与模式识别
2015-06-24 v1
摘要
研究非结构化社交环境（如鸡尾酒会）中的自由站立会话组（FCGs）是有意义的，因为在组（挖掘社交网络）和个体（识别本征行为和人格特质）层面有丰富信息。然而，由于拥挤和极端遮挡的存在，提取诸如目标位置、说话活动和头/身体姿态等行为线索困难，分析涉及FCGs的社交场景也极具挑战。为此，我们提出SALSA，一个促进多模态和协同社交场景分析的新数据集，并对自动化社交交互分析研究做出两点主要贡献：（1）SALSA在自然室内环境中记录了18名参与者超过60分钟的社会交互，处于海报展示和鸡尾酒会情境，呈现出低分辨率图像、光照变化、大量遮挡、混响和干扰声源等困难；（2）为缓解这些问题，我们通过使用四个静态监控摄像头和每个参与者佩戴的社会测量徽章（包含麦克风、加速度计、蓝牙和红外传感器）记录社会交互，以促进多模态分析。除原始数据外，我们还提供了关于个体人格以及他们在整个事件过程中的位置、头部、身体朝向和F-formation信息的标注。通过基于最先进方法的广泛实验，我们展示了（a）当前方法的局限性和（b）记录的多种线索如何协同辅助社交交互的自动分析。SALSA可在 http://tev.fbk.eu/salsa 获取。
引用
@article{arxiv.1506.06882,
title = {SALSA: A Novel Dataset for Multimodal Group Behavior Analysis},
author = {Xavier Alameda-Pineda and Jacopo Staiano and Ramanathan Subramanian and Ligia Batrinca and Elisa Ricci and Bruno Lepri and Oswald Lanz and Nicu Sebe},
journal= {arXiv preprint arXiv:1506.06882},
year = {2015}
}
备注
14 pages, 11 figures