Headset: 部分遮挡下的人类情感感知多模态数据集
计算机视觉与模式识别
2024-02-15 v1
摘要
人类交互的体积表示是沉浸式媒体制作和 telecommunication 应用中 fundamental 的领域。在快速发展的 Extended Reality (XR) 应用背景下，这种体积数据已被证明是未来 XR elaboration 的 essential 技术。本文提出了一个新的多模态数据库，以帮助推动沉浸式技术的发展。我们提供的新数据库包含伦理合规且多样化的体积数据：27 名受试者展示姿势化表情和细微身体动作的语言表达，另外 11 名受试者佩戴头戴式显示器 (HMD)。录制系统包括 31 个同步模块，配备 62 个 RGB 摄像机和 31 个深度摄像机。除纹理网格、点云和多视角 RGB-D 数据外，我们还使用一台 Lytro Illum 相机同时提供光场 (LF) 数据。最后，我们对数据集在面部表情分类、HMD 移除和点云重建等任务的使用进行了评估。该数据集有助于评估和测试各种 XR 算法，包括但不限于面部表情识别与重建、面部再现和体积视频。HEADSET 及其所有相关原始数据和许可协议将为科研目的公开提供。
引用
@article{arxiv.2402.09107,
title = {Headset: Human emotion awareness under partial occlusions multimodal dataset},
author = {Fatemeh Ghorbani Lohesara and Davi Rabbouni Freitas and Christine Guillemot and Karen Eguiazarian and Sebastian Knorr},
journal= {arXiv preprint arXiv:2402.09107},
year = {2024}
}
备注
Accepted in ISMAR 2023 and published in IEEE Transactions on Visualization and Computer Graphics Dataset: https://webpages.tuni.fi/headset