面向动作识别的合成到真实域适应：一个数据集与基线性能
计算机视觉与模式识别
2024-08-05 v2
摘要
人体动作识别是一个具有挑战性的问题，尤其在主体外观、背景和视角等因素存在高度变化时。尽管深度神经网络（DNNs）已被证明在动作识别任务上表现良好，但它们通常需要大量高质量标注数据才能在各种条件下实现鲁棒性能。合成数据已显示出前景，可避免现实世界中收集和标注海量数据所带来的巨大成本与潜在伦理问题。然而，合成数据可能在某些重要方面与真实数据不同。这种现象被称为域偏移（domain shift），会限制合成数据在机器人应用中的效用。为缓解域偏移的影响，人们正大力投入开发域适应（DA）技术。然而，关于如何最好地开发这些技术仍知之甚少。本文中，我们引入一个名为机器人控制手势（RoCoG-v2）的新数据集。该数据集由来自七个手势类别的真实与合成视频组成，旨在支持基于视频的动作识别中合成到真实域偏移的研究。我们的工作在现有数据集基础上进行了扩展，将动作类别聚焦于人机协作的手势，并支持对地面与空中视角下域偏移的探究。我们使用最先进的动作识别与域适应算法给出基线结果，并就应对合成到真实以及地面到空中的域偏移提供初步见解。
引用
@article{arxiv.2303.10280,
title = {Synthetic-to-Real Domain Adaptation for Action Recognition: A Dataset and Baseline Performances},
author = {Arun V. Reddy and Ketul Shah and William Paul and Rohita Mocharla and Judy Hoffman and Kapil D. Katyal and Dinesh Manocha and Celso M. de Melo and Rama Chellappa},
journal= {arXiv preprint arXiv:2303.10280},
year = {2024}
}
备注
ICRA 2023. The first two authors contributed equally. Dataset available at: https://github.com/reddyav1/RoCoG-v2