ElderSim: 面向养老应用中人类动作识别的合成数据生成平台

为了训练用于基于视觉的老年人日常活动动作识别的深度学习模型，我们需要在各种日常生活环境和条件下获取的大规模活动数据集。然而，人类动作识别中使用的大多数公开数据集在许多方面与老年人的活动不同或覆盖有限，使得仅利用现有数据集难以很好地识别老年人的日常活动。最近，可用数据集的这些局限性已通过从逼真的模拟环境中生成合成数据并使用这些数据来训练深度学习模型而得到积极弥补。在本文中，基于这些想法，我们开发了 ElderSim，这是一个可以生成老年人日常活动合成数据的动作模拟平台。对于 55 种老年人常见的日常活动，ElderSim 生成具有各种可调数据生成选项的合成角色的逼真动作，并提供包括 RGB 视频、二维和三维骨架轨迹在内的不同输出模态。然后，我们从 ElderSim 生成 KIST SynADL，一个关于老年人日常生活活动的大规模合成数据集，并将该数据与真实数据集一起用于训练三个 state-of-the-art 人类动作识别模型。在遵循几种新提出的场景（假设训练时采用不同的真实与合成数据集配置）的实验中，我们观察到通过增强我们的合成数据带来了显著的性能提升。我们还提供了关于有效利用合成数据的指导和见解，以帮助识别老年人的日常活动。