KIT 运动语言数据集

将人类运动与自然语言关联起来，对于生成人类活动的语义表示以及基于自然语言输入生成机器人活动具有重要意义。然而，尽管该领域已有多年研究，但仍缺乏标准化且公开可用的数据集来支持此类系统的开发与评估。因此，我们提出 KIT Motion-Language Dataset，这是一个大规模、开放且可扩展的数据集。我们整合了来自多个动作捕捉数据库的数据，并使用独立于捕捉系统或标记集的统一表示将其纳入我们的数据集，使得无论数据来源如何都能轻松使用。为了获取自然语言运动标注，我们采用众包方法以及专门为此构建的基于 Web 的工具——Motion Annotation Tool。我们详细记录了标注过程本身，并讨论了用于保持标注者积极性的游戏化方法。我们进一步提出了一种新方法——基于困惑度的选择，该方法系统地选择在我们的数据集中代表性不足或标注有误的运动进行进一步标注。我们证明我们的方法缓解了上述两个问题，并确保了系统化的标注过程。我们对最终数据集的结构和内容进行了深入分析，截至 2016 年 10 月 10 日，该数据集包含 3911 个运动，总时长 11.23 小时，以及 6278 条包含 52,903 个词的自然语言标注。我们相信这使得我们的数据集成为极佳选择，能够促进这一重要领域更加透明和可比的研究。