全球人群的细粒度活动

每天，人类都会进行许多密切相关的活动，这些活动涉及细微的判别性动作，例如穿衬衫与穿夹克，或握手与击掌。由合乎伦理的视觉 AI 进行活动识别可以洞察我们的日常生活模式，然而现有的活动识别数据集未能捕捉全球范围内这些人类活动的巨大多样性。为弥补这一局限，我们推出了 Collector，一款免费的手机应用，可在记录视频的同时对知情同意受试者的物体与活动进行标注。这一新的数据收集平台被用于整理 Consented Activities of People (CAP) 数据集，这是首个大规模、细粒度且覆盖全球人群的活动数据集。CAP 数据集包含由 33 个国家的 780 名受试者收集的 145 万段视频片段，涵盖 512 个日常生活细粒度活动标签。我们为该数据集提供了活动分类与活动检测基准，并分析基线结果以深入了解世界各地人们如何进行常见活动。该数据集、基准、评估工具、公开排行榜及手机应用均可在 visym.github.io/cap 获取。