跨环境的以自我为中心的区域感知动作识别

人类活动在动作与其发生地点之间表现出强相关性，例如在水槽处清洗物品。更具体地说，在日常生活环境中，我们可以识别出特定的位置，下文称为以活动为中心的区域，这些区域可提供一组同质动作。这些知识可以作为先验，有助于视觉模型识别人类活动。然而，这些区域的外观具有场景特异性，限制了此类先验信息向陌生区域和领域的可迁移性。这一问题在以自我为中心的视觉中尤为突出，因为环境占据了图像的大部分，使得将动作与背景分离变得更加困难。在本文中，我们讨论了将以活动为中心的区域特定领域外观与其通用的、领域无关表示解耦的重要性，并展示了后者如何提升以自我为中心的动作识别模型的跨域可迁移性。我们在 EPIC-Kitchens-100 和 Argo1M 数据集上验证了我们的解决方案。