零样态水下手势识别

手势识别允许人类以非语言方式与机器人交互，这在使用自主水下机器人进行水下探索中具有巨大的应用前景。最近，一种新的基于手势的语言 CADDIAN 被用于潜水员，监督学习方法已被应用于以高精度识别手势。然而，这些方法在遇到实时的未见手势时会失败。在本工作中，我们倡导需要进行零样态水下手势识别（ZSUGR），即仅使用来自少数“已见”类别的视觉样本训练模型，并在测试时将所获知识迁移到识别与之语义相似的未见手势类别。 After 讨论问题和数据集特定挑战后，我们提出了 CADDY 数据集中手势类别的新的已见-未见划分。然后，我们提出了一个两个阶段的框架，其中一个新型 transformer 学习强大的视觉手势线索并将其输入条件生成对抗网络，以学习模仿特征分布。我们使用训练好的生成器作为未知类别的特征合成器，从而实现零样态学习。大量实验表明，我们的方法优于现有的零样态技术。我们通过提供对框架的有用见解并提出未来研究的方向来作结。