I$^2$MD：基于模态间与模态内互蒸馏的3D动作表征学习

Yunyao Mao; Jiajun Deng; Wengang Zhou; Zhenbo Lu; Wanli Ouyang; Houqiang Li

I$^2$MD：基于模态间与模态内互蒸馏的3D动作表征学习

计算机视觉与模式识别 2023-10-25 v1

作者: Yunyao Mao , Jiajun Deng , Wengang Zhou , Zhenbo Lu , Wanli Ouyang , Houqiang Li

摘要

近期自监督3D人体动作表征学习的进展很大程度上归功于对比学习。然而，在传统对比框架中，不同骨架模态间丰富的互补性仍未被充分挖掘。此外，在区分自增强样本上进行优化时，模型在动作类别有限的情况下难以应对大量相似正样本。本工作中，我们通过引入一个通用的模态间与模态内互蒸馏(I $^2$ MD)框架来解决上述问题。在I $^2$ MD中，我们首先将跨模态交互重新表述为跨模态互蒸馏(CMD)过程。不同于现有将预训练且固定的教师知识迁移给学生的蒸馏方案，在CMD中，知识在预训练期间于模态间持续更新并双向蒸馏。为缓解相似样本的干扰并挖掘其潜在上下文，我们进一步设计了模态内互蒸馏(IMD)策略；在IMD中，首次引入动态邻居聚合(DNA)机制，在每个模态中实例化一个额外的簇级判别分支。它自适应地聚合高度相关的邻近特征，形成局部簇级对比。随后在两分支间执行互蒸馏以实现跨层级知识交换。在三个数据集上的大量实验表明，我们的方法创下了一系列新纪录。

关键词

3D动作表征自监督学习互蒸馏骨架模态对比学习

引用

@article{arxiv.2310.15568,
  title  = {I$^2$MD: 3D Action Representation Learning with Inter- and Intra-modal Mutual Distillation},
  author = {Yunyao Mao and Jiajun Deng and Wengang Zhou and Zhenbo Lu and Wanli Ouyang and Houqiang Li},
  journal= {arXiv preprint arXiv:2310.15568},
  year   = {2023}
}

备注

submitted to IJCV. arXiv admin note: substantial text overlap with arXiv:2208.12448

I$^2$MD：基于模态间与模态内互蒸馏的3D动作表征学习

摘要

关键词

引用

备注

相关论文