面向跨域动作识别的多模态实例精炼方法
计算机视觉与模式识别
2023-11-27 v1
摘要
无监督跨域动作识别旨在将已有带标签源域上训练的模型适配到新的无标签目标域。现有多数方法通过直接对齐源域与目标域的特征分布来解决该任务。然而，由于两域中均存在某些负训练样本，这会导致域适配过程中的负迁移。在源域中，由于视角、动作风格等差异，部分训练样本与目标域相关性较低。在目标域中，存在一些模糊训练样本，在源域情形下易被归类为另一类动作。负迁移问题已在跨域目标检测中被探讨，但在跨域动作识别中仍鲜有研究。因此，我们提出一种基于强化学习的多模态实例精炼(MMIR)方法以缓解负迁移。具体而言，针对每种模态在两域中分别训练强化学习智能体，通过从各域中筛选负样本来精炼训练数据。我们的方法最终在基准EPIC-Kitchens数据集上的跨域动作识别中优于若干其他最先进基线，证明了MMIR在减少负迁移方面的优势。
引用
@article{arxiv.2311.14281,
title = {Multi-modal Instance Refinement for Cross-domain Action Recognition},
author = {Yuan Qing and Naixing Wu and Shaohua Wan and Lixin Duan},
journal= {arXiv preprint arXiv:2311.14281},
year = {2023}
}
备注
Accepted by PRCV 2023