基于自集成与条件嵌入对齐的无监督动作识别域适应
计算机视觉与模式识别
2024-10-24 v1 人工智能
摘要
近期深度学习驱动的可穿戴式人类动作识别(wHAR)已提升复杂运动的捕捉与分类能力，但因缺乏专家标注及用户变异导致的域差异，仍未广泛采用。有限的标注数据限制了模型对 out-of-distribution 样本的泛化能力。虽然数据增强可提升泛化性，但无监督增强技术需谨慎应用以避免引入噪声。无监督域适应(DA)通过对齐带标签的目标样本的条件分布来解决域差异，但基础的伪标签方法易导致误差传播。为解决此问题，我们提出一种新型联合优化架构 DAR，包含三个模块：(i) 基于增强样本间一致性正则化以提升模型分类泛化性，(ii) 时间集成以生成稳健的伪标签，以及 (iii) 条件分布对齐以提升域泛化性。时间集成通过聚合过去各时期的预测结果来平滑噪声伪标签预测，再将其用于条件分布对齐模块，以最小化基于核的类条件最大均值差异(CMMD) 在源域与目标特征空间间的差异，以学习域不变嵌入。一致性正则化的增强确保同一样本的多种增强方式共享相同标签，从而实现 (a) 在源域样本有限的情况下实现强泛化，和 (b) 在目标样本中生成一致的伪标签。该方法将三个模块的创新集成于 DAR，使六种最先进的无监督域适应方法在四个基准 wHAR 数据集上实现约 4~12% 的平均宏 F1 分数提升。
引用
@article{arxiv.2410.17489,
title = {Unsupervised Domain Adaptation for Action Recognition via Self-Ensembling and Conditional Embedding Alignment},
author = {Indrajeet Ghosh and Garvit Chugh and Abu Zaher Md Faridee and Nirmalya Roy},
journal= {arXiv preprint arXiv:2410.17489},
year = {2024}
}
备注
This work has been accepted to the Proceedings of the IEEE International Conference on Data Mining, 2024