探索多样领域下活动识别的少样本自适应
计算机视觉与模式识别
2024-04-30 v3 人工智能
机器人学
图像与视频处理
摘要
领域自适应对于活动识别在不同环境、传感器类型与数据源下确保准确鲁棒性能至关重要。无监督领域自适应方法已被广泛研究，但其需要来自目标领域的大规模无标签数据。本工作中，我们关注活动识别的少样本领域自适应（FSDA-AR），其利用极少量带标签目标视频实现有效自适应。该方法因在目标领域每类仅需少数甚至一个带标签样本而具应用吸引力，适于识别罕见但关键的活动。然而，现有 FSDA-AR 工作多聚焦于体育视频的领域自适应，领域多样性有限。我们提出一个使用五个已有数据集的新 FSDA-AR 基准，考虑更具多样性与挑战性的领域自适应。结果表明 FSDA-AR 性能可与无监督领域自适应相媲美，且所需带标签目标域样本显著更少。我们进一步提出一种新方法 RelaMiX，以更好地利用少量带标签目标域样本作为知识引导。RelaMiX 包含带关系丢弃的时间关系注意力网络，以及跨域信息对齐机制；此外，其通过少样本目标域样本在潜空间内混合特征。所提 RelaMiX 方案在 FSDA-AR 基准所有数据集上达到 SOTA 性能。为鼓励未来少样本领域自适应活动识别研究，我们的代码将公开于 https://github.com/KPeng9510/RelaMiX。
引用
@article{arxiv.2305.08420,
title = {Exploring Few-Shot Adaptation for Activity Recognition on Diverse Domains},
author = {Kunyu Peng and Di Wen and David Schneider and Jiaming Zhang and Kailun Yang and M. Saquib Sarfraz and Rainer Stiefelhagen and Alina Roitberg},
journal= {arXiv preprint arXiv:2305.08420},
year = {2024}
}
备注
The benchmark and source code will be publicly available at https://github.com/KPeng9510/RelaMiX