攻击增强混合对比的骨骼表征学习
计算机视觉与模式识别
2024-10-03 v2
摘要
对比学习依赖于有效的正样本对与负样本对,有利于在无监督基于骨骼的动作识别中学习信息丰富的骨骼表征。为获得这些正负对,现有的弱/强数据增强方法不得不随机改变骨骼外观以间接追求语义扰动。然而,此类方法存在两点局限:i)仅扰动外观难以很好捕捉骨骼的内在语义信息,ii)随机扰动可能将原始正/负对变为软正/负对。为应对上述困境,我们首次尝试探索一种基于攻击的增强方案,其额外引入直接语义扰动,用于构建困难正对并进一步辅助构建困难负对。具体而言,我们提出一种新颖的攻击增强混合对比骨骼表征学习(AMC),通过对比困难正特征与困难负特征来学习更鲁棒的骨骼表征。在 AMC 中,攻击增强(Att-Aug)被设计为通过攻击与增强分别协作执行骨骼的有目标与无目标扰动,以生成高质量困难正特征。同时,提出正-负混合器(PNM)将困难正特征与负特征混合生成困难负特征,并用于更新混合记忆库。在三个公开数据集上的大量实验表明,AMC 与最先进方法具有竞争力。代码将于 AMC (https://github.com/1xbq1/A2MC) 获取。
引用
@article{arxiv.2304.04023,
title = {Attack-Augmentation Mixing-Contrastive Skeletal Representation Learning},
author = {Binqian Xu and Xiangbo Shu and Jiachao Zhang and Rui Yan and Guo-Sen Xie},
journal= {arXiv preprint arXiv:2304.04023},
year = {2024}
}