ALBAR：一种用于缓解动作识别中偏差的对抗性学习方法
计算机视觉与模式识别
2025-03-04 v2 密码学与安全
摘要
机器学习模型中的偏差可能导致不公平的决策，虽然这在图像和文本领域已得到充分研究，但在动作识别中仍探索不足。动作识别模型常常受到背景偏差（即基于背景线索推断动作）和前景偏差（即依赖于主体外观）的影响，这对自动驾驶或辅助生活监控等现实应用可能是有害的。虽然先前的方法主要侧重于使用专门的数据增强来缓解背景偏差，但我们深入研究了前景和背景偏差。我们提出了 ALBAR，一种新颖的对抗性训练方法，无需关于偏差属性的专门知识即可缓解前景和背景偏差。我们的框架对采样的静态剪辑（其中所有帧都相同）应用对抗性交叉熵损失，并旨在使用提出的熵最大化损失使其类别概率均匀化。此外，我们引入了一种梯度惩罚损失，用于对去偏过程进行正则化。我们在既定的背景和前景偏差协议上评估了我们的方法，在 HMDB51 上设定了新的最先进水平，并将组合去偏性能的绝对值大幅提升了超过 12%。此外，我们发现了现有用于偏差评估的 UCF101 协议中存在背景泄漏问题，这为预测动作提供了一条捷径，并不能准确衡量模型的去偏能力。我们通过为行为主体提出更细粒度的分割边界来解决这个问题，我们的方法在此方面也优于现有方法。项目页面：https://joefioresi718.github.io/ALBAR_webpage/
引用
@article{arxiv.2502.00156,
title = {ALBAR: Adversarial Learning approach to mitigate Biases in Action Recognition},
author = {Joseph Fioresi and Ishan Rajendrakumar Dave and Mubarak Shah},
journal= {arXiv preprint arXiv:2502.00156},
year = {2025}
}
备注
Accepted to ICLR 2025