基于必要条件分析识别对抗多任务视频理解中的辅助或对抗任务
计算机视觉与模式识别
2022-08-23 v1 人工智能
摘要
近年来，用于视频理解的多任务学习受到越来越多的关注。在这项工作中，我们通过纳入模型应表现良好的辅助任务以及模型不应表现良好的对抗任务，提出了多任务学习的广义概念。我们采用必要条件分析（NCA）作为一种数据驱动的方法，来决定这些任务应归于哪一类。我们提出的新框架——对抗多任务神经网络（AMT）——惩罚由 NCA 确定为 Holistic Video Understanding（HVU）数据集中场景识别的对抗任务，以改进动作识别。这颠覆了多任务学习中模型应始终被鼓励在所有任务上表现良好的常见假设。同时，AMT 仍保留了多任务学习作为现有方法推广的所有益处，并使用对象识别作为辅助任务来帮助动作识别。我们引入了 HVU 的两个具有挑战性的场景不变测试划分，其中模型在训练未遇到的动作-场景共现上进行评估。我们表明，我们的方法将准确率提高了约 3%，并鼓励模型关注动作特征而非相关性偏置的场景特征。
引用
@article{arxiv.2208.10077,
title = {Identifying Auxiliary or Adversarial Tasks Using Necessary Condition Analysis for Adversarial Multi-task Video Understanding},
author = {Stephen Su and Samuel Kwong and Qingyu Zhao and De-An Huang and Juan Carlos Niebles and Ehsan Adeli},
journal= {arXiv preprint arXiv:2208.10077},
year = {2022}
}