UniNet：统一场景理解网络及基于对抗攻击视角的多任务关系探究
计算机视觉与模式识别
2022-08-15 v2 人工智能
机器学习
摘要
场景理解对于旨在现实世界中运行的自主系统至关重要。单任务视觉网络仅基于场景的某些方面提取信息。另一方面，在多任务学习 (MTL) 中，这些单任务被联合学习，从而为任务共享信息并获得更全面的理解提供了机会。为此，我们开发了 UniNet，这是一个统一场景理解网络，能够准确高效地推断关键视觉任务，包括目标检测、语义分割、实例分割、单目深度估计和单目实例深度预测。由于这些任务关注不同的语义和几何信息，它们可能相互补充或相互冲突。因此，理解任务间关系可以为实现互补信息共享提供有用线索。我们基于对抗攻击能利用神经网络中习得偏差和任务交互的思路，通过对抗攻击的视角评估了 UniNet 中的任务关系。在 Cityscapes 数据集上使用无目标和有目标攻击进行的大量实验表明，语义任务彼此之间有强烈的交互，几何任务也是如此。此外，我们表明语义任务和几何任务之间的关系是不对称的，并且随着向更高层表示的推进，它们之间的交互会变弱。
引用
@article{arxiv.2108.04584,
title = {UniNet: A Unified Scene Understanding Network and Exploring Multi-Task Relationships through the Lens of Adversarial Attacks},
author = {Naresh Kumar Gurulingan and Elahe Arani and Bahram Zonooz},
journal= {arXiv preprint arXiv:2108.04584},
year = {2022}
}
备注
Accepted at DeepMTL workshop, ICCV 2021