以火攻火：通过 priming 避免 DNN 走捷径

Chuan Wen; Jianing Qian; Jierui Lin; Jiaye Teng; Dinesh Jayaraman; Yang Gao

以火攻火：通过 priming 避免 DNN 走捷径

机器学习 2022-06-23 v1 计算机视觉与模式识别机器人学

作者: Chuan Wen , Jianing Qian , Jierui Lin , Jiaye Teng , Dinesh Jayaraman , Yang Gao

摘要

在涵盖监督分类与序列控制的应用中，已有报道称深度学习会找到在数据分布微小变化下灾难性失败的“捷径”解。在本文中，我们凭经验表明，通过提供一个由关键输入特征计算出的额外“priming”特征（通常是一个粗粒度输出估计），可以诱导 DNN 避免不良的捷径。priming 依赖于对这些任务相关关键输入特征的近似领域知识，而在实际环境中这通常易于获取。例如，在视觉模仿学习中可优先考虑视频输入中近期帧甚于过去帧，或在图像分类中优先考虑显著前景像素甚于背景像素。在 NICO 图像分类、MuJoCo 连续控制与 CARLA 自动驾驶上，我们的 priming 策略显著优于几种流行的用于特征选择和数据增强的最先进方法。我们将这些经验发现与近期关于 DNN 优化的理论结果相联系，并从理论上论证 priming 通过创造更好、更简单的捷径而将优化器从不良捷径上引开。

关键词

深度神经网络捷径学习 priming 特征选择数据增强领域知识

引用

@article{arxiv.2206.10816,
  title  = {Fighting Fire with Fire: Avoiding DNN Shortcuts through Priming},
  author = {Chuan Wen and Jianing Qian and Jierui Lin and Jiaye Teng and Dinesh Jayaraman and Yang Gao},
  journal= {arXiv preprint arXiv:2206.10816},
  year   = {2022}
}

备注

28 pages, 13 figures, ICML2022

以火攻火：通过 priming 避免 DNN 走捷径

摘要

关键词

引用

备注

相关论文