基于桥接模式连接的情境自适应深度神经网络
计算机视觉与模式识别
2022-11-29 v1 人工智能
机器学习
摘要
在安全关键型应用中部署机器学习模型时，人们期望此类模型能在各种情境下表现良好（例如，用于分类街道标志的视觉模型应在乡村、城市和高速公路环境中，在不同的光照/天气条件下都能正常工作）。然而，这些“一刀切”模型通常针对平均情况性能进行优化，鼓励它们在标称条件下实现高性能，但在具有挑战性或罕见的情境中却暴露出意外行为。为了解决这一问题，我们开发了一种训练情境依赖模型的新方法。我们扩展了桥接模式连接（Bridge-Mode Connectivity, BMC）（Garipov et al., 2018），在连续的情境度量上训练一个无限模型集成，使得我们可以采样出专门针对相应评估情境进行调优的模型参数。我们通过多个视角探索了图像分类任务中情境的定义，包括风险概况的变化、长尾图像统计/外观以及情境依赖的分布偏移。我们为每种情况开发了BMC优化的新颖扩展，并且我们的实验表明，在每种场景下，模型性能都可以成功地根据情境进行调优。
引用
@article{arxiv.2211.15436,
title = {Context-Adaptive Deep Neural Networks via Bridge-Mode Connectivity},
author = {Nathan Drenkow and Alvin Tan and Chace Ashcraft and Kiran Karra},
journal= {arXiv preprint arXiv:2211.15436},
year = {2022}
}
备注
Accepted to the NeurIPS 2022 ML Safety Workshop