通过输入优化与模型微调构建对分布外视觉数据的鲁棒性
计算机视觉与模式识别
2022-11-30 v1 人工智能
摘要
机器学习中的一个主要挑战是对分布外数据的鲁棒性，即存在于模型训练数据分布之外的数据。训练通常使用有限且经过精心筛选的数据集进行，因此当模型部署时，常会遇到显著的分布式偏移，因为会遇到训练数据中未包含的边界情况和异常。为此，我们提出输入优化网络（Input Optimisation Network），一种学习为特定目标视觉模型优化输入数据的图像预处理模型。本文在自动驾驶语义分割的背景下研究了若干分布外场景，将基于输入优化的方案与现有方法（使用增广训练数据微调目标模型，以及对抗训练预处理模型）进行比较。我们证明，我们的方法能使此类数据上的性能达到与微调模型相当的水平，并且随后证明，将输入优化网络针对微调模型进行优化的联合方案，比单独使用任一方法具有更优的性能。最后，我们提出一种联合优化方法，其中输入优化网络与目标模型同时训练，并证明该方法取得了显著的进一步提升，尤其在具有挑战性的边界情况场景中。我们还证明，我们的架构可在性能影响不显著的情况下压缩至相对紧凑的尺寸，从而可能促进实时嵌入式应用。
引用
@article{arxiv.2211.16228,
title = {Building Resilience to Out-of-Distribution Visual Data via Input Optimization and Model Finetuning},
author = {Christopher J. Holder and Majid Khonji and Jorge Dias and Muhammad Shafique},
journal= {arXiv preprint arXiv:2211.16228},
year = {2022}
}