面向风险规避域泛化的即时神经风格平滑
计算机视觉与模式识别
2023-07-18 v1
摘要
在训练期间未见域的数据上实现高准确率是域泛化（DG）中的一个基本挑战。虽然最先进的 DG 分类器在各种任务中展示了令人印象深刻的性能，但它们表现出对域依赖信息（如图像风格）而非域不变信息（如图像内容）的偏向。这种偏向使它们在风险敏感场景（如自动驾驶，其中误分类可能导致灾难性后果）中部署时不可靠。为了从 DG 分类器实现风险规避预测，我们提出一种新颖的推理过程，测试时神经风格平滑（TT-NSS），其在测试时使用 DG 分类器的“风格平滑”版本进行预测。具体而言，风格平滑分类器将测试图像分类为 DG 分类器在测试图像的随机重风格化上预测的最可能类别。TT-NSS 使用神经风格迁移模块即时对测试图像进行风格化，仅需对 DG 分类器的黑盒访问，并且关键地在风格化测试图像上 DG 分类器的预测缺乏共识时弃判。此外，我们提出一种基于神经风格平滑（NSS）的训练过程，可无缝集成现有 DG 方法。该过程增强了预测一致性，提升了 TT-NSS 在非弃判样本上的性能。我们的实证结果证明了 TT-NSS 和 NSS 在从使用 SOTA 训练方法在各种基准数据集及其变体上训练的 DG 分类器产生并改进未见域上风险规避预测的有效性。
引用
@article{arxiv.2307.08551,
title = {On the Fly Neural Style Smoothing for Risk-Averse Domain Generalization},
author = {Akshay Mehra and Yunbei Zhang and Bhavya Kailkhura and Jihun Hamm},
journal= {arXiv preprint arXiv:2307.08551},
year = {2023}
}