由参数梯度信噪比引导的域泛化
计算机视觉与模式识别
2023-10-12 v1
摘要
在深度神经网络的基于梯度的训练中，对源域的过拟合是一个常见问题。为了补偿过参数化模型，人们引入了众多正则化技术，例如基于 dropout 的方法。虽然这些方法在 ImageNet 等经典基准上取得了显著改进，但当测试集中引入域偏移（即未见数据来自显著不同的分布）时，其性能会下降。在本文中，我们脱离经典的伯努利采样 dropout 掩码构建方法，提出基于网络参数的梯度信噪比（GSNR）进行选择。具体而言，在每个训练步，具有高 GSNR 的参数将被丢弃。此外，我们通过借助元学习方法，减轻了手动搜索最优 dropout 比例的负担。我们在标准域泛化基准上评估了我们的方法，并在分类和人脸防伪问题上取得了有竞争力的结果。
引用
@article{arxiv.2310.07361,
title = {Domain Generalization Guided by Gradient Signal to Noise Ratio of Parameters},
author = {Mateusz Michalkiewicz and Masoud Faraki and Xiang Yu and Manmohan Chandraker and Mahsa Baktashmotlagh},
journal= {arXiv preprint arXiv:2310.07361},
year = {2023}
}
备注
Paper was accepted to ICCV 2023