SAND-mask：一种用于发现域泛化中不变性的增强梯度掩码策略
机器学习
2021-09-28 v2 人工智能
摘要
机器学习模型在现实世界应用中的一个主要瓶颈是它们无法泛化到数据分布与训练域非独立同分布（i.i.d）的未见域。这一失败常源于在训练域中学习到与数据标签伪相关的不可泛化特征。为解决此缺陷，对学习难以变化的良好解释的兴趣日益增长，这在分布外（OOD）泛化概念下被研究。寻找在不同域间不变的良好的解释，可视为在损失地形中寻找跨所有训练域成立的局部（全局）极小值。本文中，我们提出一种掩码策略，其基于流经网络每条边的梯度的一致性确定连续权重，以控制该边在每步优化中接收到的更新量。特别地，我们提出的技术称为“平滑与（SAND）掩码”，不仅验证梯度方向的一致性，还促进其量级间的一致性，以进一步确保跨训练域不变性的发现。SAND-mask 在用于域泛化的 Domainbed 基准上得到验证，并在 Colored MNIST 数据集上显著提升了最先进准确率，同时在其他域泛化数据集上提供了有竞争力的结果。
引用
@article{arxiv.2106.02266,
title = {SAND-mask: An Enhanced Gradient Masking Strategy for the Discovery of Invariances in Domain Generalization},
author = {Soroosh Shahtalebi and Jean-Christophe Gagnon-Audet and Touraj Laleh and Mojtaba Faramarzi and Kartik Ahuja and Irina Rish},
journal= {arXiv preprint arXiv:2106.02266},
year = {2021}
}