重新审视神经网络中的领域泛化
机器学习
2022-04-29 v3 人工智能
摘要
鉴于神经网络在独立同分布（IID）设定下泛化能力异常出色（伴随良性过拟合及性能随参数增加而提升），分布外（OOD）泛化呈现出一致的失败案例，有助于更好地理解其学习机制。本文聚焦于领域泛化（DG），它被视为OOD泛化的前沿。我们发现，多个领域的存在激励了领域无关的学习，这是传统DG中泛化的主要原因。我们表明，通过借鉴IID泛化的思想即可获得当前最优结果，而专门为DG定制的方法未能带来任何性能增益。此外，我们超越传统DG（TDG）设定进行探索，提出了一种新颖的按类领域泛化（CWDG）基准，在该基准中，对于每个类别，我们随机选择一个领域并将其留作测试。尽管训练期间接触了所有领域，CWDG仍比TDG评估更具挑战性。我们提出一种新颖的迭代领域特征掩码方法，在CWDG基准上取得了当前最优结果。总体而言，在解释这些观察结果的同时，我们的工作加深了对神经网络学习机制的洞察。
引用
@article{arxiv.2110.07981,
title = {Reappraising Domain Generalization in Neural Networks},
author = {Sarath Sivaprasad and Akshay Goindani and Vaibhav Garg and Ritam Basu and Saiteja Kosgi and Vineet Gandhi},
journal= {arXiv preprint arXiv:2110.07981},
year = {2022}
}