分布外泛化中优化器选择的实证研究
机器学习
2023-06-07 v3 人工智能
摘要
现代深度学习系统在测试数据分布与训练数据分布略有不同时泛化表现不佳。尽管已有许多有前景的工作来解决这种脆弱性，但关于优化器的作用及其分布外泛化性能的系统性研究尚未开展。在本研究中，我们考察了在经验风险最小化和不变风险最小化下，流行的首阶优化器针对不同类别的分布偏移的性能。我们针对图像和文本分类，使用 DomainBed、WILDS 和 Backgrounds Challenge 作为研究不同类型偏移（即相关偏移与多样性偏移）的测试平台来解决这一问题。我们搜索了广泛的超参数范围，并检验了超过 20,000 个模型的分类准确率（分布内与分布外）。我们得出以下发现，期望对实践者有所帮助：i) 自适应优化器（如 Adam）在分布外性能上劣于非自适应优化器（如 SGD、动量 SGD）。特别地，尽管在分布内性能上没有显著差异，我们展示了分布外性能上的可度量差异。ii) 分布内性能与分布外性能根据数据集表现出三类行为——线性回报、递增回报与递减回报。例如，在使用 Adam 训练自然语言数据时，对分布内性能进行微调并不能显著促进分布外泛化性能。
引用
@article{arxiv.2211.08583,
title = {Empirical Study on Optimizer Selection for Out-of-Distribution Generalization},
author = {Hiroki Naganuma and Kartik Ahuja and Shiro Takagi and Tetsuya Motokawa and Rio Yokota and Kohta Ishikawa and Ikuro Sato and Ioannis Mitliagkas},
journal= {arXiv preprint arXiv:2211.08583},
year = {2023}
}
备注
Accepted to TMLR