用非参数 Nadaraya-Watson 头学习不变表示
机器学习
2023-09-26 v1
摘要
当机器学习模型部署于与训练数据分布不同的环境时，往往会出现失效。若训练时可得多个环境，现有许多方法学习跨不同分布不变的表示，期望这些表示可迁移至未见域。本文提出一种基于近期提出的 Nadaraya-Watson（NW）头的非参数策略以学习不变表示。NW 头通过将查询的所学表示与由标注数据组成的支持集元素比较来做出预测。我们证明，通过操控支持集，可编码不同的因果假设。特别地，将支持集限制于单一环境会促使模型学习不依赖于环境的不变量特征。我们给出了建模与训练策略的因果驱动设定，并在计算机视觉中三个具挑战性的真实域泛化任务上进行了验证。
引用
@article{arxiv.2309.13377,
title = {Learning Invariant Representations with a Nonparametric Nadaraya-Watson Head},
author = {Alan Q. Wang and Minh Nguyen and Mert R. Sabuncu},
journal= {arXiv preprint arXiv:2309.13377},
year = {2023}
}
备注
Accepted to NeurIPS 2023