ZIN：何时及如何在不依赖环境划分的情况下学习不变性？
机器学习
2022-10-12 v2 人工智能
摘要
遇到异质数据十分常见，其中数据分布的某些方面可能变化，但潜在的因果机制保持恒定。当数据依据异质性被划分为不同环境时，近期的不变学习方法中提出基于该环境划分学习鲁棒且不变的模型。因此，即便未提供环境划分，也自然希望利用这种固有异质性。遗憾的是，本文中我们表明，在缺乏进一步归纳偏置或额外信息的情况下，此种情形下学习不变特征从根本上是不可能的。随后，我们提出一个在额外辅助信息协助下联合学习环境划分与不变表示的框架。我们推导了在相当一般的设定下，该框架可证明识别不变特征的充分必要条件。在合成与真实世界数据集上的实验结果验证了我们的分析，并展示了所提框架相较现有方法的性能提升。最后，我们的结果也提示未来在不依赖环境划分学习不变模型时，需更明确地阐明归纳偏置的作用。代码见 https://github.com/linyongver/ZIN_official 。
引用
@article{arxiv.2203.05818,
title = {ZIN: When and How to Learn Invariance Without Environment Partition?},
author = {Yong Lin and Shengyu Zhu and Lu Tan and Peng Cui},
journal= {arXiv preprint arXiv:2203.05818},
year = {2022}
}
备注
Accepted by NeurIPS 2022