利用 KL 回归识别多环境下的不变因子
统计方法学
2021-06-07 v2
摘要
许多数据集采集自多个环境（例如不同实验室、扰动等），学习跨环境不变的模型和关系通常具有优势。不变性可提升对未知混杂因素的鲁棒性，并改善对新领域的泛化能力。我们提出了一种新颖的框架——KL 回归——以在具有挑战性的多环境设定下可靠地估计回归系数，其中潜在混杂因素影响了来自每个环境的数据。KL 回归基于同时最小化参数模型与每个环境观测数据之间 KL 散度的新目标。我们证明在灵活的混杂设定下 KL 回归可恢复真实的不变因子。此外，由于推导出了其全局最优的解析解，它在计算上是高效的。在系统性实验中，我们验证了 KL 回归相较于常用方法的性能提升。
引用
@article{arxiv.2002.08341,
title = {Identifying Invariant Factors Across Multiple Environments with KL Regression},
author = {Jaime Roquero Gimenez and James Zou},
journal= {arXiv preprint arXiv:2002.08341},
year = {2021}
}