组合风险最小化
机器学习
2025-07-14 v3 人工智能
摘要
组合泛化是开发能够以类人方式泛化的数据高效智能机器的关键步骤。本文针对一种称为组合迁移的挑战性分布转移进行了研究,其中训练中完全缺失的某些属性组合在测试分布中出现。该转移测试模型在判别任务中对新属性组合的组合泛化能力。我们采用灵活的加法能分布模型，其中每个能项代表一个属性,并推导出一种称为组合风险最小化 (CRM) 的替代经验风险最小化的简单方法。我们首先训练一个预测多个属性的加法能分类器,然后调整该分类器以应对组合迁移。我们对 CRM 进行了广泛的理论分析,其中展示了该方案对已见属性组合的特殊仿射包浆的外推。在基准数据集上的实证评估确认了 CRM 在其他方法之上提高的鲁棒性,这些方法设计用于解决各种亚群体迁移形式。
引用
@article{arxiv.2410.06303,
title = {Compositional Risk Minimization},
author = {Divyat Mahajan and Mohammad Pezeshki and Charles Arnal and Ioannis Mitliagkas and Kartik Ahuja and Pascal Vincent},
journal= {arXiv preprint arXiv:2410.06303},
year = {2025}
}
备注
Proceedings of the 42nd International Conference on Machine Learning (ICML) 2025