多对称性集成：通过对立对称性提升多样性与泛化能力
机器学习
2023-06-21 v2 人工智能
计算机视觉与模式识别
摘要
深度集成（DE）通过随机初始化随机性学习多样化成员，已成功提升模型性能。尽管近期工作试图通过超参数或正则化损失函数促进 DE 的进一步多样性，这些方法主要仍依赖随机方法来探索假设空间。在本工作中，我们提出多对称性集成（MSE），一种通过沿对称性轴捕获假设多样性来构建多样化集成的框架，其探索假设空间超越了模型权重和超参数的随机扰动。我们利用对比表示学习的近期进展创建分别捕获不变与等变函数类的对立假设的模型，并提出一种简单的集成方法以高效组合给定任务的适当假设。我们表明 MSE 有效捕获了大型多样数据集（如 ImageNet）常所需的冲突假设多样性。由于其固有多样性，MSE 在一系列迁移任务中提升了分类性能、不确定性量化和泛化能力。
引用
@article{arxiv.2303.02484,
title = {Multi-Symmetry Ensembles: Improving Diversity and Generalization via Opposing Symmetries},
author = {Charlotte Loh and Seungwook Han and Shivchander Sudalairaj and Rumen Dangovski and Kai Xu and Florian Wenzel and Marin Soljacic and Akash Srivastava},
journal= {arXiv preprint arXiv:2303.02484},
year = {2023}
}
备注
Camera Ready Revision. ICML 2023