以代理模型增强新颖性搜索以在分类器集成中设计元多样性
机器学习
2022-02-09 v3 计算机视觉与模式识别
神经与进化计算
摘要
将神经进化与新颖性搜索结合以促进行为多样性，能够构建用于分类的高性能集成。然而，在搜索过程中使用梯度下降训练演化出的架构可能在计算上难以承受。在此我们提出一种方法，通过使用代理模型来克服这一限制，该模型估计两个神经网络架构之间的行为距离，而该距离是为计算新颖性搜索中的稀疏项所必需的。我们展示了相较先前工作 10 倍的速度提升，并在三个计算机视觉基准数据集——CIFAR-10、CIFAR-100 和 SVHN——上显著改进了先前报告的结果。这源于使用代理所促成的扩展架构搜索空间。我们的方法代表了一种改进范式，用于在相同有限资源下使对学习算法的横向扩展中显式搜索多样性变得明显更可行。
引用
@article{arxiv.2201.12896,
title = {Augmenting Novelty Search with a Surrogate Model to Engineer Meta-Diversity in Ensembles of Classifiers},
author = {Rui P. Cardoso and Emma Hart and David Burth Kurka and Jeremy V. Pitt},
journal= {arXiv preprint arXiv:2201.12896},
year = {2022}
}
备注
16 pages, 4 figures, 3 tables, EvoStar 2022