多头神经集成搜索
机器学习
2021-07-12 v1 机器学习
摘要
以不同随机种子训练的 CNN 模型集成（亦称 Deep Ensembles）已知可取得优于单一 CNN 副本的性能。神经集成搜索（NES）可通过增加架构多样性进一步提升性能。然而，在有限计算资源下 NES 的开销仍令人望而却步。本工作中，我们将 NES 扩展至多头集成，其由共享主干连接多个预测头组成。与 Deep Ensembles 不同，这些多头集成可端到端训练，这使我们能够利用一次性 NAS 方法优化集成目标。通过大量实证评估，我们证明多头集成搜索可快 3 倍找到鲁棒集成，同时在预测性能与不确定性校准上与其他集成搜索方法性能相当。
引用
@article{arxiv.2107.04369,
title = {Multi-headed Neural Ensemble Search},
author = {Ashwin Raaghav Narayanan and Arber Zela and Tonmoy Saikia and Thomas Brox and Frank Hutter},
journal= {arXiv preprint arXiv:2107.04369},
year = {2021}
}
备注
8 pages, 12 figures, 3 tables