面向鲁棒自监督表示学习的独立子网络多样化集成
机器学习
2023-09-04 v2 机器学习
摘要
集成神经网络是深度监督学习中提升模型性能、估计不确定性和增强鲁棒性的广受认可的方法。然而，深度集成通常伴随较高的计算成本与内存需求。此外，深度集成的效率与集成成员间的多样性有关，这对大型过参数化深度神经网络而言颇具挑战。而且，集成学习尚未在自监督或无监督表示学习中得到广泛采用，仍是一项艰巨任务。受这些挑战驱动，我们提出了一种新颖的自监督训练机制，利用独立子网络集成，并辅以旨在鼓励多样性的新损失函数。我们的方法高效构建具有高多样性的子模型集成，从而获得良好校准的模型不确定性估计，与传统深度自监督集成相比计算开销极小。为评估方法有效性，我们在多项任务上开展了广泛实验，包括同分布泛化、分布外检测、数据集损坏及半监督设定。结果表明，我们的方法显著提升了预测可靠性。我们的方法不仅取得了优异准确率，还改善了校准，在计算机视觉、自然语言处理及基因组学数据的广泛自监督架构上均超越基线表现。
引用
@article{arxiv.2308.14705,
title = {Diversified Ensemble of Independent Sub-Networks for Robust Self-Supervised Representation Learning},
author = {Amirhossein Vahidi and Lisa Wimmer and Hüseyin Anil Gündüz and Bernd Bischl and Eyke Hüllermeier and Mina Rezaei},
journal= {arXiv preprint arXiv:2308.14705},
year = {2023}
}