通过适配器去相关结构使集成学习适用于半监督学习
计算机视觉与模式识别
2024-08-09 v1
摘要
在计算机视觉中，传统集成学习方法要么训练效率低，要么性能有限，无法提升深度神经网络的可靠性。在本文中，我们提出了一种轻量级、无损失函数、架构无关的集成学习方法——通过适配器去相关结构（DSA），适用于多种视觉任务。具体而言，所提出的 DSA 利用结构多样的适配器对多个预测头进行去相关，无需任何尾部正则化或损失。这使得 DSA 可以轻松扩展到架构无关的网络，适用于广泛的计算机视觉任务。重要的是，理论分析表明，所提出的 DSA 相比大多数最先进方法所采用的单头方法具有更低的偏差和方差。因此，DSA 使深度网络在面对各种现实挑战时更加可靠和鲁棒，例如数据损坏和标签噪声。将所提方法与 FreeMatch 结合的广泛实验在 CIFAR-10 数据集（40 个标注数据）上实现了 5.35% 的准确率提升，在 CIFAR-100 数据集（400 个标注数据）上实现了 0.71% 的提升。此外，将所提方法与 DualPose 结合，在 Sniffing 数据集（100 个数据，30 个标注数据）上实现了正确关键点百分比（PCK）2.08% 的提升，在 FLIC 数据集（100 个数据，含 50 个标注数据）上实现了 5.2% 的提升，在 LSP 数据集（200 个数据，100 个标注数据）上实现了 2.35% 的提升。
引用
@article{arxiv.2408.04150,
title = {Decorrelating Structure via Adapters Makes Ensemble Learning Practical for Semi-supervised Learning},
author = {Jiaqi Wu and Junbiao Pang and Qingming Huang},
journal= {arXiv preprint arXiv:2408.04150},
year = {2024}
}