基于优化无标签数据采样半监督学习的高维贝叶斯优化

我们提出一种新颖的半监督学习方法，称为师生贝叶斯优化（$\texttt{TSBO}$），首次将师生范式引入 BO 以最小化昂贵的标签数据查询。$\texttt{TSBO}$ 包含一个教师模型、一个无标签数据采样器和一个学生模型。学生由采样器生成的无标签数据位置训练，伪标签由教师预测。这三个组件之间的相互作用以学生反馈的形式对教师实现一种独特的选择性正则化。该方案使教师能够预测高质量伪标签，增强 GP 代理模型在搜索空间中的泛化能力。为充分利用 $\texttt{TSBO}$，我们提出两种优化的无标签数据采样器，以构建与贝叶斯优化目标良好对齐的有效学生反馈。此外，我们量化并利用师生模型的不确定性，在存在风险伪标签预测时向教师提供可靠反馈。$\texttt{TSBO}$ 在紧标签数据预算下的若干全局优化任务中展现出显著改善的样本效率。