基于双流知识蒸馏的鲁棒半监督回归

半监督回归（SSR）旨在预测样本的连续分数，同时减少对大规模标注数据的依赖，近年来在计算机视觉、自然语言处理、音频分析和医疗分析等领域引起广泛关注。现有SSR方法通常通过引入约束型正则化或序数排序来缓解过拟合，但往往未充分利用大量未标注样本的丰富性。尽管一致性驱动的伪标签方法试图纳入未标注数据，但其性能高度依赖伪标签质量且易受噪声预测影响。为此，我们提出双流知识蒸馏框架（DKD），专为SSR设计，旨在蒸馏连续值知识和分布信息。该设计更好地保留回归幅值信息，提高样本效率。具体而言，DKD中，教师仅使用真实标签优化，用于标签分布估计，而学生在未标注数据上学习由教师生成的伪目标的混合标签。蒸馏过程实现有效的监督传递，使学生能够更稳健地利用伪标签。进一步，我们引入解耦分布对齐（DDA）模块，分别对齐教师与学生之间的目标分布和非目标分布。DDA incorporating a variance-guided non-target distribution alignment strategy，以自适应降低不确定教师预测的权重，从而增强学生对伪标签监督中噪声的抑制能力，学习更良好校准的回归预测器。