基于测试时自监督聚合的表格不平衡回归混合专家

表格数据是众多实际应用中结构信息的基本且普遍的表示，如金融和城市规划。在表格不平衡应用领域，数据不平衡已在分类任务中受到关注，后者因某些标签的样本不足而导致模型的泛化能力不足。然而，表格回归任务的不平衡问题尚未得到充分探索，因其连续标签边界不清晰以及现有不平衡回归工作中常见的简化假设（通常依赖已知且平衡的测试分布）而言。这些假设在实际中可能不成立，导致性能下降。为此，我们提出了 MATI：表格不平衡回归的测试时自监督聚合混合专家，具备两个关键创新：(i) 区域感知混合专家，采用高斯混合模型捕获潜在相关区域。每个高斯成分的统计信息随后用于合成和训练区域特定专家，以捕捉其各自区域的独特特征。(ii) 测试时自监督专家聚合，基于测试数据特征动态调整区域专家权重，以强化专家在不同测试分布下的适应性。我们在四个真实世界的表格不平衡回归数据集上评估了 MATI，包括房价预测、共享单车和年龄预测。为反映真实部署场景，我们采用了三种测试分布：均匀目标频率的平衡分布、遵循训练数据的正态分布，以及强调稀有目标区域的逆向分布。在这三种测试分布中，MATI 在 MAE 上平均提升了 7.1%。