REMEDI：面向不平衡预测的基于相对特征增强与知识蒸馏的元学习框架
机器学习
2025-05-13 v1 人工智能
摘要
由于极端的类别不平衡（正样本率低于0.5%）和复杂的行为模式，预测现有车主未来的购车行为构成了一项关键挑战。我们提出了REMEDI（面向不平衡预测的基于相对特征增强与知识蒸馏的元学习框架），这是一个解决这些挑战的新型多阶段框架。REMEDI首先训练多样化的基模型以捕捉用户行为的互补方面。其次，受比较优化技术的启发，我们引入了相对性能元特征（如与集成均值的偏差、在同类中的排名），通过混合专家架构实现有效的模型融合。第三，我们通过使用均方误差损失进行监督微调，将集成模型的知识蒸馏到一个单一的高效模型中，从而实现实际部署。在约80万车主数据上的评估表明，REMEDI显著优于基线方法，实现了在前60,000条推荐中以约10%的精确率识别出约50%实际买家的业务目标。蒸馏后的模型保留了集成模型的预测能力，同时保持了部署效率，证明了REMEDI在工业环境中进行不平衡预测的有效性。
引用
@article{arxiv.2505.07245,
title = {REMEDI: Relative Feature Enhanced Meta-Learning with Distillation for Imbalanced Prediction},
author = {Fei Liu and Huanhuan Ren and Yu Guan and Xiuxu Wang and Wang Lv and Zhiqiang Hu and Yaxi Chen},
journal= {arXiv preprint arXiv:2505.07245},
year = {2025}
}