EMOFM：基于特征混合器的集成 MLP 模型用于点击率预测
机器学习
2023-10-17 v2 人工智能
摘要
CTI 竞赛的赛道之一是关于点击率（CTR）预测。该数据集包含数百万条记录，且每条记录中按字段划分的特征由经哈希处理的整数组成以保护隐私。对于此任务，基于网络的方法之关键可能在于按类型提取特征以及跨不同字段的信息融合。多层感知机（MLP）能够提取字段特征，但无法高效融合特征。受交叉注意力的天然融合特性及基于 transformer 结构的效率启发，我们提出简单的插件式混合器用于字段/类型级特征融合，从而构建了一个字段与类型级的集成模型，即 EMOFM（基于特征混合器的集成 MLP 模型，Ensemble MLP mOdel with Feature-based Mixers）。在实验中，所提模型在该数据集上进行了评估，可视化了优化过程并开展了消融研究。结果表明 EMOFM 优于对比基线。最后，我们讨论了未来工作。警告：该对比可能不够公平，因为所提方法专为该数据设计，而对比方法并非如此。例如，EMOFM 特别考虑了不同类型交互，而其他方法则未考虑。无论如何，我们确实希望方法内的思路能帮助其他开发者/学习者/研究人员/思考者等。
引用
@article{arxiv.2310.04482,
title = {EMOFM: Ensemble MLP mOdel with Feature-based Mixers for Click-Through Rate Prediction},
author = {Yujian Betterest Li and Kai Wu},
journal= {arXiv preprint arXiv:2310.04482},
year = {2023}
}