注意力因子分解机：通过注意力网络学习特征交互的权重
机器学习
2017-08-17 v1
摘要
因子分解机是一种监督学习方法，通过引入二阶特征交互来增强线性回归模型。尽管有效，但 FM 可能因其以相同权重建模所有特征交互而受阻，因为并非所有特征交互都同等有用且具有预测性。例如，与无用特征的交互甚至可能引入噪声并降低性能。在本工作中，我们通过区分不同特征交互的重要性来改进 FM。我们提出了一种名为注意力因子分解机（AFM）的新模型，它通过神经注意力网络从数据中学习每个特征交互的重要性。在两个真实世界数据集上的大量实验证明了 AFM 的有效性。实验表明，在回归任务上 AFM 优于 FM，实现了 的相对提升，并且以更简单的结构和更少的模型参数持续优于最先进的深度学习方法 Wide&Deep 和 DeepCross。我们的 AFM 实现已公开于：https://github.com/hexiangnan/attentional_factorization_machine
引用
@article{arxiv.1708.04617,
title = {Attentional Factorization Machines: Learning the Weight of Feature Interactions via Attention Networks},
author = {Jun Xiao and Hao Ye and Xiangnan He and Hanwang Zhang and Fei Wu and Tat-Seng Chua},
journal= {arXiv preprint arXiv:1708.04617},
year = {2017}
}
备注
7 pages, 5 figures