上下文特征很廉价：面向推荐系统中高效特征交互的秩感知分解
信息检索
2026-05-28 v1 机器学习
摘要
现代工业推荐系统使用深度排序模型，针对相同的用户和上下文特征对N个候选物进行评分。标准实现在前向传播早期广播上下文特征，导致每次请求冗余计算N次仅涉及上下文的操作。我们提出了一种适用于现代推荐架构中主导交互机制——因子分解机(FM)成对乘积、深度交叉网络(DCNv2)交叉层、自注意力和全连接(FC)投影层——的秩感知分解，其构建于一个单一的代数原理之上：对秩划分输入的任何线性或双线性运算都允许一种精确的块分解，该分解将仅涉及上下文的计算从每个候选物一次移至每个请求一次，且与原始模型恒等。闭式分析和受控消融实验证实，节省量随上下文特征数量呈二次方增长。在无需任何架构更改的情况下，应用于生产级DLRM风格排序器，该分解在保持相同模型预测的前提下，将每pod吞吐量提高了87.5%（峰值pod数量减少47%）。该恒等分解仅适用于交叉网络和自注意力的第一层，因为后续每一层都会在其输出中混合各秩。为了将节省量扩展到深层，我们进一步引入了rDCN，这是DCNv2的一种架构变体，它在整个深度上保持秩纪律，并在训练噪声范围内匹配DCNv2的精度，同时总FLOPs减少67%，并概述了自注意力的类似架构变体。
引用
@article{arxiv.2605.27450,
title = {Context Features Are Cheap: Rank-Aware Decomposition for Efficient Feature Interaction in Recommender Systems},
author = {Yevgeny Tkach},
journal= {arXiv preprint arXiv:2605.27450},
year = {2026}
}