HyFormer: 重访序列建模与特征交互在点击率预测中的角色
信息检索
2026-01-26 v2
摘要
工业大规模推荐模型（LRMs）面临在严格的效率约束下联合建模长范围用户行为序列和异构非序列特征的挑战。然而，大多数现有架构采用解耦式管线：先通过查询标记序列压缩器（如 LONGER）压缩长序列，然后通过 token 混合模块（如 RankMixer）与稠密特征融合，从而限制了表示能力和交互灵活性。本文提出 HyFormer，一种统一的混合变换器架构，将长序列建模和特征交互紧密集成于单一主干网络。从序列建模角度看，本文重访并重新设计 LRMs 中的查询标记，将 LRM 建模任务定义为一种交替优化过程，集成两个核心组件：Query Decoding 通过将非序列特征扩展为 Global Token，对长行为序列的层级 key-value 表示进行长序列解码；Query Boosting 通过高效 token 混合增强跨查询和跨序列的异构交互。这两个互补机制在迭代中进行，以细化跨层的语义表示。广泛的百亿级工业数据实验表明，HyFormer 在可比参数和 FLOPs 预算下， consistently 优于强大的 LONGER 和 RankMixer 基线，同时在参数和 FLOPs 增加时表现出优异的扩展行为。大规模在线 A/B 测试进一步验证了其在高流量生产系统中的有效性，显示出对部署的 SOTA 模型具有显著提升。这些结果凸显了 HyFormer 作为工业 LRMs 统一建模框架的实用性和可扩展性。
引用
@article{arxiv.2601.12681,
title = {HyFormer: Revisiting the Roles of Sequence Modeling and Feature Interaction in CTR Prediction},
author = {Yunwen Huang and Shiyong Hong and Xijun Xiao and Jinqiu Jin and Xuanyuan Luo and Zhe Wang and Zheng Chai and Shikang Wu and Yuchao Zheng and Jingjian Lin},
journal= {arXiv preprint arXiv:2601.12681},
year = {2026}
}