交叉注意力在推荐模型中秘密执行正交对齐

跨域序列推荐（CDSR）旨在对齐来自不同领域的异构用户行为序列。虽然交叉注意力被广泛用于增强对齐并提升推荐性能，但其底层机制尚未被充分理解。大多数研究者将交叉注意力解释为残差对齐，即通过引用另一个领域的输入键和值数据，从查询输入中移除冗余信息并保留非冗余信息。除了 prevailing view，我们引入了正交对齐（Orthogonal Alignment），即交叉注意力发现查询输入中不存在的 novel 信息，并进一步论证这两种对比的对齐机制可以在推荐模型中共存。我们发现，当交叉注意力的查询输入与输出正交时，模型性能在 300 多次实验中得到提升。值得注意的是，正交对齐自然地出现，没有任何显式的正交性约束。我们的关键洞见是，正交对齐自然地出现是因为它改善了标度律。我们表明，额外引入交叉注意力模块的基线模型优于参数匹配的基线模型，在每个模型参数的准确率方面取得了更优表现。我们希望这些发现为多模态研究中的参数高效扩展提供新方向。