多头自注意力神经 Tucker 分解
机器学习
2025-03-05 v2
摘要
服务质量数据展现出动态的时间模式，这对于准确预测缺失值至关重要。这些模式源于用户与服务之间不断演变的交互，因此，捕获此类数据中固有的时间动态性对于提升预测性能必不可少。随着 QoS 数据集规模和复杂性的增加，现有模型难以提供准确的预测，这凸显了对更灵活、更动态的方法的需求，以更好地捕获大规模 QoS 数据中的潜在模式。为了解决这个问题，我们引入了一种基于神经网络的张量分解方法，专为学习高维不完整张量的时空表示而设计，即多头自注意力神经 Tucker 分解。该模型专为建模隐藏在真实世界数据中复杂的非线性时空特征交互模式而精心设计，包含双重思路。它首先采用神经网络结构来推广传统的 Tucker 分解框架，随后提出利用多头自注意力模块来强化非线性潜在交互学习。在来自实际应用的两个动态 QoS 数据集上的实证研究中，所提出的 MSNTucF 模型在估计缺失观测值方面相较于 SOTA 基准模型展现出更优越的性能。这凸显了其学习 HDI 张量非线性时空表示的能力。
引用
@article{arxiv.2501.09776,
title = {Multi-Head Self-Attending Neural Tucker Factorization},
author = {Yikai Hou and Peng Tang},
journal= {arXiv preprint arXiv:2501.09776},
year = {2025}
}