基于观察依赖性记忆传播的随机稠密动作预期：MixANT架构

我们提出MixANT，这是一种用于人类活动随机长期稠密预期的新型架构。虽然最近的状态空间模型（SSMs）如Mamba通过对三个关键参数的输入依赖选择性显示出前景，但控制时间记忆的关键遗忘门（$\mathbf{A}$ 矩阵）仍然是静态的。我们通过引入专家混合方法，基于输入特征动态选择上下文相关的$\mathbf{A}$矩阵，从而增强了表示容量而不牺牲计算效率。在50Salads、Breakfast和Assembly101数据集上进行的大量实验表明，MixANT在所有评估设置下 consistently 优于最先进的方法。我们的結果突出了输入依赖遗忘门机制对于可靠预测不同实际场景中人类行为的重要性。