当序列预测遭遇隐式困难交互时何去何从？

源序列与其下一目标之间的困难交互学习具有挑战性，这存在于大量序列预测任务中。在训练过程中，大多数现有方法关注由错误响应引起的显式困难交互。然而，模型可能通过捕获可学习模式的子集而做出正确响应，从而导致与某些未学习模式的隐式困难交互。如此，其泛化性能被削弱。由于大量相似候选目标的干扰，该问题在序列预测中更为严重。为此，我们提出一种困难感知交互学习框架（HAIL），主要由两个基础序列学习网络与互斥蒸馏（MED）组成。基础网络以不同方式初始化以学习差异化视角模式，从而获得不同的训练经验。以正确响应的不可行性形式的经验由 MED 相互抽取，其提供互斥知识以识别隐式困难交互。此外，我们推导出不可行性本质上引入了额外梯度以推动正确响应的模式学习。我们的框架可轻松扩展至更多同级基础网络。评估在涵盖网络与物理空间的四个数据集上进行。实验结果表明，我们的框架在基于 top-k 的指标上优于若干最先进（SOTA）方法。