TempoFormer：用于变化检测中时序感知表征的Transformer

动态表征学习在理解语言内容随时间的演变方面发挥着关键作用。在此方面，上下文和时间动态以及它们的相互作用尤为重要。当前方法通过预训练表征来建模上下文，这些表征通常是时序不可知的。先前用于建模上下文和时间动态的工作使用循环方法，这些方法缓慢且容易过拟合。我们介绍TempoFormer，这是首个基于Transformer且时序感知的、面向任务无关的动态表征学习模型。我们的方法联合训练上下文动态和内部动态，引入一种新的 rotary位置嵌入的时序变体。该架构灵活可用于其他模型或应用于不同的Transformer架构。我们在三个不同的真实时序变化检测任务上实现了新的SOTA性能。