通过卷积 Transformer 表征反常扩散

反常扩散挑战赛 (AnDi Challenge) 的结果表明,在推断与每条轨迹相关的反常扩散指数 alpha (任务 1) 以及确定产生此类轨迹的潜在扩散机制 (任务 2) 方面,机器学习方法在表征反常扩散时优于经典统计方法。此外,在 AnDi Challenge 两个任务中均跻身前三名的五个团队中,有三个团队使用了循环神经网络 (RNN)。尽管长短期记忆 (LSTM) 等网络在学习序列数据的长期依赖关系方面十分有效,但其主要缺点在于必须按顺序进行训练。为了通过并行训练来促进在更大数据集上的训练,我们提出了一种新的基于 Transformer 的神经网络架构,用于表征反常扩散。我们的新架构,即卷积 Transformer (ConvTransformer),使用双层卷积神经网络从扩散轨迹中提取特征,这些特征可以被视为句子中的单词。然后将这些特征馈送到两个执行回归或分类的 Transformer 编码块中。据我们所知,这是 Transformer 首次被用于表征反常扩散。此外,这可能是 Transformer 编码块首次与卷积神经网络结合使用,且无需 Transformer 解码块或位置编码。除了能够进行并行训练外,我们还表明 ConvTransformer 在确定短轨迹 (长度为 10-50 步,这对实验研究人员最为重要) 的潜在扩散机制方面优于先前最优方法。