多模态情境下的自注意力机制用于银行交易流处理
机器学习
2024-10-14 v1 人工智能
摘要
银行交易流 (Banking Transaction Flow, BTF) 是存在于多种银行活动中的序列数据，包括营销、信用风险或银行欺诈等。它是由三种模态组成的多模态数据：日期、数值和文字。本文提出将自注意力机制应用于BTF处理的方法。我们以无监督方式在大量BTF数据上训练了两个通用模型：一个基于循环神经网络 (RNN) 的模型和一个基于Transformer的模型。我们提出了特定的分词方法，以便处理BTF。对这两个模型的性能进行了评估，分别针对两个银行下游任务：交易分类任务和信用风险任务。结果表明，对这两个预训练模型进行微调后，可在两项任务中优于当前最先进的方法。
引用
@article{arxiv.2410.08243,
title = {Self-Attention Mechanism in Multimodal Context for Banking Transaction Flow},
author = {Cyrile Delestre and Yoann Sola},
journal= {arXiv preprint arXiv:2410.08243},
year = {2024}
}