FinTree：面向关系抽取的金融数据集预训练Transformer编码器
计算与语言
2023-07-27 v1 人工智能
摘要
我们提出 FinTree，即面向关系抽取的金融数据集预训练 Transformer 编码器（Financial Dataset Pretrain Transformer Encoder for Relation Extraction）。利用编码器语言模型，我们在金融数据集上进一步预训练 FinTree，使模型适配金融领域任务。FinTree 的突出之处在于其新颖结构：受模式利用训练（Pattern Exploiting Training）方法启发，它预测被掩码的词元而非传统的 [CLS] 词元。该结构可对两个给定实体间的关系做出更准确预测。模型以独特的输入模式训练，以提供关于目标实体的上下文与位置信息，后处理步骤确保与实体类型一致的准确预测。我们的实验表明，FinTree 在大规模金融关系抽取数据集 REFinD 上表现优异。代码与预训练模型可在 https://github.com/HJ-Ok/FinTree 获取。
引用
@article{arxiv.2307.13900,
title = {FinTree: Financial Dataset Pretrain Transformer Encoder for Relation Extraction},
author = {Hyunjong Ok},
journal= {arXiv preprint arXiv:2307.13900},
year = {2023}
}
备注
4pages, 2 figures, The SIGIR'23 Workshop on Knowledge Discovery from Unstructured Data in Financial Services