提升Transformer架构在语义文本相似度上的性能
计算与语言
2023-06-02 v1
摘要
语义文本相似度是估计两段文本意义之间相似性的任务。本文中，我们在语义文本相似度基准(Semantic Textual Similarity Benchmark)上通过先部分调优再端到端调优的方式来微调Transformer架构以用于语义文本相似度。我们以二分类任务或回归任务的方式，使用BERT、RoBERTa和DeBERTaV3交叉编码器进行实验。我们组合Transformer模型的输出，并使用手工特征作为提升算法(boosting algorithms)的输入。由于测试集结果变差而验证集有所提升，我们尝试不同的数据集划分以进一步探究该现象。我们还提供了聚焦于预测范围边缘的错误分析。
引用
@article{arxiv.2306.00708,
title = {Boosting the Performance of Transformer Architectures for Semantic Textual Similarity},
author = {Ivan Rep and Vladimir Čeperić},
journal= {arXiv preprint arXiv:2306.00708},
year = {2023}
}
备注
6 pages, 2 figures, 12 tables