评估序列长度学习对Transformer编码器模型分类任务的影响
机器学习
2024-03-15 v2
摘要
使用Transformer架构的分类算法在来自不同类别的观测具有不同长度分布时，会受到序列长度学习问题的影响。该问题导致模型将序列长度用作预测特征，而非依赖重要的文本信息。尽管大多数公开数据集不受此问题影响，但医学和保险等领域的私有语料库可能带有这种数据偏差。由于这些机器学习模型可用于关键应用，对序列长度特征的利用在整个价值链中带来了挑战。在本文中，我们实证地揭示了这一问题，并提出了减轻其影响的方法。
引用
@article{arxiv.2212.08399,
title = {Assessing the Impact of Sequence Length Learning on Classification Tasks for Transformer Encoder Models},
author = {Jean-Thomas Baillargeon and Luc Lamontagne},
journal= {arXiv preprint arXiv:2212.08399},
year = {2024}
}