防止 RNN 将序列长度作为特征
机器学习
2022-12-19 v1
摘要
循环神经网络是可以被训练来对长文档进行分类的深度学习拓扑结构。然而，在我们最近的工作中，我们发现了这些单元的一个关键问题：它们可以利用不同类别文本之间的长度差异作为突出的分类特征。这导致生成的模型脆弱且容易受到概念漂移的影响，可能产生误导性的性能表现，并且无论文本内容如何都能被轻易解释。本文使用合成数据和真实世界数据说明了这个问题，并提供了一个使用权重衰减正则化的简单解决方案。
引用
@article{arxiv.2212.08276,
title = {Preventing RNN from Using Sequence Length as a Feature},
author = {Jean-Thomas Baillargeon and Hélène Cossette and Luc Lamontagne},
journal= {arXiv preprint arXiv:2212.08276},
year = {2022}
}
备注
6 pages, but my overleaf generrates 5 pages. I have no error, the font size seems different