利用数据重叠与素数批量大小缓解序列信息丢失
计算与语言
2019-11-15 v1 机器学习
摘要
在序列建模任务中，词元顺序至关重要，但由于序列被离散化为数据点，该信息可能部分丢失。在本文中，我们研究了某些词元对被包含在数据点中而另一些未被包含的不平衡现象。我们将此称为词元顺序不平衡（TOI），并将序列信息的部分丢失与整个系统性能的下降联系起来，这在文本和语音处理任务中均有所体现。随后，我们提供了一种利用词元组成的数据点迭代重叠来充分利用词元顺序信息的机制——缓解的TOI。对于循环网络，我们使用素数作为批量大小，以避免从重叠数据点构建批次时的冗余。所提方法在文本和语音相关任务中均取得了最先进的性能。
引用
@article{arxiv.1909.08700,
title = {Alleviating Sequence Information Loss with Data Overlapping and Prime Batch Sizes},
author = {Noémien Kocher and Christian Scuito and Lorenzo Tarantino and Alexandros Lazaridis and Andreas Fischer and Claudiu Musat},
journal= {arXiv preprint arXiv:1909.08700},
year = {2019}
}