多元素长距离依赖:利用 SPk 语言探索长距离依赖的特征
机器学习
2020-12-09 v1 形式语言与自动机理论
机器学习
摘要
为成功建模长距离依赖(LDDs),有必要理解目标数据集中所呈现 LDDs 的全部特征。本文使用严格 k-分段(Strictly k-Piecewise)语言生成具有不同性质的数据集,进而利用互信息计算这些数据集中 LDDs 的特征,并分析 (i) k、(ii) LDDs 长度、(iii) 词表大小、(iv) 禁戒子序列以及 (v) 数据集规模等因素的影响。该分析揭示,依赖中相互作用的元素数量是 LDDs 的一项重要特征,由此引出建模多元素长距离依赖的挑战。我们的结果表明,神经网络中的注意力机制可能有助于建模含多元素长距离依赖的数据集;但我们总结指出,亟需开发更高效的注意力机制以解决此问题。
引用
@article{arxiv.1907.06048,
title = {Multi-Element Long Distance Dependencies: Using SPk Languages to Explore the Characteristics of Long-Distance Dependencies},
author = {Abhijit Mahalunkar and John D. Kelleher},
journal= {arXiv preprint arXiv:1907.06048},
year = {2020}
}
备注
To appear in ACL 2019 workshop on Deep Learning and Formal Languages: Building Bridges. arXiv admin note: substantial text overlap with arXiv:1810.02966