语言与音乐中长记忆的统计研究

长程依赖的表征与学习是当前机器学习应用于序列数据时所面临的核心挑战。然而，尽管该问题十分突出，测量长程依赖的基本问题——无论是在给定数据源中还是在训练好的深度模型中——仍主要局限于启发式工具。我们贡献了一个统计框架，用于研究深度序列建模当前应用中的长程依赖，该框架借鉴了发展完善的长记忆随机过程理论。该框架得出了关于真实世界数据中的长记忆与其在深度学习架构中所学表征之间关系的可检验推论，并通过适用于高维设定的半参数框架进行了探究。