生成式 LSTM 网络中的高效学习与组合性研究
机器学习
2020-10-21 v2 机器学习
摘要
在比较人类与人工智能时，一个主要差异显而易见：人类能够从稀疏数据集中非常广泛地泛化，因为他们能够以组合方式重新组合并重新整合数据组件。为探究高效学习的差异，Joshua B. Tenenbaum 及其同事提出了字符挑战：首先训练算法生成手写字符；下一步，给出一个新型字符的一个版本；期望一个高效学习算法能够重新生成该新字符、识别其相似版本、生成其新变体，并创造全新字符类型。过去，该字符挑战仅由配备随机基元的复杂算法所满足。此处，我们在不提供基元的情况下应对该挑战。我们应用一个含一个前馈层和一个 LSTM 层的最小循环神经网络（RNN）模型，并训练其从独热编码输入生成顺序手写字符轨迹。为在仅给定一个样本时管理未训练字符的重新生成，我们引入一种单样本推断机制：梯度信号仅反向传播至前馈层权重，保持 LSTM 层不变。我们表明，我们的模型能够通过重组先前学习的动态子结构（在隐藏 LSTM 状态中可见）来满足字符挑战。以这种方式利用 RNN 的组合能力，可能是弥合人类与人工智能差距的重要一步。
引用
@article{arxiv.2004.07754,
title = {Investigating Efficient Learning and Compositionality in Generative LSTM Networks},
author = {Sarah Fabi and Sebastian Otte and Jonas Gregor Wiese and Martin V. Butz},
journal= {arXiv preprint arXiv:2004.07754},
year = {2020}
}
备注
ICANN 2020