k-FFNN：注入先验知识的前馈神经网络
机器学习
2017-04-25 v1 神经与进化计算
摘要
由于循环神经网络（RNN）具有捕获语音等序列数据中存在的时序关系的固有能力，其正被比前馈神经网络（FFNN）更广泛地使用。RNN 的这一特性在关于数据内部时间相关性没有先验知识时尤其有利。然而，RNN 需要大量数据来学习这些时间相关性，限制了其在低资源场景下的优势。目前尚不清楚（a）如何在 FFNN 架构中使用先验时间知识，（b）当在训练期间提供关于时间相关性的此知识（假设可用）时 FFNN 的表现如何。本文的目标是探索 k-FFNN，即一种能够在训练期间将数据结构中的时间关系的先验知识纳入其中的 FFNN 架构，并在低资源场景下比较 k-FFNN 与 RNN 的性能。我们通过在 MediaEval 2016 音频数据（“电影的情感影响”任务）上进行大量实验来评估 k-FFNN 和 RNN 的性能。实验结果表明，k-FFNN 的性能与 RNN 相当，并且在某些场景下，当将时间知识注入 FFNN 架构时，k-FFNN 表现优于 RNN。本文的主要贡献是（a）将先验知识融合到 FFNN 架构中以构建 k-FFNN，以及（b）针对不同的训练数据规模分析 k-FFNN 相对于 RNN 的性能。
引用
@article{arxiv.1704.07055,
title = {k-FFNN: A priori knowledge infused Feed-forward Neural Networks},
author = {Sri Harsha Dumpala and Rupayan Chakraborty and Sunil Kumar Kopparapu},
journal= {arXiv preprint arXiv:1704.07055},
year = {2017}
}