KINN：将专家知识融入神经网络
机器学习
2019-02-18 v1 机器学习
摘要
人工神经网络（ANN）有望无需依赖领域专家即可从数据中自动发现和提取有用特征/模式，这虽看似极具前景，却以高度依赖大量准确标注数据为代价，此类数据往往难以获取和构建，尤其在异常检测、自然灾害管理、预测性维护和医疗等时间序列领域。由于这些网络完全依赖数据并忽略了专家这一非常重要的模态，它们无法从专家知识中获益，而后者在许多情况下非常有用。本文通过引入一种将专家知识融入网络的新型框架（KINN）来弥合数据驱动系统与基于专家知识系统之间的鸿沟。将专家知识整合进网络具有三个关键优势：（a）减少训练模型所需的数据量，（b）通过兼取两者之长，为所得分类器性能提供下界，以及（c）改善模型参数的收敛性（模型在更少轮数内收敛）。尽管专家在解决各类任务上极为出色，但仍存在一些通常仅隐藏于数据中的趋势和模式。因此，KINN采用一种新颖的残差知识融入方案，可自动判定专家预测的质量并通过对数据中的趋势/模式学习来相应修正。具体而言，该方法试图利用一种模态所含信息来补充另一模态遗漏的信息。我们在一个真实世界交通流预测问题上评估了KINN。KINN在单独评估时显著超越专家及基础网络（本例中为LSTM）的性能，凸显了其在该任务上的优越性。
引用
@article{arxiv.1902.05653,
title = {KINN: Incorporating Expert Knowledge in Neural Networks},
author = {Muhammad Ali Chattha and Shoaib Ahmed Siddiqui and Muhammad Imran Malik and Ludger van Elst and Andreas Dengel and Sheraz Ahmed},
journal= {arXiv preprint arXiv:1902.05653},
year = {2019}
}