低维流形上具有比较器的可外推关系推理
机器学习
2020-10-06 v2 机器学习
摘要
尽管现代深度神经架构在测试数据与训练数据同分布采样时泛化良好，但当测试数据分布即便仅沿少数维度与训练分布不同时，它们会严重失效。这种分布外泛化能力的缺乏在任务变得更抽象和复杂（如关系推理）时日益显现。本文中，我们提出一个受神经科学启发的归纳偏置模块，可轻易与当前神经网络架构融合，以提升关系推理任务上的分布外（o.o.d）泛化性能。该模块学习将高维对象表示投影到低维流形，以实现更高效且可泛化的关系比较。我们展示了具有该归纳偏置的神经网络在一系列关系推理任务上取得了显著更好的 o.o.d 泛化性能。最后我们分析了所提归纳偏置模块，以理解低维投影的重要性，并对算法对齐理论提出一种扩充，以更好地度量具有泛化能力的算法对齐。
引用
@article{arxiv.2006.08698,
title = {Extrapolatable Relational Reasoning With Comparators in Low-Dimensional Manifolds},
author = {Duo Wang and Mateja Jamnik and Pietro Lio},
journal= {arXiv preprint arXiv:2006.08698},
year = {2020}
}