用于更好分布外泛化的函数间接神经估计器
机器学习
2022-10-25 v1 人工智能
计算机视觉与模式识别
摘要
实现分布外 (OOD) 泛化的能力是人类智能的标志，但对机器而言仍遥不可及。这一非凡能力被归因于我们进行概念抽象与类比的能力，以及一种称为间接 (indirection) 的机制，该机制绑定两种表示并用一种表示指代另一种。受这些机制启发，我们假设 OOD 泛化可通过在功能空间而非当前方法的数据空间中进行类比制造与间接实现。为此，我们设计了 FINE（函数间接神经估计器，Functional Indirection Neural Estimator），一种学习动态组合将输入数据映射到输出的函数的神经框架。FINE 由一个骨干网络和一个可训练的基权重矩阵语义记忆组成。看到新的输入输出数据对时，FINE 通过混合基权重动态构建骨干权重。混合系数通过用该数据对查询一个独立的对应语义记忆间接计算。我们通过实验证明，FINE 能在涉及几何变换的 IQ 任务上大幅改善分布外泛化。特别地，我们在 IQ 任务上用 MNIST、Omniglot 和 CIFAR100 数据集的图像训练 FINE 与对比模型，并在具有未见图像类别（来自同一或不同数据集）与未见变换规则的任务上测试。FINE 不仅在所有任务上取得最佳性能，还能适应小规模数据场景。
引用
@article{arxiv.2210.12739,
title = {Functional Indirection Neural Estimator for Better Out-of-distribution Generalization},
author = {Kha Pham and Hung Le and Man Ngo and Truyen Tran},
journal= {arXiv preprint arXiv:2210.12739},
year = {2022}
}
备注
Accepted paper at NeurIPS 2022