用于新特征适应的上下文超网络
机器学习
2021-04-14 v1
摘要
尽管深度学习在许多应用中取得了SOTA结果，但神经网络架构适应以纳入新输出特征仍是一项挑战，因为神经网络通常训练为产生固定输出维度。该问题在在线学习场景中尤为严重，其中新的输出特征（如推荐系统中的物品）持续加入，且伴随极少或没有相关观测。因此，需要既省时又省数据的、使神经网络适应新特征的方法。为此，我们提出上下文超网络(CHN)，一种辅助模型，它通过利用现有数据以及与新特征相关的任何观测和/或元数据，生成用于将基模型扩展到新特征的参数。在预测时，CHN仅需一次神经网络前向传播，与重训练和微调方法相比产生了显著加速。为评估CHN性能，我们使用CHN来增强部分变分自编码器(P-VAE)——一种可对稀疏观测数据中缺失特征值进行插补的深度生成模型。我们展示该系统在推荐系统、电子学习与医疗任务上，相对于现有插补与元学习基线取得了改进的新特征少样本学习性能。
引用
@article{arxiv.2104.05860,
title = {Contextual HyperNetworks for Novel Feature Adaptation},
author = {Angus Lamb and Evgeny Saveliev and Yingzhen Li and Sebastian Tschiatschek and Camilla Longden and Simon Woodhead and José Miguel Hernández-Lobato and Richard E. Turner and Pashmina Cameron and Cheng Zhang},
journal= {arXiv preprint arXiv:2104.05860},
year = {2021}
}
备注
17 pages, 9 Figures, workshop paper at NeurIPS 2020 Meta-Learning Workshop