神经网络中的周期外推泛化
机器学习
2022-09-22 v1 人工智能
摘要
学习最简单可能的计算模式——周期性——是神经网络强泛化研究中的一个开放问题。我们形式化了周期信号的外推泛化问题，并在一组基准任务上系统考察了经典、基于种群以及近期提出的周期架构的泛化能力。我们发现，无论其周期性参数是否可训练，周期与“snake”激活函数始终无法完成周期外推。此外，我们的结果表明，传统序列模型仍优于专为外推设计的新颖架构，而后者又被基于种群的训练所超越。我们提供了基准与评估工具包 PerKit，便于获取以推动该领域未来工作。
引用
@article{arxiv.2209.10280,
title = {Periodic Extrapolative Generalisation in Neural Networks},
author = {Peter Belcák and Roger Wattenhofer},
journal= {arXiv preprint arXiv:2209.10280},
year = {2022}
}
备注
Accepted to IEEE Symposium on Deep Learning (IEEE DL) 2022, 8 pages, 7 figures