LSTM 是优秀的少样本学习器吗？
机器学习
2023-10-24 v1 人工智能
机器学习
摘要
深度学习需要大量数据才能学好新任务，这限制了其在具备此类数据的领域之外的适用性。元学习通过“学会学习”克服了这一限制。2001 年，Hochreiter 等人表明，在不同任务间通过反向传播训练的 LSTM 能够进行元学习。尽管该方法在小规模问题上取得了有前景的结果，且近来在强化学习问题上也有表现，但其在监督少样本学习设定中鲜受关注。我们重新审视该方法并在现代少样本学习基准上测试。我们发现，令人惊讶的是，在简单的少样本正弦波回归基准上 LSTM 优于流行的元学习技术 MAML，但正如预期，在更复杂的少样本图像分类基准上 LSTM 表现欠佳。我们识别出两个潜在原因，并提出一种称为外积 LSTM（OP-LSTM）的新方法，解决了这些问题并相较普通 LSTM 带来显著性能提升。与流行的元学习基线相比，OP-LSTM 在域内少样本图像分类上表现具竞争力，并在跨域设定中准确率得分高出 0.5% 至 1.9%。尽管这些结果本身未刷新最优水平，OP-LSTM 的进展与该领域其它进展正交，增进了对 LSTM 在图像分类中工作机制的新认识，开辟了系列新研究方向。为可复现起见，我们公开了全部研究代码。
引用
@article{arxiv.2310.14139,
title = {Are LSTMs Good Few-Shot Learners?},
author = {Mike Huisman and Thomas M. Moerland and Aske Plaat and Jan N. van Rijn},
journal= {arXiv preprint arXiv:2310.14139},
year = {2023}
}
备注
Accepted at Machine Learning Journal, Special Issue of the ECML PKDD 2023 Journal Track