少即是多：重新思考少样本学习与循环神经网络
机器学习
2026-03-31 v3 计算机视觉与模式识别
摘要
统计监督学习框架假设一个具有联合概率分布的输入输出集合，且该分布由训练数据集可靠表示。然后要求学习器输出从训练数据集输入输出对中学到的预测规则。本工作中，我们针对机器学习背景下的渐近均分性质（AEP）\citep{Shannon:1948} 提供了有意义的见解，并阐明其对少样本学习的一些潜在影响。我们在信息论 AEP 下为可靠学习以及针对样本量的泛化误差提供理论保证。接着我们聚焦于一种高效循环神经网络（RNN）框架，并提出一种用于少样本学习的减熵算法。我们还为 RNN 作为稀疏编码求解器的近似提供数学直觉。我们通过图像去模糊和光学相干断层扫描（OCT）散斑抑制验证了所提方法的适用性、鲁棒性和计算效率。我们的实验结果表明，在提升学习模型的样本效率、泛化能力和时间复杂度方面具有显著潜力，因此可用于实际实时应用。
引用
@article{arxiv.2209.14267,
title = {Less is More: Rethinking Few-Shot Learning and Recurrent Neural Nets},
author = {Deborah Pereg and Martin Villiger and Brett Bouma and Polina Golland},
journal= {arXiv preprint arXiv:2209.14267},
year = {2026}
}
备注
Version 3 is focused exclusively on the first part of v1 and v2, correcting minor mathematical errors. The original co-authors have transitioned in separate follow-up works