哎呀，我又采样了：重新解释少样本学习中的置信区间
机器学习
2024-09-09 v2 人工智能
机器学习
摘要
少样本学习（FSL）中计算置信区间（CI）的主要方法基于有放回地采样任务，即允许相同样本出现在多个任务中。这使得置信区间具有误导性，因为它考虑了采样器的随机性，而没有考虑数据本身的随机性。为了量化这个问题的程度，我们对有放回和无放回计算的置信区间进行了比较分析。这些分析揭示了主要方法存在显著的低估。这一观察结果要求我们重新评估如何解释 FSL 比较研究中的置信区间及其得出的结论。我们的研究表明，使用配对检验可以部分解决这一问题。此外，我们探索了通过策略性地采样特定大小的任务来进一步减小置信区间（大小）的方法。我们还引入了一个新的优化基准，可在 https://github.com/RafLaf/FSL-benchmark-again 访问。
引用
@article{arxiv.2409.02850,
title = {Oops, I Sampled it Again: Reinterpreting Confidence Intervals in Few-Shot Learning},
author = {Raphael Lafargue and Luke Smith and Franck Vermet and Mathias Löwe and Ian Reid and Vincent Gripon and Jack Valmadre},
journal= {arXiv preprint arXiv:2409.02850},
year = {2024}
}