少样本下对自然分布偏移的鲁棒性基准测试

得益于近期预训练策略与更优微调方法的结合，对自然分布偏移的鲁棒性取得了显著进展。然而，此类微调假设可获取大量标注数据，而当训练数据量不高时，这些观测结论是否依然成立尚属未知。我们填补了这一空白，首次对不同少样本机制下针对多种自然分布偏移的鲁棒性进行了深入研究：涵盖数据集、架构、预训练初始化以及最先进的鲁棒性干预手段。最重要的是，我们发现不存在单一常优于其他模型的优选模型，且现有干预在某些数据集上即便在全样本机制中有效，也可能无法改善鲁棒性。我们希望本研究能激励学界关注这一具有实际重要性的问题。