中间层分类器用于 OOD 泛化

深层分类器因依赖训练数据中的 spurious correlations 而对数据分布迁移敏感。这启发我们认为，这些分类器仍可在网络最后一层找到在此类迁移下仍然稳健的有用特征。在本工作中，我们质疑使用最后一层表示进行 out-of-distribution（OOD）泛化，探索中间层的实用性。为此，我们引入中间层分类器（ILCs）。我们发现中间层表示在泛化方面常常优于 penultimate layer。在许多情况下，使用 earlier-layer 表示进行 zero-shot OOD 泛化，已接近对 penultimate layer 表示进行 few-shot 再训练的性能。这一发现在 multiple datasets、various architectures 以及 various distribution shifts 均得到验证。我们的分析表明，中间层相较于 penultimate layer 对分布迁移更不敏感。这些发现凸显了理解网络各层信息分布及其在 OOD 泛化中作用的重要性，同时指出了 penultimate layer 表示实用性的局限性。代码已于 https://github.com/oshapio/intermediate-layer-generalization 提供。