为何分类器准确率在分布偏移下呈现线性趋势？

近期关于深度学习泛化的研究观察到一个令人困惑的趋势：模型在一个数据分布上的准确率近似为其在另一分布上准确率的线性函数。我们在一个关于模型相似性的直观假设下解释该趋势，该假设在先前工作中已被经验验证。更确切地说，我们假设两个模型在其预测上一致的概率高于仅由它们准确率水平所能推断出的概率。进而我们表明，除非分布偏移的规模较大，否则在评估两分布上的模型时必然出现线性趋势。本工作强调了理解模型相似性的价值，其可影响分类模型的泛化与鲁棒性。