三种新验证器及无监督域适应的大规模基准排序

超参数的改变会对模型精度产生显著影响。因此，超参数调优在优化机器学习模型中起着重要作用。超参数调优过程的一个组成部分是对模型检查点的评估，这是通过使用“验证器”来完成的。在有监督设置中，这些验证器通过在有标签的验证集上计算精度来评估检查点。相反，在无监督设置中，验证集没有此类标签。没有任何标签，就不可能计算精度，因此验证器必须改为估计精度。但估计精度的最佳方法是什么？在本文中，我们在无监督域适应（UDA）的背景下考虑这个问题。具体而言，我们提出了三种新验证器，并在一个包含 1,000,000 个检查点的大型数据集上将它们与另外五种现有验证器进行比较和排序。大量实验结果表明，我们提出的验证器中有两种在各种设置中达到了最先进的性能。最后，我们发现许多情况下，最先进性能是由一个简单的基线方法获得的。据我们所知，这是迄今为止对 UDA 验证器最大规模的实证研究。代码可在 https://www.github.com/KevinMusgrave/powerful-benchmarker 获取。