测试时自适应增强精度与一致性在线趋势
机器学习
2024-11-11 v2 人工智能
摘要
近期，Miller 等人（2021）与 Baek 等人（2022）实证展示了分布内（ID）与分布外（OOD）精度及一致性之间的强线性相关性。这些趋势被称为精度在线（ACL）与一致性在线（AGL），可在无标注数据下实现 OOD 模型选择与性能估计。然而，这些现象在某些偏移（如 CIFAR10-C 高斯噪声）下也会失效，构成关键瓶颈。本文中，我们有一个关键发现：近期测试时自适应（TTA）方法不仅改善 OOD 性能，还极大增强了模型中的 ACL 与 AGL 趋势，即便在模型此前相关性极弱的偏移下亦然。为分析此现象，我们重访 Miller 等人（2021）勾勒线性模型完美 ACL 所需分布偏移类型的理论条件。令人惊讶的是，在将 TTA 应用于深度模型的倒数第二特征嵌入空间后，这些条件得以满足。特别地，TTA 使数据分布将复杂偏移坍缩为可在特征空间中由单一缩放变量表达的偏移。我们的结果表明，通过将 TTA 与基于 AGL 的估计方法结合，我们可对更广分布偏移集以高精度估计模型 OOD 性能。这赋予我们一个简单系统，可在无任何 OOD 标注数据下选择最佳超参数与自适应策略。
引用
@article{arxiv.2310.04941,
title = {Test-Time Adaptation Induces Stronger Accuracy and Agreement-on-the-Line},
author = {Eungyeup Kim and Mingjie Sun and Christina Baek and Aditi Raghunathan and J. Zico Kolter},
journal= {arXiv preprint arXiv:2310.04941},
year = {2024}
}
备注
Published at NeurIPS 2024