中文

基于在线熵匹配的受保护测试时自适应:一种投注方法

机器学习 2025-01-07 v2 机器学习

摘要

我们提出了一种通过在线自训练实现测试时自适应的新方法,包含两个组成部分。首先,我们引入了一个统计框架,用于检测分类器在无标签样本流上的熵值分布偏移。其次,我们设计了一种在线自适应机制,利用检测工具捕获的分布偏移证据动态更新分类器参数。由此产生的自适应过程驱动自训练分类器获得的测试熵值分布与源域的分布相匹配,从而建立对分布偏移的不变性。该方法偏离了传统的自训练方法,后者侧重于最小化分类器的熵。我们的方法结合了投注鞅和在线学习中的概念,形成了一种能够快速响应分布偏移的检测工具。随后我们揭示了自适应方案与最优传输之间的紧密关系,这构成了我们新颖自监督损失的基础。实验结果表明,我们的方法在分布偏移下提升了测试时准确率,同时在无偏移情况下保持了准确率和校准度,在各种场景下均优于领先的熵最小化方法。

关键词

引用

@article{arxiv.2408.07511,
  title  = {Protected Test-Time Adaptation via Online Entropy Matching: A Betting Approach},
  author = {Yarin Bar and Shalev Shaer and Yaniv Romano},
  journal= {arXiv preprint arXiv:2408.07511},
  year   = {2025}
}