低熵潜变量损害分布外性能
机器学习
2023-05-23 v1
摘要
我们研究了中间表示的熵与模型对分布偏移鲁棒性之间的关系。我们在无监督对比学习任务上端到端训练由两个前馈网络经离散 比特信道分隔而成的模型。训练后应用不同的掩码策略，分别移除一部分低熵比特、高熵比特或随机选取的比特，并将对性能的影响与无掩码的基线准确率进行比较。我们假设比特的熵可作为其在分布外（OOD）有用性的指引。通过在三个 OOD 数据集上的实验，我们证明移除低熵比特能显著有益于 OOD 性能。相反，我们发现最高熵掩码不成比例地损害分布内（InD）和 OOD 的性能。
引用
@article{arxiv.2305.12238,
title = {Low-Entropy Latent Variables Hurt Out-of-Distribution Performance},
author = {Nandi Schoots and Dylan Cope},
journal= {arXiv preprint arXiv:2305.12238},
year = {2023}
}
备注
Published as a workshop paper at ICLR 2023 Domain Generalization