将温度作为对比学习中的不确定性
机器学习
2021-10-12 v1
摘要
对比学习已展现出在无标注情况下学习表示的强大能力，甚至超越有监督基线。然而，它仍缺乏现实应用中有用的重要特性之一，即不确定性。本文中，我们提出一种简单方法，通过重新利用用于缩放的神秘超参数温度，为许多对比学习方法生成不确定性分数。通过观察温度控制目标对特定嵌入位置的敏感程度，我们旨在将温度学习为输入相关变量，将其视为嵌入置信度的度量。我们称此方法为“温度即不确定性”（Temperature as Uncertainty，TaU）。通过实验，我们证明 TaU 对分布外检测（out-of-distribution detection）有用，同时在线性评估上与基准具有竞争力。此外，我们展示 TaU 可学习于预训练模型之上，从而能用流行的现成模型事后生成不确定性分数。总之，TaU 是一种简单而通用的对比学习不确定性生成方法。开源代码见：https://github.com/mhw32/temperature-as-uncertainty-public。
引用
@article{arxiv.2110.04403,
title = {Temperature as Uncertainty in Contrastive Learning},
author = {Oliver Zhang and Mike Wu and Jasmine Bayrooti and Noah Goodman},
journal= {arXiv preprint arXiv:2110.04403},
year = {2021}
}
备注
4 pages content; 1 page supplement