来自石子的珠子：自动标注的改进置信函数
机器学习
2024-04-26 v1 人工智能
机器学习
摘要
自动标注是一类产生最小人工标注的标注训练集的技术。其中的一个突出变体是基于阈值的自动标注 (TBAL)，通过找到模型置信得分的阈值来对未标记数据点进行准确标注。然而，众所周知，许多模型会产生过高的置信得分，导致 TBAL 性能不佳。虽然自然的想法是应用现成的校准方法来缓解这种过度自信问题，但此类方法仍不足。与其实验性地选择置信函数，不如提出一种研究最优 TBAL 置信函数的框架。我们开发了该框架的可行版本，以获得 \texttt{Colander}（用于高效可靠自动标注的置信函数），一种新的后置方法，旨在最大化 TBAL 系统中的性能。我们对方法 \texttt{Colander} 进行了广泛的实证评估，并将其与为校准而设计的方法进行比较。\texttt{Colander} 在保障自动标注误差低于 且使用与基线相同标注数据量的前提下，实现了覆盖率提升最高可达 。
引用
@article{arxiv.2404.16188,
title = {Pearls from Pebbles: Improved Confidence Functions for Auto-labeling},
author = {Harit Vishwakarma and Reid and Chen and Sui Jiet Tay and Satya Sai Srinath Namburi and Frederic Sala and Ramya Korlakai Vinayak},
journal= {arXiv preprint arXiv:2404.16188},
year = {2024}
}