人在回路的Mixup
机器学习
2023-08-01 v3 计算机视觉与模式识别
人机交互
摘要
将模型表示与人类对齐已被发现可提升鲁棒性与泛化能力。然而,此类方法常聚焦于标准观测数据。合成数据正激增并推动机器学习的诸多进展;但合成标签是否与人类感知对齐常不明确——导致模型表示很可能未与人类对齐。我们关注mixup中使用的合成数据:一种被证明可改善模型鲁棒性、泛化与校准的强大正则化器。我们设计了一系列全面的 elicitation 界面(作为HILL MixE Suite发布),并招募159名参与者对mixup样本提供带不确定性的感知判断。我们发现人类感知与传统用于合成点的标签并不一致,并开始展示这些发现对潜在提升下游模型可靠性的适用性,尤其在纳入人类不确定性时。我们在称为H-Mix的新数据集中发布了所有 elicited 判断。
引用
@article{arxiv.2211.01202,
title = {Human-in-the-Loop Mixup},
author = {Katherine M. Collins and Umang Bhatt and Weiyang Liu and Vihari Piratla and Ilia Sucholutsky and Bradley Love and Adrian Weller},
journal= {arXiv preprint arXiv:2211.01202},
year = {2023}
}