真值标签至关重要：深入审视输入-标签示范
计算与语言
2022-10-25 v2 人工智能
机器学习
摘要
尽管近期对上下文学习（in-context learning）的兴趣激增，其底层机制以及示范质量的精确影响仍不明晰。直观上，真值标签在上下文学习（ICL）中应与监督学习一样具有重要影响，但近期工作报道输入-标签对应性远不如先前所认为的重要。受这一反直觉观察的启发，我们重新审视真值标签在上下文学习中的重要性。通过引入两个新度量，即标签正确性敏感度（Label-Correctness Sensitivity）与真值标签效应比（GLER, Ground-truth Label Effect Ratio），我们得以对真值标签示范的影响进行可量化分析。通过广泛分析，我们发现正确的输入-标签映射对下游上下文学习性能的影响各异，取决于实验配置。通过附加研究，我们确定了关键要素，如提示模板的冗长度与语言模型大小，作为实现更具噪声鲁棒 ICL 的控制因素。
引用
@article{arxiv.2205.12685,
title = {Ground-Truth Labels Matter: A Deeper Look into Input-Label Demonstrations},
author = {Kang Min Yoo and Junyeob Kim and Hyuhng Joon Kim and Hyunsoo Cho and Hwiyeol Jo and Sang-Woo Lee and Sang-goo Lee and Taeuk Kim},
journal= {arXiv preprint arXiv:2205.12685},
year = {2022}
}
备注
Accepted to EMNLP Long. Kang Min Yoo and Junyeob Kim contributed equally. Kang Min Yoo and Taeuk Kim are the corresponding authors