长度偏差的情境学习（与遗忘）

大型语言模型已展示出在情境中学习的强大能力，即将示例输入输出配对附加到提示中进行演示。然而，既有工作已表明模型能够在情境中学习词汇和标签偏差，这会严重影响模型的性能和鲁棒性。其他统计数据偏差的影响尚未充分探索，这一工作旨在 addresses 这一问题。我们特别研究了长度偏差对情境学习的影响。我们证明模型确实会在情境窗口中学习长度偏差，用于其预测。我们进一步经验性地分析了影响模型所表现出偏差水平的因素。此外，我们展示了在情境中学习长度信息可用于抵消模型中已编码的长度偏差（例如通过微调）。这揭示了在无需昂贵参数更新的情况下通过情境学习去偏模型预测行为的潜力。