Ask-Before-Detection：识别并缓解 LLM 驱动数学题解错误检测器中的从众偏差
计算与语言
2024-12-24 v1
摘要
大型语言模型（LLM）的兴起为教育中的自动错误检测提供了新的机会，尤其是针对数学题解（MWP）。虽然先前的研究表明 LLM 作为错误检测器具有潜力，但它们忽略了单个 MWP 存在多个有效解这一事实。我们的初步分析揭示了传统解与备选解之间在 MWP 中存在显著的性能差距，我们将这种现象称为本工作中的从众偏差。为缓解这种偏差，我们引入 Ask-Before-Detect（AskBD）框架，该框架使用 LLM 生成自适应参考解，以增强错误检测。在 200 个 GSM8K 示例上的实验表明，AskBD 有效地缓解了偏差并提升了性能，尤其是在结合链式思考提示等增强推理技术时效果更佳。
引用
@article{arxiv.2412.16838,
title = {Ask-Before-Detection: Identifying and Mitigating Conformity Bias in LLM-Powered Error Detector for Math Word Problem Solutions},
author = {Hang Li and Tianlong Xu and Kaiqi Yang and Yucheng Chu and Yanling Chen and Yichi Song and Qingsong Wen and Hui Liu},
journal= {arXiv preprint arXiv:2412.16838},
year = {2024}
}
备注
12 pages, 4 figures