出声思考：动态上下文生成提升 GPT-2 的零样本推理性能
计算与语言
2021-03-25 v1
摘要
出声思考是人类推理者用来解决难题的一种有效元认知策略。我们建议以类似方式提升预训练神经语言模型的推理能力，即通过由语言模型自身动态生成的问题阐述来扩展任务的上下文。我们的主要结果是，动态问题阐述显著提升了 GPT-2 在演绎推理和自然语言推理任务中的零样本性能：尽管该模型使用句法启发式来预测答案，但它（在某种程度上）能够生成经过推理的额外上下文，从而有助于其启发式的成功应用。我们探索了不同的阐述生成方式，包括少样本学习，并发现它们的相对性能随具体问题特征（如问题难度）而变化。此外，阐述的有效性可从阐述与相应问题在语义上连贯的程度来解释。特别是，最忠实于原始问题描述的阐述可将准确率提升高达 24%。
引用
@article{arxiv.2103.13033,
title = {Thinking Aloud: Dynamic Context Generation Improves Zero-Shot Reasoning Performance of GPT-2},
author = {Gregor Betz and Kyle Richardson and Christian Voigt},
journal= {arXiv preprint arXiv:2103.13033},
year = {2021}
}