GPT-Neo 用于常识推理——理论与实践的视角
计算与语言
2023-09-28 v2 机器学习
摘要
近期工作表明，预训练大型语言模型（LLMs）然后在下游任务上进行监督微调取得了显著进展。在本文中，我们使用 6 个常识推理基准任务评估了 GPT-neo 模型的性能。我们旨在检验使用 GPT-neo 模型的较小模型相对于几个较大模型基线（如 GPT-3、Llama-2、MPT 和 Falcon）的性能。在使用合适的超参数集进行微调后，我们的模型在多个任务上取得了有竞争力的准确率。我们还通过注意力头可视化来研究并证实我们的结果，以更好地理解模型性能。最后，我们使用多种方法进行了各种鲁棒性测试，以衡量模型在多种设置下的性能。
引用
@article{arxiv.2211.15593,
title = {GPT-Neo for commonsense reasoning -- a theoretical and practical lens},
author = {Rohan Kashyap and Vivek Kashyap and Narendra C. P.},
journal= {arXiv preprint arXiv:2211.15593},
year = {2023}
}