面向 in-context learning 的课程演示选择
计算与语言
2024-12-17 v2
摘要
大型语言模型（LLM）在仅凭少量演示的情况下展现出强大的 in-context learning（ICL）能力。然而，如何选择演示以发挥 LLM 的潜能仍是一个关键挑战。在本文中，我们提出了 Curriculum Demonstration Selection（CDS），一种新的 ICL 演示选择方法。CDS 不仅考虑相似度，还对样本按其复杂性度量进行分区。遵循课程学习原则，CDS 然后从易到难选择演示。因此，所选演示涵盖了广泛的难度水平，使 LLM 能够从训练集中涉及各种复杂性的样本中学习。实验表明，我们的 CDS 在九个 LLM 三个基准上 consistently 优于基线方法，取得显著改进。此外，CDS 在解决具有挑战性问题时尤其有效。
关键词
引用
@article{arxiv.2411.18126,
title = {Curriculum Demonstration Selection for In-Context Learning},
author = {Duc Anh Vu and Nguyen Tran Cong Duy and Xiaobao Wu and Hoang Minh Nhat and Du Mingzhe and Nguyen Thanh Thong and Anh Tuan Luu},
journal= {arXiv preprint arXiv:2411.18126},
year = {2024}
}
备注
Accepted at the 40th ACM/SIGAPP Symposium On Applied Computing (SAC 2025), Main Conference