DAWN-ICL：面向零样本情境学习的任务解决轨迹战略规划
计算与语言
2025-03-11 v2
摘要
零样本情境学习 (ZS-ICL) 旨在不使用人工标注示范样本的情况下进行情境学习 (ICL)。大多数 ZS-ICL 方法利用大语言模型 (LLM) 生成 (输入, 标签) 对作为伪示范样本，并借助历史伪示范样本帮助解决当前问题。它们假设问题来自相同任务并以随机顺序遍历。然而，在实际场景中，问题通常来自多样化任务，只有少数属于同一任务。随机遍历顺序可能生成不可靠的伪示范样本，导致误差累积。为此，本文将 ZS-ICL 重构为规划问题，提出一种基于蒙特卡洛树搜索 (MCTS) 的示范感知方法 (DAWN-ICL)，利用 MCTS 对 ZS-ICL 的问题解决轨迹进行战略规划。此外，为实现有效且高效的 Q 值估计，本文提出一种新型示范感知 Q 值函数，用于增强选择阶段的性能，并加速扩张和模拟阶段在 MCTS 中的进程。广泛实验表明，DAWN-ICL 在域内和跨域情景中均显示出有效性和效率，甚至甚至优于使用人工标注标签的 ICL。代码已公开于 https://github.com/RUCAIBox/MCTS4ZSICL。
引用
@article{arxiv.2410.20215,
title = {DAWN-ICL: Strategic Planning of Problem-solving Trajectories for Zero-Shot In-Context Learning},
author = {Xinyu Tang and Xiaolei Wang and Wayne Xin Zhao and Ji-Rong Wen},
journal= {arXiv preprint arXiv:2410.20215},
year = {2025}
}
备注
NAACL 2025 Main Conference