思维线索：厘清混乱上下文
计算与语言
2023-11-16 v1
摘要
大语言模型（LLM）在自然语言处理领域开创了一个变革性时代，在文本理解与生成相关任务中表现出色。然而，当面对混乱上下文（例如干扰项而非冗长无关上下文）时，它们会遇到困难，导致无意中遗漏混乱上下文中的某些细节。为应对这些挑战，我们引入了“思维线索”（ThoT）策略，其灵感来源于人类认知过程。ThoT 系统性地切分并分析扩展上下文，同时熟练地筛选相关信息。该策略作为一种通用的“即插即用”模块，可与各类 LLM 及提示技术无缝集成。在实验中，我们利用 PopQA 与 EntityQ 数据集，以及我们收集的多轮对话响应数据集（MTCR），表明相较于其他提示技术，ThoT 显著提升了推理性能。
引用
@article{arxiv.2311.08734,
title = {Thread of Thought Unraveling Chaotic Contexts},
author = {Yucheng Zhou and Xiubo Geng and Tao Shen and Chongyang Tao and Guodong Long and Jian-Guang Lou and Jianbing Shen},
journal= {arXiv preprint arXiv:2311.08734},
year = {2023}
}
备注
11 pages, 7 figures, 5 tables