从词思考（TFW）：通过从词思考在大型语言模型中启始类人认知以进行日语文本级分类
计算与语言
2023-12-07 v1
摘要
大型语言模型（LLM）的激增推动了关于LLM的提示（Prompt）研究的广泛开展，例如指令学习（IL）、上下文学习（ICL）和思维链（CoT）。这些方法旨在通过使LLM在回答问题时提供简明的陈述或示例以进行更深入的思考，从而改善LLM的响应。然而，LLM的独立思考可能会在其思维过程中引入变异性，导致潜在的不准确性。作为回应，我们的研究寻求弥合LLM与类人思维过程之间的差距，认识到文本理解始于对单个词的理解。为了应对这一挑战，我们扩展了CoT方法以适应特定领域。我们的方法被称为“从词思考”（TFW），在词级别启动理解过程，然后将其扩展至涵盖整个文本。我们还提出了“带有额外词级信息的TFW”（TFW Extra），通过额外的词级数据来增强理解。为了评估我们的方法，我们在包含文本级和词级元素的六个日语数据集上进行了文本分类。我们的发现不仅验证了TFW的有效性，还阐明了各种词级信息类型对LLM文本理解的影响，为它们在最终文本的整体理解中导致误解和错误的潜在可能性提供了见解。
引用
@article{arxiv.2312.03458,
title = {Think from Words(TFW): Initiating Human-Like Cognition in Large Language Models Through Think from Words for Japanese Text-level Classification},
author = {Chengguang Gan and Qinghao Zhang and Tatsunori Mori},
journal= {arXiv preprint arXiv:2312.03458},
year = {2023}
}