探索职业角色对特定领域问答的影响
计算与语言
2025-06-02 v1
摘要
近期关于角色的研究改进了大语言模型（LLM）与用户交互的方式。然而，角色对特定领域问答（QA）任务的影响仍存在争议。本研究通过引入两种类型的角色来分析角色是否提升了专业QA性能：基于职业的角色（PBP）（例如科学家），直接与领域专业知识相关；以及基于职业人格的角色（OPBP）（例如科学人士），反映认知倾向而非显式专业知识。通过在多个科学领域的实证评估，我们证明虽然PBP可以略微提高准确性，但OPBP通常会降低性能，即使它们在语义上与任务相关。我们的发现表明，仅角色相关性并不能保证有效的知识利用，且它们可能施加阻碍最佳知识应用的认知约束。未来研究可以探索角色表示中的细微差异如何引导LLM，从而可能有助于更紧密反映人类社会概念化的推理和知识检索。
引用
@article{arxiv.2505.24448,
title = {Exploring the Impact of Occupational Personas on Domain-Specific QA},
author = {Eojin Kang and Jaehyuk Yu and Juae Kim},
journal= {arXiv preprint arXiv:2505.24448},
year = {2025}
}