探索大语言模型如何捕获和表示领域特定知识
机器学习
2025-04-25 v2
摘要
我们研究了大语言模型（LLM）是否固有地捕获自然语言中领域特定的细微差别。我们的实验通过检查LLM在预填充阶段生成的隐藏状态中，对不同领域查询的区分能力来探讨其领域敏感性。我们揭示了表明模型内部识别查询领域的潜在领域相关轨迹。我们还研究了这些领域表示对提示样式和来源变化的鲁棒性。我们的ethods利用这些表示进行模型选择，将与输入查询领域轨迹相匹配的LLM（即在类似轨迹上表现最佳的模型）进行映射。我们的发现表明，LLM可以区分来自相关领域的查询，并且精调后的模型并不总是最准确的。与以往工作不同，我们的解释适用于封闭和开放式生成任务。
引用
@article{arxiv.2504.16871,
title = {Exploring How LLMs Capture and Represent Domain-Specific Knowledge},
author = {Mirian Hipolito Garcia and Camille Couturier and Daniel Madrigal Diaz and Ankur Mallick and Anastasios Kyrillidis and Robert Sim and Victor Ruhle and Saravan Rajmohan},
journal= {arXiv preprint arXiv:2504.16871},
year = {2025}
}