个人事实对话的注释方案与分类器
计算与语言
2026-05-12 v1
摘要
大型语言模型 (LLM) 的发展使其能够应用于个性化对话系统。我们提出了针对个人事实分类的扩展注释方案，解决了现有方法（尤其是 PeaCoK）的局限性。我们的方案引入了新的类别（人口统计学、占有品）和属性（持续时间、有效性、后续跟进），以实现结构化存储、质量过滤和识别适合对话继续的事实。我们手动注释了来自 Multi-Session Chat 的 2,779 条事实，并训练了一个基于 transformer 编码器的多头分类器。结合 Gemma-300M 编码器，该分类器实现 \% 的宏平均 F1 分数，超越了所有 few-shot LLM 基线（最佳：GPT-5.4-mini，72.92\%），几乎高出 9 个百分点，同时所需的计算资源显著更少。错误分析揭示了在语义边界消歧、时态方面解释以及后续评估的实用主义推理方面存在持久挑战。该数据集\footnotemark[1] 和分类器\footnotemark[2] 已公开。
引用
@article{arxiv.2605.10339,
title = {An Annotation Scheme and Classifier for Personal Facts in Dialogue},
author = {Konstantin Zaitsev},
journal= {arXiv preprint arXiv:2605.10339},
year = {2026}
}