基于点互信息的无监督对话参与度量方法
计算与语言
2026-03-17 v1
摘要
高对话参与度是有效对话的关键指标。可靠的参与度衡量标准有助于基准化大语言模型、提升人机交互效果或改善个人沟通技能。然而，由于参与度具有主观性且缺乏“黄金标准”，对其量化颇具挑战。本文提出了 PMIScore，一种高效无监督的对话参与度量方法。它利用点互信息（PMI），即给定对话历史条件下生成响应的概率。因此，PMIScore 提供了清晰的参与度解释。由于直接计算 PMI 在对话复杂度下难以实现，PMIScore 通过双重形式的散度来学习其值。该算法包括生成正负对话对、由大语言模型提取嵌入、并使用互信息损失函数训练小型神经网络。我们在人工数据集和真实世界数据集上对 PMIScore 进行了验证。结果表明，PMIScore 在 PMI 估计方面有效，且 PMI 指标本身是合理的。
引用
@article{arxiv.2603.13796,
title = {PMIScore: An Unsupervised Approach to Quantify Dialogue Engagement},
author = {Yongkang Guo and Zhihuan Huang and Yuqing Kong},
journal= {arXiv preprint arXiv:2603.13796},
year = {2026}
}
备注
23 pages, 4 figures. Accepted to The Web Conference 2026