成交，还是不成交（或者谁知道呢）？利用大语言模型预测对话中的不确定性
计算与语言
2024-02-06 v1 人工智能
机器学习
摘要
高效的对话者会考虑到他人的不确定目标、信念和情绪。但即使是最优秀的人类对话者也无法完美预测对话的走向。语言模型能在多大程度上表征对话中固有的不确定性？我们提出了 FortUne Dial，这是对长期存在的“对话预测”任务的扩展：评估不再仅关注准确性，而是采用不确定性感知的度量指标，从而有效地允许在个别实例上放弃预测。我们研究了语言模型潜在表征结果不确定性的两种方式（内部方式，使用分数；直接方式，使用词元），并提出了微调策略以改善这两种表征的校准度。在八个困难的谈判语料库上的实验表明，我们提出的微调策略（一种传统的监督策略和一种离策略强化学习策略）能够校准较小的开源模型，使其性能可与十倍于其规模的预训练模型相媲美。
引用
@article{arxiv.2402.03284,
title = {Deal, or no deal (or who knows)? Forecasting Uncertainty in Conversations using Large Language Models},
author = {Anthony Sicilia and Hyunwoo Kim and Khyathi Raghavi Chandu and Malihe Alikhani and Jack Hessel},
journal= {arXiv preprint arXiv:2402.03284},
year = {2024}
}
备注
2 Figures; 7 Tables; 27 pages