用于生成意图感知信息寻求对话的自种子与多意图自指令大语言模型
计算与语言
2025-02-10 v2
摘要
在信息寻求对话中识别用户意图对于系统满足用户信息需求至关重要。意图预测（IP）具有挑战性，需要大量带有人工标注意图的对话用于训练。然而，人工标注意图资源密集。虽然大语言模型（LLMs）已被证明在生成合成数据方面有效，但尚无研究利用 LLMs 生成意图感知的信息寻求对话。在本文中，我们专注于利用 LLMs 进行大规模、开放域且意图感知的信息寻求对话的零样本生成。我们提出了 SOLID，其包含新颖的自种子和多意图自指令方案。前者利用 LLM 自身的知识范围启动对话生成，从而提高生成质量；后者提示 LLM 顺序生成话语，并通过要求 LLM 在生成复杂多意图话语时自主调整其提示指令，减少了对人工提示设计的需求。此外，我们提出了 SOLID-RL，它在 SOLID 生成的数据上进一步训练，以一步生成对话。我们提出了一种基于长度的质量估计机制，在 SOLID-RL 的训练过程中根据质量为 SOLID 生成的对话分配不同的权重。我们使用 SOLID 和 SOLID-RL 生成了超过 30 万条意图感知对话，超过了现有数据集的规模。实验表明，在 SOLID 和 SOLID-RL 生成的对话上训练的 IP 方法，其 IP 质量优于在人工生成对话上训练的方法。
引用
@article{arxiv.2402.11633,
title = {Self-seeding and Multi-intent Self-instructing LLMs for Generating Intent-aware Information-Seeking dialogs},
author = {Arian Askari and Roxana Petcu and Chuan Meng and Mohammad Aliannejadi and Amin Abolghasemi and Evangelos Kanoulas and Suzan Verberne},
journal= {arXiv preprint arXiv:2402.11633},
year = {2025}
}
备注
Accepted at NAACL 2025