请教专家：通过人机协同为营养咨询获取高质量数据集
计算与语言
2024-01-17 v1
摘要
大语言模型（LLMs）凭借其灵活的生成能力，可以在语料库稀少或缺失的领域成为强大的数据来源。然而，幻觉和偏见等问题限制了此类应用。在本案例研究中，我们选取了缺乏任何公共资源的营养咨询领域，并展示如何通过结合大语言模型、众包工作者和营养专家来收集高质量数据集。我们首先众包并聚类了一个关于饮食相关问题的新数据集，然后与专家合作，引导ChatGPT生成相关的支持性文本。最后，我们让专家评估生成文本的安全性。我们发布了HAI-coaching，这是首个经专家标注的营养咨询数据集，包含约2400条来自众包工作者的饮食困扰，以及约97000条由ChatGPT生成的相关支持性文本。广泛的分析表明，ChatGPT在生成高度流畅且类似人类的文本的同时，也表现出有害行为，尤其是在心理健康等敏感话题上，这使得它不适合在无监督的情况下使用。
引用
@article{arxiv.2401.08420,
title = {Ask the experts: sourcing high-quality datasets for nutritional counselling through Human-AI collaboration},
author = {Simone Balloccu and Ehud Reiter and Vivek Kumar and Diego Reforgiato Recupero and Daniele Riboni},
journal= {arXiv preprint arXiv:2401.08420},
year = {2024}
}