真实回复的语言学特性
计算与语言
2023-06-05 v2 人工智能
摘要
我们使用一组庞大的 220 个手工设计的语言学特征来研究 LLM 不真实回复的现象。我们聚焦于 GPT-3 模型，发现回复的语言学轮廓在不同模型规模间是相似的。也就是说，不同规模的 LLM 对给定提示的回复在语言学特性层面保持相似。我们扩展了这一发现，通过训练仅依赖模型回复的风格成分的支持向量机来对陈述的真实性进行分类。尽管数据集规模限制了我们目前的发现，我们展示了无需评估内容本身即可进行真实性检测的可能性。但与此同时，在解释结果时必须考虑我们实验的有限范围。
引用
@article{arxiv.2305.15875,
title = {Linguistic Properties of Truthful Response},
author = {Bruce W. Lee and Benedict Florance Arockiaraj and Helen Jin},
journal= {arXiv preprint arXiv:2305.15875},
year = {2023}
}
备注
TrustNLP @ ACL 2023