用于事实探测的测试时增强
计算与语言
2023-10-27 v1
摘要
事实探测是一种使用提示来测试语言模型是否“知道”某些世界知识事实的方法。事实探测中的一个问题是，提示的微小改动可能导致模型输出的大幅变化。先前工作旨在通过文本挖掘或微调来优化提示以缓解该问题。然而，此类方法是关系特定的，不能泛化到未见的关系类型。本文提出使用测试时增强（TTA）作为一种关系无关的方法，通过在测试时自动增强和集成提示来降低对提示变化的敏感性。实验显示模型校准得到改善，即使用 TTA 后，模型置信度更好地反映预测准确率。部分模型观测到预测准确率提升，但其他模型使用 TTA 后性能下降。误差分析确定生成高质量提示变体的困难是 TTA 的主要挑战。
引用
@article{arxiv.2310.17121,
title = {Test-time Augmentation for Factual Probing},
author = {Go Kamoda and Benjamin Heinzerling and Keisuke Sakaguchi and Kentaro Inui},
journal= {arXiv preprint arXiv:2310.17121},
year = {2023}
}
备注
12 pages, 4 figures, accepted to EMNLP 2023 Findings (short paper)