CIKMar：教育对话系统中基于提示的双编码器重排序方法
计算与语言
2024-08-19 v1 人工智能
摘要
在本研究中，我们介绍了CIKMar，一种由Gemma语言模型驱动的教育对话系统的高效方法。通过利用结合BERT和SBERT模型的双编码器排序系统，我们设计了CIKMar以在较小语言模型规模的约束下提供高度相关和准确的回答。我们的评估显示，CIKMar使用BERTScore指标实现了稳健的召回率和F1分数0.70。然而，我们发现了一个重大挑战：双编码器倾向于优先选择理论性回答而非实用性回答。这些发现强调了像Gemma这样紧凑高效的模型在普及先进教育AI系统方面的潜力，确保有效且上下文适当的回答。
引用
@article{arxiv.2408.08805,
title = {CIKMar: A Dual-Encoder Approach to Prompt-Based Reranking in Educational Dialogue Systems},
author = {Joanito Agili Lopo and Marina Indah Prasasti and Alma Permatasari},
journal= {arXiv preprint arXiv:2408.08805},
year = {2024}
}
备注
This paper is the result of the final project of the Natural Language Processing course, Master of Artificial Intelligence, Universitas Gadjah Mada