معايرة الثقة في إجابات النماذج اللغوية
- السنة
- 2024
- نوع النشر
- مجلة
- المؤتمر أو المجلة
- مجلة الذكاء الاصطناعي والبيانات
المؤلفون: د. حمد بن حسن الجهني
الملخّص
دراسة لمعايرة الثقة في مخرجات النماذج اللغوية: متى تتطابق ثقة النموذج المعلنة مع صحّة إجابته فعلًا، وكيف نحسّن هذا التطابق.
المشكلة المعالَجة
تبدو النماذج واثقة حتى حين تخطئ، ما يضلّل المستخدم الذي يعتمد على نبرة الإجابة.
المساهمة الرئيسية
قياس فجوة المعايرة عبر مهام متعدّدة، واقتراح إشارات عدم يقين أوضح للمستخدم.
لماذا يهمّ
يساعد على تصميم واجهات تعرض حدود الثقة بدل إخفائها.
الملخّص التقني
An empirical study of confidence calibration in LLM outputs, quantifying the gap between expressed and actual correctness across tasks.
معايرة الثقةعدم اليقينالموثوقية
الاقتباس
الجهني، حمد بن حسن. «معايرة الثقة في إجابات النماذج اللغوية». مجلة الذكاء الاصطناعي والبيانات، 2024.
@inproceedings{aljohani2024معايرة,
title={معايرة الثقة في إجابات النماذج اللغوية},
author={Aljohani, Hamad},
booktitle={مجلة الذكاء الاصطناعي والبيانات},
year={2024}
}