SemEval-2016

تمارين التقييم الدلالي

تتمحور المهمة حول الأسئلة والأجوبة (QA) في مواقع الانترنت، حيث يمكن لأي شخص نشر أي سؤال أو الإجابة عليه، ويمكن أن تستهلك الكثير من الوقت والجهد لتصفح جميع الإجابات الممكنة وفهمها، مما خلق الحاجة إلى أتمتة هذه العملية وإيجاد نظام قادر على تحديد مدى فائدة الأجوبة بشكل تلقائي.
تم جمع الآلاف من الأسئلة والأجوبة (QA) من مواقع مثل WebTeb و Al-Tibbi و Islamweb. كان على المشاركين إعادة ترتيب الإجابات الصحيحة لسؤال جديد. بحث المشاركون في الآلاف من الأسئلة والأجوبة في محاولة للعثور على أصح إجابات لأسئلة WebTeb وترتيبها من حيث الأجوبة الأكثر فائدة إلى الأقل فائدة.
مقياس التقييم المستخدم لتصنيف الأنظمة المشاركة هو متوسط ​​الدقة (MAP) لأول عشرة اجابات اختارها المشارك للإجابة على السؤال. قمنا أيضًا باستخدام مقياسين غير رسميين للترتيب: متوسط ​​الترتيب المتبادل (MRR) ومتوسط ​​الاسترداد (AvgRec).

الفائز بالمركز الثالث

فازت RDI بالمركز الثالث في مهمة SemEval-2016 Task3: إجابة أسئلة المجتمع، حيث حصلنا على متوسط دقة MAP بقيمة ٤٣.٨. كما حصلنا على المرتبة الثالثة أيضًا في AvgRec و MRR.
قمنا بدمج وحدة TF.IDF مع نموذج اللغة المتكررة والمعلومات من ويكيبيديا للحصول على نتائج أكثر دقة.

اوراق المسابقة