Yemen Science يمن ساينس: الشبكة اليمنية للعلوم والبيئة، موقع يهتم بأخبار العلوم والتكنولوجيا والصحة والبيئة والسكان
مقالات مشابهة
دراسة من جامعة ذمار تقترح طريقة أوسع لاختبار إجابات أنظمة الذكاء الاصطناعي بالعربية، بعدما وجدت أن تشابه الكلمات لا يعني بالضرورة تشابه المعنى.
قد يجيب نظام ذكاء اصطناعي عن سؤال عربي بإجابة تبدو صحيحة للوهلة الأولى. الكلمات مألوفة، والجمل قريبة من النص الأصلي، وربما يحصل النظام على درجة جيدة في اختبار آلي. لكن ماذا لو غيّر في إجابته اسمًا، أو رقمًا، أو تاريخًا؟ وماذا لو ظل الاختبار يعدّها إجابة ناجحة لأنها تشبه النص في ألفاظها؟
هذا السؤال هو مدخل دراسة حديثة من جامعة ذمار في اليمن، تبحث في طريقة تقييم أنظمة تجعل الذكاء الاصطناعي يقرأ وثائق محددة قبل أن يجيب. تُعرف هذه الأنظمة تقنيًا باسم التوليد المعزز بالاسترجاع أو RAG. فكرتها ببساطة أن النموذج لا يجيب من “ذاكرته” وحدها، بل يبحث أولًا في نصوص أو ملفات موثوقة، ثم يصوغ إجابته اعتمادًا عليها.
لكن الدراسة تقول إن المشكلة لا تنتهي عند إحضار الوثائق الصحيحة؛ فهناك سؤال آخر لا يقل أهمية: كيف نعرف أن الإجابة التزمت فعلًا بما في الوثيقة؟
اختبرت الورقة البحثية هذا السؤال في العربية عبر تجربة شملت 30 وثيقة PDF عربية، عولجت ونُظفت وقُسمت إلى 2847 مقطعًا. ثم صاغ الباحثان 300 سؤالبإجابات مرجعية مأخوذة من الوثائق نفسها. وبعد أن أجابت ستة نماذج لغوية عن هذه الأسئلة، حصل الباحثان على 1800 إجابة للتقييم.
النتيجة الأبرز لم تكن إعلان “أفضل نموذج”، بل كشف فجوة في طريقة القياس. فعندما قارنت الدراسة بين اختبار يحسب تشابه الكلمات، هو ROUGE-1، واختبار يحاول قياس تشابه المعنى، وجدت أن العلاقة بينهما ضعيفة: 0.317 فقط. وبعبارة أبسط: الإجابة قد تشبه النص في كلماتها، من دون أن تحمل المعنى الصحيح نفسه.
تسمي الورقة هذه الظاهرة “سراب المقاييس”. أي أن الرقم قد يوحي بأن الإجابة جيدة، بينما لا يكشف بالضرورة هل قالت الحقيقة، أو هل التزمت بالمصدر، أو هل أضافت معلومة غير موجودة.
تبدو هذه المشكلة أوضح في العربية. فالعربية لغة غنية بالاشتقاق والصيغ؛ يمكن التعبير عن المعنى الواحد بأكثر من تركيب، ويمكن لكلمات من الجذر نفسه أن تظهر بصور مختلفة. لذلك قد تعاقب الاختبارات القائمة على تشابه الكلمات إجابة صحيحة لأنها أعادت الصياغة، بينما قد تمرر إجابة قريبة لفظيًا لكنها أخطأت في معلومة جوهرية.
لهذا يقترح الباحثان أحمد علي العنسي وخليل سعيد الوجيه ألا يُحكم على إجابات الذكاء الاصطناعي العربي بعدّ الكلمات المتشابهة فقط. بدلًا من ذلك، تقترح الدراسة إطارًا أوسع يجمع بين أكثر من نوع من الاختبارات: اختبار يقيس قرب المعنى، واختبار يراقب الأسماء والأماكن والتواريخ والأرقام، واختبار ينظر إلى حياد النبرة، إلى جانب المقاييس اللفظية بعد معالجتها صرفيًا لتناسب العربية أكثر.
أهمية رصد الأسماء والأرقام والتواريخ لا تأتي من كونها تفاصيل شكلية. في كثير من الإجابات، قد يكون الخطأ كله في كيان واحد: اسم شخص، سنة، مؤسسة، بلد، أو رقم. فإذا أدخل النموذج كيانًا غير موجود في الوثيقة، فهذه إشارة إلى احتمال “الهلوسة”، أي إنتاج معلومة تبدو سلسة لكنها غير مستندة إلى المصدر.
وتدعم الدراسة هذا الاتجاه بنتيجة لافتة: وجدت ارتباطًا قويًا، بلغ 0.882، بين تشابه المعنى ودقة الكيانات المسماة، أي الأسماء والأرقام والتواريخ ونحوها. لا يعني ذلك أن تتبع الكيانات يكشف كل الأخطاء، لكنه قد يساعد في رصد نوع مهم منها: حين تضيف الإجابة معلومة لم تكن في النص المسترجع.
ومع ذلك، لا تبدأ جودة الإجابة من لحظة الكتابة فقط. ففي هذه الأنظمة، يسبق الجوابَ سؤالٌ آخر: هل عثر النظام على الفقرة الصحيحة أصلًا؟ إذا كانت المقاطع المسترجعة غير مناسبة، فلن يكون لدى النموذج أساس جيد للإجابة مهما بلغت قوته.
لذلك اختبرت الدراسة طريقة بحث هجينة تجمع بين نوعين من البحث: بحث يحاول فهم المعنى، وبحث يطابق الكلمات المهمة. ووجدت أن الجمع بينهما كان أفضل من كل طريقة منفردة؛ إذ حقق النظام الهجين Recall@5 = 0.942 و MRR = 0.883 في التجربة. والمقصود هنا، بصورة مبسطة، أن النظام صار أكثر قدرة على وضع المقطع الصحيح بين النتائج الأولى التي يقدمها للنموذج.
أما النماذج نفسها، فقد شملت التجربة نماذج عربية أو موجهة للعربية، مثل ALLaM-7B و Fanar-1-9B و Noon-7b، ونماذج متعددة اللغات مثل Llama-3.3-70B و Qwen-2.5-7B و BLOOM-7B . تصدر Llama-3.3-70B الترتيب المركب في الدراسة، لكن الورقة تشير أيضًا إلى أن ALLaM-7B أظهر أداءً قويًا في عدد من المقاييس. لذلك لا تصلح النتيجة لصياغة قصة مبسطة عن “فوز” نموذج أجنبي على نموذج عربي؛ فالمقارنة تتأثر بحجم النموذج، ونوع الأسئلة، واختيار المقاييس، وطريقة جمع الدرجات.
الأقرب إلى جوهر الدراسة أن نقول إن الحكم على إجابات الذكاء الاصطناعي العربي يحتاج إلى أدوات ترى ما وراء التشابه السطحي بين الكلمات: هل المعنى صحيح؟ هل الأسماء والأرقام مطابقة للمصدر؟ هل استندت الإجابة إلى الفقرة المناسبة؟ وهل أضاف النموذج شيئًا من عنده؟
مع ذلك، تبقى للدراسة حدود مهمة. فالورقة نفسها تقر بأن التجربة محدودة مقارنة بمعايير بحثية ضخمة، لأنها اعتمدت على 30 وثيقة و300 سؤال فقط، وتدعو إلى اختبار الإطار على مجموعات عربية أكبر وأكثر تنوعًا.
وفي رد منفصل على أسئلة لهذه المادة، قال الباحث أحمد العنسي إن الدراسة تضمنت تقييمًا بشريًا لعينة من الإجابات، وإن الوثائق كانت “منوعة”، وإن التجربة ركزت على العربية الفصحى العامة لا اللهجات. هذه النقاط تقوّي جانب التحقق، لكنها تضع حدودًا واضحة للتعميم: النتائج لا تنطبق تلقائيًا على اللهجات العربية، ولا على كل المجالات الحساسة، ولا على كل استخدامات الذكاء الاصطناعي اليومية.
كما أن رصد الأسماء والأرقام لا يكفي وحده للحكم على الحقيقة. قد يذكر النموذج الكيانات الصحيحة، لكنه يخطئ في العلاقة بينها، أو يبالغ في تفسير سبب ونتيجة، أو يحذف قيدًا مهمًا. لذلك لا تلغي المقاييس المقترحة الحاجة إلى التحقق البشري، خصوصًا في المجالات التي قد يترتب على الخطأ فيها ضرر مباشر.
لا تقول الدراسة إن مقاييس تشابه الكلمات بلا فائدة. لكنها تقول إن الاعتماد عليها وحدها قد يمنح ثقة زائفة، خاصة في لغة مثل العربية.
عندما تزداد الأنظمة التي تجيب عن أسئلة الناس من وثائق، لا يكفي أن نسأل: هل تبدو الإجابة صحيحة؟ بل يجب أن نسأل: كيف عرفنا أنها صحيحة؟
