الشبكة اليمنية للعلوم والبيئة (يمن ساينس) موقع يهتم بأخبار العلوم والتكنولوجيا والصحة والبيئة والسكان
مقالات مشابهة
أظهرت دراسة حديثة أن النماذج اللغوية الكبيرة، التي يتم تدريبها لتوقع الكلمات التالية في سياق معين، تستطيع تنفيذ مهام معقدة ككتابة الشعر أو توليد أكواد برمجية، بل ويمكنها حتى تقديم إرشادات تنقل دقيقة في مدينة نيويورك. لكن المفاجأة كانت أنها تقوم بذلك دون امتلاك خريطة داخلية حقيقية للمدينة، مما يطرح تساؤلات حول قدراتها في فهم العالم بشكل شامل.
اختبر الباحثون نموذجاً لغوياً قادراً على تقديم إرشادات دقيقة للملاحة عبر شوارع نيويورك، لكنه فشل بشكل كبير عند إدخال تغييرات على الطرق مثل إغلاق الشوارع أو إضافة تحويلات. ووجد الباحثون أن النموذج يعتمد على شبكة من الشوارع الوهمية، التي تربط بين تقاطعات بعيدة بطريقة غير منطقية.
ويقول الدكتور آشاش رامباتشان، الأستاذ المساعد في الاقتصاد بجامعة إم آي تي، وأحد المشرفين على الدراسة: “نظراً لأن هذه النماذج تُظهر قدرات مذهلة في اللغة، يأمل البعض في توظيفها في مجالات أخرى من العلوم. لكن إذا أردنا أن نعتمد عليها لاكتشافات علمية، من المهم أن نتأكد من قدرتها على فهم نماذج واقعية للعالم.”
شارك في إعداد البحث باحثون من معهد ماساتشوستس للتكنولوجيا (MIT) وجامعات هارفارد وكورنيل. وسيتم تقديم نتائج هذه الدراسة في مؤتمر نظم معالجة المعلومات العصبية.
معايير جديدة للتقييم
ركز الباحثون على نماذج تُعرف بـ “المحوِّلات”، التي تشكل جوهر النماذج اللغوية الكبيرة مثل “جي بي تي-4”. هذه النماذج تعتمد على كميات ضخمة من البيانات اللغوية لتوقع الكلمات التالية، لكن الباحثين وجدوا أن قياس دقة التوقعات قد لا يكفي لتقييم مدى فهم النموذج للعالم.
لذا، طور الفريق معايير جديدة لقياس “النموذج العقلي” الذي تشكله هذه النماذج. واستخدموا نموذجين للتجارب: التنقل في شوارع نيويورك ولعبة “أوثيلو”. وركزوا على معيارين؛ الأول يُدعى “تمييز التتابعات”، حيث يجب أن يكون النموذج قادراً على تمييز حالات مختلفة (مثل ألواح أوثيلو المختلفة). والمعيار الثاني يُسمى “ضغط التتابعات”، والذي يعني أن النموذج يجب أن يدرك أن حالات متطابقة تتطلب خطوات متشابهة.
نتائج غير متوقعة
وجد الباحثون أن النماذج التي يتم تدريبها على اختيارات عشوائية أكثر قدرة على تشكيل نماذج ذهنية دقيقة، ربما لأنها تتعرض لمجموعة أوسع من الخيارات خلال التدريب. ويقول الدكتور كيون فافا، الباحث الرئيسي في الدراسة: “في لعبة أوثيلو، يمكن للنموذج رؤية كل الحركات المحتملة إذا كان يشاهد مباريات عشوائية، بينما إذا كانت المباريات لبطولات، فستكون الحركات محدودة.”
وأظهرت التجارب أنه رغم أن النماذج قادرة على تقديم إرشادات دقيقة في أغلب الحالات، فإنها تنهار سريعاً عند حدوث تغييرات بسيطة في البيئة، مثل إغلاق شارع واحد من أصل 100. وتبيّن أن الخرائط الداخلية التي تشكلها النماذج تحتوي على طرق وهمية وشبكات غير منطقية تتقاطع بشكل غير طبيعي.
هذه النتائج تدق ناقوس الخطر حول الاعتماد على النماذج اللغوية في المهام المعقدة دون فهم كامل. ويختتم رامباتشان قائلاً: “آمل أن نتمكن من إقناع الناس بضرورة النظر بجدية إلى قدرة هذه النماذج على فهم العالم، وعدم الاعتماد على حدسنا فقط للحكم على كفاءتها.”
