احتمالات حصول ChatGPT على أسئلة التعليمات البرمجية الصحيحة أسوأ من تقليب العملة

شاركها قارئ مجهول هذا التقرير من يسجل:

ينتج ChatGPT ، روبوت الدردشة المبتكر الخاص بـ OpenAI ، إجابات خاطئة لأسئلة برمجة البرامج لأكثر من نصف الوقت ، وفقًا لـ أ [pre-print] الدراسة من جامعة بوردو. ومع ذلك ، كان الروبوت مقنعًا بما يكفي لخداع ثلث المشاركين.

قام فريق Purdue بتحليل إجابات ChatGPT على 517 سؤالاً من Stack Overflow لتقييم مدى صحة واتساق وشمولية وإيجاز إجابات ChatGPT. أجرى الأكاديميون الأمريكيون أيضًا تحليلًا لغويًا ومشاعرًا للإجابات ، واستجوبوا عشرات المشاركين المتطوعين حول النتائج التي تمخض عنها النموذج. وخلص الفريق البحثي إلى أن “تحليلنا يظهر أن 52 بالمائة من إجابات ChatGPT غير صحيحة و 77 بالمائة مطولة”. “ومع ذلك ، لا تزال إجابات ChatGPT مفضلة بنسبة 39.34 في المائة من الوقت نظرًا لشمولها وأسلوبها اللغوي الواضح.” من بين مجموعة إجابات ChatGPT المفضلة ، كان 77 في المائة خاطئين …

ذكرت ورقتهم البحثية “أثناء دراستنا ، لاحظنا أنه فقط عندما يكون الخطأ في إجابة ChatGPT واضحًا ، يمكن للمستخدمين تحديد الخطأ”. “ومع ذلك ، عندما لا يمكن التحقق من الخطأ بسهولة أو يتطلب IDE خارجيًا أو وثائق ، غالبًا ما يفشل المستخدمون في تحديد الخطأ أو التقليل من درجة الخطأ في الإجابة.” ذكرت الورقة أنه حتى عندما تحتوي الإجابة على خطأ صارخ ، لا يزال اثنان من المشاركين الاثني عشر يشيرون إلى الإجابة المفضلة. تعزو الورقة هذا إلى أسلوب ChatGPT اللطيف والموثوق.

وأوضحت الصحيفة: “من المقابلات شبه المنظمة ، من الواضح أن الأجوبة المهذبة ، والإجابات المفصلة وأسلوب الكتاب النصي ، والشمولية ، والانتماء في الإجابات تجعل الإجابات الخاطئة تمامًا تبدو صحيحة”.