إليك ما يحدث بالفعل داخل الشبكة العصبية لـ LLM

مع معظم برامج الكمبيوتر، حتى المعقدة منها، يمكنك التعمق للعثور على التعليمات البرمجية واستخدام الذاكرة. لماذا ينتج هذا البرنامج بعض السلوك أو المخرجات المحددة. وهذا غير صحيح بشكل عام في مجال الذكاء الاصطناعي، حيث تجعل الشبكات العصبية غير القابلة للتفسير التي تقوم عليها هذه النماذج، على سبيل المثال، من الصعب حتى على الخبراء تحديد السبب الدقيق وراء الخلط بين المعلومات في كثير من الأحيان.

الآن، بحث جديد من الأنثروبولوجيا يقدم كلود نافذة جديدة لما يجري في “الصندوق الأسود” الخاص بـ LLM. الشركة ورقة جديدة يصف “استخراج الميزات القابلة للتفسير من Clad 3 Sonnet” طريقة جديدة قوية لشرح جزئيًا كيف تعمل ملايين الخلايا العصبية الاصطناعية في النموذج لإنتاج إجابات واقعية بشكل مدهش على الأسئلة الشائعة.

فتح غطاء محرك السيارة

عند تحليل LLM، من السهل معرفة الخلايا العصبية الاصطناعية المحددة التي يتم تنشيطها استجابةً لأي استعلام محدد. لكن ماجستير إدارة الأعمال لا يقوم ببساطة بتخزين كلمات أو مفاهيم مختلفة في خلية عصبية واحدة. بدلاً من ذلك، كما يوضح الباحثون الأنثروبيون، “يتم تمثيل كل مفهوم في خلايا عصبية متعددة، وكل خلية عصبية تشارك في تمثيل مفاهيم متعددة.”

نظام لفرز هذه الفوضى من واحد إلى كثير ومن كثير إلى واحد أجهزة الترميز التلقائي المتناثرة ويمكن استخدامها لإجراء العمليات الحسابية المعقدة خوارزمية “تعلم القاموس”. عبر النموذج. يسلط هذا الإجراء الضوء على مجموعات الخلايا العصبية التي يتم تنشيطها بشكل مستمر لكلمات محددة تظهر في العديد من المحفزات النصية.

تُسمى بعد ذلك أنماط الخلايا العصبية متعددة الأبعاد “الميزات” المرتبطة بكلمات أو مفاهيم معينة. تتضمن هذه الميزات أي شيء بدءًا من الأسماء الرسمية البسيطة مثل جسر البوابة الذهبية للحصول على مفاهيم أكثر إيجازا مثل أخطاء البرمجة أو وظيفة الإضافة تمثيل نفس المفهوم في كود الكمبيوتر وبلغات وطرق اتصال متعددة (مثل النصوص والصور).

أ أكتوبر 2023 المراجعة الأنثروبولوجية لقد ثبت أن هذه العملية الأساسية تعمل على نماذج ألعاب صغيرة جدًا ذات طبقة واحدة. صعدت أجهزة القياس الورقية الجديدة للشركة لتحديد عشرات الآلاف من الميزات النشطة في طراز Clad 3.0 Sonata متوسط ​​الحجم. خريطة الميزة الناتجة – يمكنك ذلك دراسة المنطقة“ينشئ خريطة مفاهيمية تقريبية [Claude’s] يكتب الباحثون أن المستويات الداخلية هي “في منتصف الطريق من خلال حسابها” و”تعكس عمق واتساع وتجريد قدرات سونيت المتقدمة.” وفي الوقت نفسه، يحذر الباحثون من أن هذا “وصف غير مكتمل للتمثيلات الداخلية للنموذج”. ” قد تكون “مراتب من حيث الحجم” أصغر من التعيين الكامل للفرع 3. .

حتى على المستوى السطحي، يساعد تصفح خريطة الميزات هذه في إظهار كيفية ارتباط بعض الكلمات والعبارات والمفاهيم الرئيسية بالمعرفة التقريبية. أ الميزة المسماة “العواصم” ، على سبيل المثال، تميل الكلمات “عاصمة” إلى الأداء القوي، ولكن يتم أيضًا ذكر أسماء مدن محددة مثل ريغا وبرلين وأذربيجان وإسلام أباد ومونبلييه وفيرمونت على سبيل المثال لا الحصر.

كما قامت الدراسة بحساب مقياس رياضي لـ “المسافة” على أساس التشابه العصبي للميزات المختلفة. وينتج عن هذه العملية “أحياء مميزة” “غالبًا ما يتم تنظيمها في مجموعات مرتبطة هندسيًا تشترك في علاقة دلالية”، كما كتب الباحثون، مضيفين أن “التنظيم الداخلي للمفاهيم في نموذج الذكاء الاصطناعي يشبه، إلى حد ما على الأقل، نموذجنا البشري”. مفاهيم التشابه.” على سبيل المثال، تعد ميزة جسر البوابة الذهبية “قريبة” نسبيًا من الميزات التي تصف “جزيرة ألكاتراز، وميدان جيرارديلي، وغولدن ستايت ووريورز، وحاكم كاليفورنيا جافين نيوسوم، وزلزال عام 1906، وفيلم ألفريد هيتشكوك الذي تم تصويره في سان فرانسيسكو.” دوار“.

يمكن أن يساعد تحديد ميزات LLM محددة الباحثين في رسم خريطة لسلسلة الاستدلال التي يستخدمها النموذج للإجابة على الأسئلة المعقدة. على سبيل المثال، يُظهر إعلان عن “عاصمة الولاية التي لعب فيها كوبي براينت كرة السلة” نشاطًا في سلسلة من الميزات ذات الصلة بـ “كوبي براينت”، و”لوس أنجلوس ليكرز”، و”كاليفورنيا”، و”كابيتالز”، و”ساكرامنتو”. “، على سبيل المثال لا الحصر، تم حسابها ليكون لها تأثير أكبر على النتائج.