يستخدم PaLM 2 من Google ما يقرب من خمسة أضعاف البيانات النصية مقارنة بالسابق

علمت CNBC أن نموذج اللغة الكبير الجديد من Google ، الذي أعلنت عنه الشركة الأسبوع الماضي ، يستخدم ما يقرب من خمسة أضعاف بيانات التدريب التي استخدمها سابقتها من عام 2022 ، مما يسمح لها بأداء مهام أكثر تقدمًا في الترميز والرياضيات والكتابة الإبداعية.

تم تدريب PaLM 2 ، نموذج الشركة الجديد للغة كبيرة الاستخدام العام (LLM) الذي تم الكشف عنه في Google I / O ، على 3.6 تريليون رمز ، وفقًا للوثائق الداخلية التي شاهدتها CNBC. الرموز ، وهي سلاسل من الكلمات ، هي لبنة مهمة لتدريب LLM ، لأنها تعلم النموذج أن يتنبأ بالكلمة التالية التي ستظهر في تسلسل.

تم إصدار إصدار Google السابق من PaLM ، والذي يمثل نموذج لغة Pathways ، في عام 2022 وتم تدريبه على 780 مليار رمز مميز.

بينما كانت Google حريصة على إظهار قوة تقنية الذكاء الاصطناعي الخاصة بها وكيف يمكن دمجها في البحث ورسائل البريد الإلكتروني ومعالجة النصوص وجداول البيانات ، لم تكن الشركة راغبة في نشر الحجم أو التفاصيل الأخرى لبيانات التدريب الخاصة بها. كما حافظت شركة OpenAI ، الشركة المبتكرة ChatGPT المدعومة من Microsoft ، أيضًا على سرية تفاصيل أحدث لغة LLM تسمى GPT-4.

وتقول الشركات إن سبب عدم الإفصاح هو الطبيعة التنافسية للأعمال. يسارع كل من Google و OpenAI لجذب المستخدمين الذين قد يرغبون في البحث عن معلومات باستخدام روبوتات المحادثة بدلاً من محركات البحث التقليدية.

ولكن مع احتدام سباق التسلح في مجال الذكاء الاصطناعي ، يطالب مجتمع البحث بمزيد من الشفافية.

منذ الكشف عن PaLM 2 ، قالت Google إن النموذج الجديد أصغر من LLMs السابقة ، وهو أمر مهم لأنه يعني أن تكنولوجيا الشركة أصبحت أكثر كفاءة أثناء إنجاز مهام أكثر تعقيدًا. يتم تدريب PaLM 2 ، وفقًا للوثائق الداخلية ، على 340 مليار معلمة ، وهو مؤشر على مدى تعقيد النموذج. تم تدريب PaLM الأولي على 540 مليار معلمة.

لم تقدم Google تعليقًا على الفور على هذه القصة.

جوجل قال في منشور مدونة حول PaLM 2 ، يستخدم النموذج “تقنية جديدة” تسمى “مقياس الحوسبة الأمثل”. هذا يجعل LLM “أكثر كفاءة مع أداء أفضل بشكل عام ، بما في ذلك استدلال أسرع ، ومعلمات أقل للخدمة ، وتكلفة خدمة أقل.”

عند الإعلان عن PaLM 2 ، أكدت Google تقارير CNBC السابقة بأن النموذج مدرب على 100 لغة ويؤدي مجموعة واسعة من المهام. يتم استخدامه بالفعل لتشغيل 25 ميزة ومنتجات ، بما في ذلك chatbot Bard التجريبي للشركة. إنه متوفر بأربعة أحجام ، من الأصغر إلى الأكبر: Gecko و Otter و Bison و Unicorn.

يعتبر PaLM 2 أقوى من أي نموذج موجود ، يعتمد على الإفصاحات العامة. LLM على Facebook يسمى LLaMA ، وهو أعلن في فبراير ، تم تدريبه على 1.4 تريليون توكن. كانت آخر مرة شاركت فيها OpenAI حجم تدريب ChatGPT مع GPT-3 ، عندما قالت الشركة إنها تدربت على 300 مليار رمز في ذلك الوقت. أصدرت شركة OpenAI GPT-4 في مارس ، وقالت إنها تعرض “أداءً على مستوى الإنسان” في العديد من الاختبارات المهنية.

LaMDA ، محادثة LLM أن Google قدَّم قبل عامين وتم الترويج له في فبراير جنبًا إلى جنب مع Bard ، تم تدريبه على 1.5 تريليون رمز ، وفقًا لأحدث الوثائق التي اطلعت عليها CNBC.

مع وصول تطبيقات الذكاء الاصطناعي الجديدة إلى الاتجاه السائد بسرعة ، تزداد الجدل الدائر حول التكنولوجيا الأساسية.

المهدي المحمدي ، أحد كبار علماء الأبحاث في Google ، استقال في فبراير حول افتقار الشركة للشفافية. يوم الثلاثاء ، أدلى الرئيس التنفيذي لشركة OpenAI ، سام ألتمان ، بشهادته في جلسة استماع للجنة الفرعية القضائية التابعة لمجلس الشيوخ بشأن الخصوصية والتكنولوجيا ، واتفق مع المشرعين على أن هناك حاجة إلى نظام جديد للتعامل مع الذكاء الاصطناعي.

قال ألتمان: “بالنسبة لتقنية جديدة جدًا ، نحتاج إلى إطار عمل جديد”. “بالتأكيد تتحمل شركات مثل شركتنا الكثير من المسؤولية عن الأدوات التي نضعها في العالم.”

– ساهم جوردان نوفيت من سي إن بي سي في هذا التقرير.

يشاهد: دعا سام ألتمان ، الرئيس التنفيذي لشركة OpenAI ، إلى الإشراف على الذكاء الاصطناعي