قدمت شركة Meta الجيل التالي من نماذج الذكاء الاصطناعي (AI)، Llama 3 8B و70B، يوم الخميس. تم اختصار Llama 3 لـ Large Language Model Meta AI، ويأتي مزودًا بقدرات محسنة مقارنة بسابقه. كما اعتمدت الشركة أساليب تدريب جديدة لتحسين كفاءة النماذج. ومن المثير للاهتمام أنه مع Llama 2، كان النموذج الأكبر هو 70B، لكن هذه المرة قالت الشركة إن نماذجها الكبيرة ستحتوي على أكثر من 400 مليار معلمة. والجدير بالذكر أن تقريرًا كشف الأسبوع الماضي أن Meta ستكشف النقاب عن نماذجها الأصغر حجمًا للذكاء الاصطناعي في أبريل ونماذجها الأكبر في وقت لاحق من الصيف.
إن المهتمين بتجربة نماذج الذكاء الاصطناعي الجديدة محظوظون لأن Meta تتبع نهج المجتمع أولاً مع Llama 3. وستكون النماذج الأساسية الجديدة مفتوحة المصدر تمامًا مثل النماذج السابقة. ذكرت Meta في منشور مدونتها: “ستتوفر نماذج Llama 3 قريبًا على AWS، وDatabricks، وGoogle Cloud، وHugging Face، وKaggle، وIBM WatsonX، وMicrosoft Azure، وNVIDIA NIM، وSnowflake، وبدعم من منصات الأجهزة التي تقدمها AMD. AWS، وDell، وIntel، وNVIDIA، وQualcomm.”
تتضمن القائمة جميع المنصات السحابية والاستضافة والأجهزة الرئيسية، والتي من شأنها أن تسهل على المتحمسين وضع أيديهم على نماذج الذكاء الاصطناعي. علاوة على ذلك، قامت Meta أيضًا بدمج Llama 3 مع Meta AI الخاص بها والذي يمكن الوصول إليه عبر Facebook Messenger وInstagram وWhatsApp في البلدان المدعومة.
فيما يتعلق بالأداء، شارك عملاق وسائل التواصل الاجتماعي النتائج القياسية لـ Llama 3 لكل من نماذجه المدربة مسبقًا والموجهة. كمرجع، فإن التدريب المسبق هو الذكاء الاصطناعي العام للمحادثة بينما تهدف نماذج التعليمات إلى إكمال مهام محددة. تفوق نموذج Llama 3 70B المُدرب مسبقًا على Google Gemini 1.0 Pro في معايير MMLU (79.5 مقابل 71.8)، وBIG-Bench Hard (81.3 مقابل 75.0)، وDROP (79.7 مقابل 74.1)، حيث تفوق نموذج 70B Instruct على Gemini 1.5 النموذج الاحترافي بمعايير MMLU وHumanEval وGSM-8K، استنادًا إلى البيانات التي تشاركها الشركة.
اختارت Meta بنية محولات وحدة فك التشفير فقط لنماذج الذكاء الاصطناعي الجديدة ولكنها أجرت العديد من التحسينات على سابقتها. يستخدم Llama 3 الآن رمزًا مميزًا يحتوي على مفردات مكونة من 128 ألف رمز مميز، وقد اعتمدت الشركة اهتمام الاستعلامات المجمعة (GQA) لتحسين كفاءة الاستدلال. يساعد GQA في تحسين انتباه الذكاء الاصطناعي بحيث لا يتحرك خارج سياقه المحدد عند الإجابة على الاستفسارات. وقد قام عملاق وسائل التواصل الاجتماعي بتدريب النماذج مسبقًا باستخدام أكثر من 15T من التوكنات، والتي تدعي أنها حصلت عليها من البيانات المتاحة للعامة.
