متا و مایکروسافت Llama 2، یک LLM منبع باز را برای استفاده تحقیقاتی و تجاری برای عموم منتشر کردند. Llama 2 یک مدل زبان رگرسیون خودکار است که از معماری ترانسفورماتور بهینه شده استفاده می کند. نسخه‌های تنظیم‌شده از تنظیم دقیق نظارتی (SFT) و یادگیری تقویتی با بازخورد انسانی (RLHF) استفاده می‌کنند تا با اولویت‌های انسان برای مفید بودن و ایمنی هماهنگ شوند. بر روی 2 تریلیون داده از منابع عمومی در دسترس از قبل آموزش داده شده بود. این نسخه شامل وزن‌های مدل و کد شروع برای مدل‌های از پیش آموزش‌دیده و تنظیم‌شده زبان Llama 2 است که از پارامترهای 7B (میلیارد) تا 70B به صورت (7B، 13B، 70B) متغیر است. تعداد پارامترها معیاری از پیچیدگی مدل است. یک مدل بزرگتر پارامترهای بیشتری دارد، به این معنی که می تواند الگوهای پیچیده تری را در داده ها یاد بگیرد. مدل 7B به ۱ GPU نیاز دارد پس برای تسک هایی با پیچیدگی کم استفاده میشود.
