Code Llama یک نسخه Code-Specialize از Llama 2 است که با آموزش بیشتر Llama 2 بر روی مجموعه داده های code-specific خود ایجاد شده است و داده های بیشتری از همان مجموعه داده را برای مدت طولانی تری نمونه برداری می کند.سه اندازه از Code Llama با پارامترهای 7B، 13B و 34B وجود دارد. این سه مدل نیازمندی های مختلف سرویس دهی و تأخیر را بررسی می کنند. به عنوان مثال، مدل 7B را می توان روی یک واحد پردازش گرافیکی ارائه کرد. مدل 7B با 500 میلیارد کد و داده های مربوط به کد آموزش داده شده. مدل پایه و دستورالعمل 7B نیز با قابلیت fill-in-the-middle (FIM) آموزش دیده که به آن اجازه می‌دهد کد را در کد موجود وارد کنند، به این معنی که می‌توانند کارهایی مانند تکمیل کد را مستقیماً پشتیبانی کنند. این مدل برای کارهایی که به تأخیر کم نیاز دارند، مانند تکمیل کد بلادرنگ (real-time code)، سریع‌تر و مناسب‌تر هست.
