Code Llama یک نسخه Code-Specialize از Llama 2 است که با آموزش بیشتر Llama 2 بر روی مجموعه داده های code-specific خود ایجاد شده است و داده های بیشتری از همان مجموعه داده را برای مدت طولانی تری نمونه برداری می کند. این مدل با 500 میلیارد کد و داده های مربوط به کد آموزش داده شده. مدل پایه و دستورالعمل 13B نیز با قابلیت fill-in-the-middle (FIM) آموزش دیده که به آن اجازه می‌دهد کد را در کد موجود وارد کنند، به این معنی که می‌توانند کارهایی مانند تکمیل کد را مستقیماً پشتیبانی کنند. این مدل برای کارهایی که به تأخیر کم نیاز دارند، مانند تکمیل کد بلادرنگ (real-time code)، سریع‌تر و مناسب‌تر هست.
