#AI #meta #开源 #编程 #Llama2 #大模型

🦙Meta 开源编程大模型「Code Llama」,性能直逼 GPT-4

🌐开源地址 | 体验1 | 体验2

📄Code Llama 是从 Llama-2 基础模型微调而来,有基础版(Code Llama)、Python微调版(Code Llama-Python)、以及自然语言指令微调版(Code Llama-Instruct)共 3 个版本

3 个版本的模型尺寸分别有 7B、13B 和 34B,每个模型都被喂进了 5000 亿 token 的代码及代码相关数据中训练

Meta希望Code Llama能激发大众对于Llama 2的进一步开发,成为研究和商业产品创建新的创造性工具

Features

▫️支持10万 token 上下文(可以直接塞进整个项目)

▫️支持 Python、C++、Java、PHP、Typescript(Javascript)、SQL、C#和Bash等语言

▫️Python 34B 版本在HumanEval上得分为 53.7%,在 MBPP上得分为56.2%,超过了 GPT-3.5 的 48.1% 和 52.2%(评分

▫️开源可商用

⬆️令人惊喜的是,Code Llama还有一个没有公布的「unnatural」版本,性能已经超过ChatGPT,逼近GPT-4

🌐 参考1 | 参考2 | 参考3

📮投稿 📢频道 💬群聊
 
 
Back to Top