3 个版本的模型尺寸分别有 7B、13B 和 34B,每个模型都被喂进了 5000 亿 token 的代码及代码相关数据中训练
Meta希望Code Llama能激发大众对于Llama 2的进一步开发,成为研究和商业产品创建新的创造性工具
▫️支持10万 token 上下文(可以直接塞进整个项目)
▫️支持 Python、C++、Java、PHP、Typescript(Javascript)、SQL、C#和Bash等语言
▫️Python 34B 版本在HumanEval上得分为 53.7%,在 MBPP上得分为56.2%,超过了 GPT-3.5 的 48.1% 和 52.2%(评分)
▫️开源可商用
🌐 参考1 | 参考2 | 参考3
📮投稿 📢频道 💬群聊