8月24日消息,Meta 現推出了一個名為 Code Llama 的 AI 編碼工具,號稱“最先進的大型編碼語言模型”。
該模型基于 Llama 2 大型語言模型打造,可以理解為“Llama 2 的寫代碼專用版”,可用于“生成新的代碼并調試人類編寫的工作”,目前已上線 Github。
據悉,Code Llama 將采用與 Llama 2 相同的社區許可,并對研究和商業領域免費開放。
Meta 指出,Code Llama 能夠根據代碼核自然語言提示 / 要求生成你想要的代碼和有關代碼的自然語言,或者在指向特定代碼時進行完善和調試。
除了基礎版的 Code Llama 外,Meta 還推出了專為 Python 設計的版本 ——Code Llama-Python,以及一個能夠理解自然語言指令的版本 ——Code Llama-Instrct。
在 Meta 的基準測試中,Code Llama 在編程任務上的表現優于最先進的公開可用的 LLM 模型。
Meta 稱,每個特定的 Code Llama 版本都不可切換 / 替代,公司不建議將基本 Code Llama 或 Code Llama-Python 用于自然語言指令。
Meta 發布了三種大小的 Code Llama,分別具有 7B、13B 和 34B 參數。每個模型都使用 500B 代碼 tokens 和代碼相關數據進行訓練,而且 7B 和 13B 基礎模型和指令模型也經過了中間填充 (FIM) 功能的訓練,允許它們將代碼插入到現有代碼中。