こんにちは、稗田利明です！
Metaは、新たに70B(700億)パラメータを持つモデル「Code Llama 70B」を提供開始しました。これは、大規模言語モデルのLlama 2をベースに、コード生成に特化したデータセットで学習を行なったもので、テキストプロンプトからコードを生成することが可能となります。Code Llama 70Bは1兆トークンのトレーニングデータで学習しており、これまでのCode Llamaファミリーの中で最大かつ最高のパフォーマンスを発揮できるとされています。さらに、Pythonに特化した「Code Llama - 70B - Python」と自然言語命令を解釈できるよう調整を加えた「Code Llama - 70B - Instruct 70B」の3種類も用意されています[2][3]。
この新モデルは、以前のバージョンよりもさらに多くのクエリを処理できるため、開発者はより多くのプロンプトを与えることができ、プログラミング中により正確な結果を得ることができます[3]。また、Code Llama 70Bは無料で研究目的に利用可能であり、Hugging Faceのコードリポジトリでホスティングされています[2][3]。
この新モデルの提供により、Metaはコーディング支援においてさらなる進化を遂げ、他社のAI開発者が過去1年間にリリースしたコード生成ツールに対抗することが期待されています[2][3]。
Citations:
[1] https://ai.meta.com/llama/
[2] https://www.theverge.com/2024/1/29/24055011/meta-llama2-code-generator-generative-ai
[3] https://www.forbes.com/sites/janakirammsv/2024/01/30/meta-debuts-code-llama-70b-a-powerful-code-generation-ai-model/?ss=ai
[4] https://ai.meta.com/blog/code-llama-large-language-model-coding/
[5] https://www.youtube.com/watch?v=JLtA3l9SEwA
