こんにちは、稗田利明です！
楽天は、オープンソースコミュニティへの貢献とAIのグローバルな発展を促進するために、基盤モデル「Rakuten AI 7B」、チューニング済みモデル「Rakuten AI 7B Instruct」、チャットモデル「Rakuten AI 7B Chat」を公開しました。名称の「7B」は、このモデルが70億のパラメータを持つことを示しています。
「Rakuten AI 7B」は、フランスのAIスタートアップであるMistral AIのオープンモデル「Mistral-7B-v0.1」を基にしており、豊富なデータで学習されています。楽天は内製したマルチノードGPUクラスターを使用して事前学習を行いました。
事前学習には、オンライン上の日本語と英語のデータが活用されました。楽天のフィルタリング機能がデータを選択・抽出し、関連情報をメタデータとして追加するアノテーション作業によって品質が向上しました。
楽天独自の形態素解析器は日本語テキストを適切な単位に細分化し、通常の解析器よりもトークンあたりの文字数が多くなっています。これにより、より効率的な事前学習と推論が可能となりました。
言語モデル評価ツール「LM Evaluation Harness」では、「Rakuten AI 7B」が7つの基準で日本語評価平均69.8ポイント、「Rakuten AI 7B Instruct」は平均77.3ポイントを獲得しました。これらのスコアは、KDDIが最近子会社化したAIスタートアップELYZA（エライザ）の7Bモデルよりも約10ポイント高いです。
楽天はこれらのモデルをオープンソースとして公開することで、国内外でAIの発展を後押しすることを目指しています。
楽天、日本語に最適化したオープンな大規模言語モデルを公開（ケータイ Watch） - Yahoo!ニュース https://news.yahoo.co.jp/articles/fa22c791f9c9eff4e507baea0268dc6bee501056
