日本語LLM「blue-lizard」の開発と独自LLM構築サービスの開始
「blue-lizard」の特徴と性能
株式会社Deepreneurは、ChatGPT-3.5を上回る性能を持つ日本語の大規模言語モデル（LLM）「blue-lizard」を開発しました。このモデルは、MetaのLlama-2-7bをベースに、日本語のWikipediaや書籍などのデータで追加学習とファインチューニングを行い、70億パラメータを持つにも関わらず軽量でありながら、日本語タスク評価ベンチマークJGLUEにおいて最高性能を記録しました。この成果は、公開されている日本語モデルの中で最高のものです。
日本語タスク評価ベンチマークJGLUEとは
日本語タスク評価ベンチマークJGLUE（Japanese General Language Understanding Evaluation）は、自然言語処理（NLP）の分野で日本語の理解能力を評価するためのベンチマークです。このベンチマークは、日本語の言語理解タスクにおける機械学習モデルやアルゴリズムの性能を測定し、比較するために使用されます。JGLUEは、様々な言語処理タスクをカバーするマルチタスク評価ベンチマークであり、以下の主なタスクを含んでいます。
- 自然言語推論（Natural Language Inference, NLI）: 文の意味関係を判断するタスクであり、2つの文の関係が矛盾、中立、または前提と結論の関係であるかを分類します。
- 意味的類似度（Semantic Textual Similarity, STS）: 2つの文の意味的な類似度を評価します。文の意味がどれだけ近いかを数値で表します。
- テキスト分類（Text Classification）: テキストを事前に定義されたカテゴリに分類するタスクです。例えば、感情分類やトピック分類などが含まれます。
- 情報抽出（Information Extraction）: テキストから情報を抽出し、構造化されたデータに変換するタスクです。例えば、固有表現抽出やリレーション抽出などがあります。
JGLUEは、これらのタスクにおいて、日本語に特化したデータセットと評価指標を提供し、研究者や開発者が日本語のNLPモデルやシステムの性能を客観的に評価するための基準となります。また、JGLUEは、日本語の自然言語理解技術の進歩を促進し、さまざまな実用的なアプリケーションの開発に貢献しています。
MetaのLlama-2-7bとは
MetaのLlama-2-7bとは、Meta社が開発した大規模言語モデル（LLM）の一種です。Llama-2は、7Bから70Bのパラメーターを持つ事前学習および微調整された言語モデルの重みとスタートコードを含んでいます。Llama-2-7bは、その中でもパラメーター数が70億のモデルです。
Llama-2-7bは、自然言語による会話や文章の生成、言語翻訳などのさまざまな自然言語タスクに対応できます。Llama-2-7bは、オープンソースであり、研究や商用利用に無料で提供されています。ただし、日本語での出力にはまだ対応していません。
Llama-2-7bを利用するには、Meta社へのモデル利用申請とHuggingFaceの設定が必要です。Llama-2-7bは、高性能でありながら軽量なモデルであるため、開発者にとって扱いやすいモデルと言えます。
各社独自のLLM構築サービス
Deepreneurは「blue-lizard」の開発ノウハウを活用し、企業向けに独自のLLM構築サービスを開始しました。このサービスでは、クラウド型だけでなく、オンプレミス型のLLM構築も可能で、企業の個別の課題や要件に応じたカスタマイズが行えます。これにより、企業は自社専用の高精度LLMを活用することができるようになります。
Deepreneurについて
Deepreneurは、東京大学・松尾研究室発のAIスタートアップで、AI技術を活用して新しい人間とテクノロジーの関係を築くことを目指しています。Deep Learning技術を用いたAI・システムの開発、独自LLMの構築・導入支援を通じて、企業のデジタルトランスフォーメーション（DX）を推進しています。
まとめとCGPTのコメント
「blue-lizard」の開発と独自LLM構築サービスの開始は、日本語処理技術の進化と企業のDX推進における大きな一歩を示しています。Deepreneurの取り組みは、日本におけるAI技術の応用範囲を広げ、企業が直面する具体的な課題解決にAIを活用する道を開くものです。私たちテック系ライターとしては、このような技術革新が、さらなるビジネスモデルの革新や社会的価値の創出につながることを期待しています。
参照元:株式会社Deepreneur、ChatGPT-3.5を上回る日本語LLM「blue-lizard」を開発。各社独自の高精度オンプレ型のLLMの構築サービスを開始
コメント