◆ PLaMo Prime（プラモプライム）の開発背景と特徴

今回、Preferred Networksは子会社のPreferred Elementsが開発した成果をもとに、「PLaMo Prime」という製品版の提供を開始しました。

2024年8月まで実施された、生成AI開発を国が支援するGENIAC1.0が終わった直後から、PLaMo β版をトライアル提供していました。そこでいろんなフィードバックをもらいまして、例えば「コンテキストがデフォルトの4K（4,000トークン）だとなかなか使いづらい」と。

一番はRAGで持ってきた検索結果がコンテキストに入れられないというもので、もう少し長く入れたいという要望があって、このコンテキスト長を長くするというのを行いました。

今回は4倍の16K（16,000トークン）を事後学習で対応しました。このことについてはブログに書かれています。

2つ目はRAGの精度向上ということで、RAG自身も検索で取ってきた文章を使ってちゃんとタスクをこなせるようにしました。事後学習でRAGを扱えるような訓練をしっかり行うことで、RAGの性能が向上しました。

3つ目が日英翻訳性能の改善です。今PLaMoが性能的にですね、いろいろ調べたところ、一番競争力があるのは日本語の生成だと考えています。

これは、学習データが日本語の割合が多いのが一番の要因で、一般的なLLMだと英語がメインで学習がされていて、日本語の割合が1%とか0.5%とかしか含まれてないんですけれども、PLaMoの場合だと30から40%ぐらい含まれていて日本語のデータをたくさん見ています。多様な日本語データを見ており、日本語の生成に関しては競争優位性があると考えています。

翻訳の用途は非常に多いと思うので、追加学習を行って、長文の日英翻訳性能の改善を目指して取り組みました。

最後にFunction Callingということで、いろいろな既存システムのAPIなどを叩けるような学習も行っております。

その他にも、安全面など細かくチェックしたり修正した上で、今回製品版として提供を開始したのがPLaMo Primeになっています。

◆ 提供方法と価格

PLaMo PrimeはOpenAIと互換性のあるインターフェースを採用していますので、すでにOpenAIや他のLLMを使っている人は呼び出し先を切り替えるだけでPLaMo Primeを使うことができます。

入力トークンは100万トークンあたり300円、出力トークンは100万トークンあたり1,000円という価格で提供します。

これは他LLMと比べても利用しやすい価格設定になっているかと思います。なかなかこういう高機能なモデルをクラウドでデプロイしてお客さんに提供しようと思うと、提供するために必要なコストだけでかなりかかってしまうんですが、今回提供しているこの価格はかなり頑張った価格になっています。

また、まずは試してみないとわかんないというところで、リリースキャンペーンとして1,000円分のクレジットを付与しております。

開発者の方は既に作っているAPIのところを切り替えて使うというイメージですが、他の多くの人には「PLaMo Chat」というトライアル時から提供しているチャットサービスを期間限定で無料提供しています。

◆ 今後の展望

自分も試しに使ってみようということで翻訳アプリを作ってみました。今はアーカイブの論文をリンク投げて、PDFをダウンロードして、テキスト抽出して、テキストを全部チャンクに分けて100並列ぐらいでAPIに投げて翻訳しています。

こんな感じでだいたい一論文あたり5円くらいで翻訳できる計算になってます。

APIを使ってやるっていうのはアイディア勝負なところがありまして、私はたまたま毎日論文読んでるから翻訳に使ってみたんですけれども、翻訳以外にも使ってみたいところがあれば、ぜひ試してみて利用用途を探索してもらえたらと思います。

PLaMo Primeは12月2日にリリースしましたけれども、今後モデル自体の改良と、製品のアップデートを進めていきます。

元のモデルについては、現在GENIACの2サイクル目の活動が進んでいて、今のモデルよりもモデルを小さくした上でさらに能力を上げるということを目指しています。

これは先日紹介した学習データの質の改善によって実現していきます。またアーキテクチャも新しいものを採用することでコンテキスト長が長くなっても負荷が増えないようにしています。

結果として、ユーザー視点から見ると、より早く出力が返ってくるし、コスト面でも競争力のあるものが提供できるようになると考えています。製品面でもパッチ処理やプロンプトキャッシュなどサポートしていきたいと思っています。