メルマガの登録はこちら

今日は、先日リリースをしたPLaMo 3.0 Primeについて話します。

◆推論機能の搭載と非推論モデルの提供

PLaMo 3.0 Primeは推論機能を搭載しています。いわゆる、生成する際に、自分で考える能力です。

推論機能を入れたおかげでかなり色々な性能が向上・改善して、何かを回答したり、複雑な指示をちゃんと理解して、それに追従する能力などが上がっています。

一方で、ベータ版をリリースした時のフィードバックとして、スピードが優先されるタスクも多いことがわかったので、応答速度の速い非推論モデルも同時に提供しています。

今回、性能としていくつか中核能力のターゲットを決めたんですが、その中ではまず「複雑な指示への対応（Instruction Following）」という要望に対応しました。いろんなタスクをさせるにあたって、指示をちゃんと守ってくれないと仕事には使えないという声が多かったので、複雑な指示への対応をかなり強化しています。

実際ベンチマークにおいても、その能力がトップクラスのモデルとほぼ同等レベルになっています。

◆高い日本語性能と圧倒的なコストパフォーマンス

今回、ユーザーから見た時の大きなポイントとして、日本語性能は相変わらず一番高いものを目指して提供しているんですが、実際にモデルを使った時にかかるコストを見ますと、同じような日本語能力を持っているモデルと比べてもはるかに安く使えるようになっています。

例えばGPT-5.4 Miniと比べても、大体半額くらいで使えます。こうしたことからコストパフォーマンスはかなり高くなっていて、たくさん使うような用途があれば、かなり競争力があると思います。

グラフ横軸の評価コストは、日本語ベンチマークスイートを実際に実験としてバーっと走らせて、途中で推論などいろんなことをするので、それを全部走らせた時にどれぐらい金額がかかったかということで、代表的なタスクでどれぐらいコストがかかるのかを表しているんですけども、同じ性能を出しながら半額で使えています。

◆コンテキスト長を256Kまで拡張

もう1つ、今回PLaMo 3.0 Primeを作るにあたって、お客さんからコンテキスト長を長くして欲しいという要望をかなり受けていました。

コンテキスト長はどんどん重要になっていて、いくつかのタスクだともう全部、ハーネスだとか、RAGで持ってきたデータなどを入れて扱うとなると、特別な使い方でなくても結構長いコンテキストを使う例が増えてきています。

今回、コンテキスト長を256Kまで拡張しまして、これはGPT-OSS-120Bより長く、Qwen 3.6と同程度なので、非常に長いところまでサポートできています。

コンテキスト長については試行錯誤を社内で繰り返して、いろんなことを試しました。基本的にコンテキストを長くするのはすごくチャレンジングで、今回はYaRNという仕組みと、継続事前学習で、通常の学習時は4Kや8Kのチャンクで学習するところを、もっと長いデータを用意して学習していくことをしました。

基本的にサポートするコンテキスト長を伸ばすため、学習時に長いデータを利用すると急激に学習効率が落ちていく、GPUが遊んでしまう状態になっていくので、大きな規模でできないというところをどうやってやるのかというのを、PLaMo 3 βの時から試行錯誤してきました。今回それで出来上がったいいレシピを使って256Kまでできたということになります。

◆安全性能の強化と有用性とのトレードオフ

今回モデルを出すにあたっては、安全性能の強化に注目して取り組んできました。安全性の評価ベンチマークで代表的なHELM Safetyにおいて、いろんな安全性を評価するものになっているんですけども、回答してはいけないようなところを回答拒否すると。

ただし、この回答拒否戦略というのは、安全性は守られているけれども本当は回答してほしい場合でも、回答拒否してしまうという場合も増えてしまうことになります。基本的にはどれだけ安全性を守るかというのと有用性はトレードオフの関係になるんですけども、今回作ったモデルは、安全性を保ちながらできる限り有用性も保つようにやっています。

ただ、すでに使っているユーザーから回答拒否されたといった例も出てきていて、実際は本当にOKな使い方なんだけれども、今の基準だと拒否してしまうというケースがどういうものなのかを、利用ケースを見ながら拾っていければと思います。

◆構造化出力への対応

あとは構造化出力です。これもすごく大きい需要がありまして、JSONで出力してくださいと言ったらちゃんと正しいJSONを出さないと使えないというのがあるんですけども、今回は出力の安定性として、レスポンスをユーザーの指定したデータ構造に必ず準拠する形で、100%保証するように正しいものを出す仕組みが入っています。これで構造化出力がちゃんとできるようになっています。

◆ベンチマークで見る改善：指示遵守・対話・数学・コーディング

たくさん評価をしていて、例えば先ほどの指示をちゃんと守るかというところに関して言うと、代表的なベンチマークのIFBenchと日本語のJFBenchがあるんですが、そこにおいては大きく改善しています。

まず比較対象としてPLaMo 2.2で0.374だったものが、今回0.707というところまで大きく改善されています。やはり推論の効果はあるんですけど、推論をかけていない場合もかなり改善していて、0.417というところまで来ています。

日本語指示追従性能においても、0.368だったところを0.539まで改善しています。日本語になると、海外の同サイズ、例えばGPT-OSS-120Bのような大きいモデルでもまだ性能が高くなく、0.4を切ってしまうぐらいのところを、我々のものは0.539を達成しています。

日本語対話性能も非常に大事で、今回6.8から8.22まで大きく改善しています。英語対話性能も1ポイント以上改善しているんですけども、ここはほぼ上限に達してきていると思います。今のベンチマークだけでは、そのモデルがどれぐらいいいかどうかを測れない領域にすでに達してきているのかなと思います。

あとはWeb探索。これもかなり重要なところで、これから頑張って上げていきたい領域なんですけども、Web探索領域は、前はできていなかったところができるところまで行ったと。ただここはまだ、同サイズモデルと近いところまでは来ていますけど、実用的な観点で言うともっと上げたいと思っています。

ロングコンテキストは、LongBenchなどだとトップクラスに匹敵するところまで来ていますが、難しいタスクからなるLongBench v2になると、まだまだ改善が必要かなと。

昔からずっと課題である数学やコーディングのような、今フロンティアモデルやオープンモデルが激しく性能を競って伸ばしてくる領域は、まだ遅れています。とはいえ、数学の一番代表的なベンチマークであるAIME24では、PLaMo 2.2の時は全く解けていなかったものが、今回0.64ぐらいまで解けるようになっています。

あとはコード生成能力の代表的なLiveCodeBenchも、PLaMo 2.2の時に0.164だったのが0.568、Claude Haiku 4.5と同じぐらいまではなってきています。医療分野なども強いですね。

全面的に性能を上げつつも、今回は意識的にまず「使える」というところを目指して、指示追従とロングコンテキスト、安全性の部分を強化して、特定の用途でちゃんと使えるような領域が確実にできて、しかもリーズナブルな価格で使えるというのが今回のモデルになっていますので、ぜひ試してもらえたらと思います。