Vol.7 PLaMoのトライアルリリースに至る経緯
◆成果と今後の課題
私も毎週性能がガンガン上がっていくのは見てたんですけれども、ちゃんと締切間際にガーって上がって、目標としていたようなGPT-4とかを超えるような性能をJasterは達成できました。
またMT-Benchに関しても、かなり難しい8ぐらいを目標にしてたんですけども、8に近い数字が達成できた。
内容を見てみると、いくつか分かりやすく負けてるところが足を引っ張っていて、Jasterの場合、MR（Mathematical Reasoning）っていう数学のところがPLaMoは弱いのと、QA（Question Answering）が弱いです。一方で、他の項目は強いっていうのはあります。
MT-Benchに関しても基本的には同じで、全体のスコアで見るとGPT-4と結構差がついてるんですけれど、中身見るとHumanitiesやRoleplayは勝っていて、StemとReasoningはちょっと負けている。大きく離されてるのがMathとCodingで、この数学とコーディングが足を引っ張って、他は同じぐらいの性能ですっていうのが今のPLaMo-100B。
数学とプログラミングに関しては、事前学習のところからかなり頑張ってやらないといけないというのがわかってるのと、最近のモデルで、特にプログラムとかめちゃくちゃ性能がいいモデルはテキストと同じぐらいの規模で、DeepSeek Coderとかコードのファインチューニングとかしてたりするので、それくらいまでやらないとなかなか上げられない。これは次の課題かなと思っています。
◆モデルの将来性
今回こういうカタチでリリースして試してもらおうということなんですけども、開発を通じて感じたのが、データの品質改善による性能改善が大きいなということです。
ただ、これは測るのが非常に難しくて、データをちょっと変えてこういう新しいデータを追加して、それをちっちゃいサイズのモデルで評価して、よかったら入れてみようか、とか、これ上がんないねとか、逆に下がったねとか。
そういうところをかなり試行錯誤して、時間が経てば経つほどどんどんデータの品質が良くなっています。今もチームがどんどんデータ改善しているので、今回の100Bの時点よりも、今最新でそれを使った方が、もっといいものができるだろうなとは思います。
あとは、どれぐらい改善しているのかって言うと、例えば今回モデルを作った際に既にできている学習データセットだとか学習の仕組みを使って1Bから3Bの小さいサイズのモデルも学習完了していて、Pretrainingが終わった時点で比較するとPLaMo-13Bより性能が良いですね。事後学習まで含めるともっと大きいモデルより性能が良いです。
PLaMo-13Bと比べて1Bから3Bって、モデルサイズ1Bだったら10分の1以下だし、投入計算量も10分の1なんですけど、データの質だけでこれぐらいの差は埋まってしまうし変えられる。
そういう世界観なので、言えることとしては、計算資源をフロンティアモデルに匹敵するくらい持ってないと良いモデルが作れないかっていうとそうではなくて、データの質で性能が10倍くらい変わっちゃう。なので、どこか特定のタスクに関しては、フロンティアモデルと同じかそれを超える性能を持ったものが作れるだろうと。もちろん、同じデータの質や学習だったら投入計算量が多い方が勝つけれども。
もう一つが、同じ性能を達成するのに必要なモデルサイズや投入計算量が1年で10分の1になるというこのトレンドはしばらく続くと思っていて、同じモデルサイズだったらもちろんもっと賢くなるし、同じ性能だったらモデルサイズが10分の1でできると。
なので、今回は100Bでこういう成果出してますけれど、同じ性能だったら来年くらいには10Bやもっと小さなモデルで出来てても全くおかしくないだろうと思います。
◆LLM提供における今後の展望
PFNグループとして、今後のLLM提供に関してはいろんな形で提供しようと思ってるんですけど、一つは企業・目的・組織に合わせた専用モデルの開発をするという部分です。
今世の中でLLMに関してよく言われてるのは、パブリックなモデルだったらみんなそれ使って、例えば標準的な業務を効率化する、コスト削減する、生産性を上げる、とかはやるんですけど、会社が何か競争領域で付加価値を上げていくみたいなことをやろうと思うと、みんなと同じものを使っていたら競争できない。
なので、そこでは各社が自分で持っているようなデータだとか、もしくは使い方というところで差別化していくことが考えられます。そうしたところでは各社が今自分たちが事業の中で持っている、もしくは外から買ったり集めてくるようなデータを使った専用モデルを作っていくっていうことが考えられます。
そうした専用モデルの構築をサポートする部分が世の中の需要もあるし、PFNグループとして貢献できると思っています。
