メルマガの登録はこちら

今日は、今非常に世の中で盛り上がっているハーネスエンジニアリングと再帰的自己改善（RSI）の話をします。

◆自己改善するAIとハーネスエンジニアリングの盛り上がり

モデルの性能を上げていくところはまだまだ引き続きやらなくちゃいけないことがあるんですが、多くのタスクでモデルはそのままでも、「ハーネス側をエンジニアリングして性能が変わる」いうことが分かってきています。ハーネス設計と、それをLLMを使って自己改善していくというのがすごくうまくはまっていて、急速に今伸びてきています。

まとめ記事も色々出てます。例えばLilian WengさんはThinking Machinesの共同創業者だったと思うんですが、まず再帰的自己改善とは何かと言うと、文字通り自分自身を改善するAIで、これが一旦できると、自分自身を改善してもっと良くなったAIで、それをまた自分で改善するので、どんどん加速度的に良くなっていくことで注目されています。

実際、今のClaudeやGPTの開発で、彼らが自分たちで作った最新モデルをその開発に使うというのは緩い意味で進んでおり、もう自己最適化・再帰的自己改善が起きている状況で、今まででは考えられないペースでどんどんモデルが改善しています。

◆ハーネス設計とはツール群と参照情報の設計

この再帰的自己改善は、特にハーネスと相性が良いということがだんだん分かってきています。

ハーネスと言うと、どういうデータとツール群を用意しておいて、どういうタイミングでどういうツールを呼び出してモデルに処理させるかというツール群の設計と、AIが参照してもいい情報の設計といったものになります。

例えばコーディングエージェントの場合だと、モデル自体の性能というよりは、ツールとしては例えば上の図に挙げているような、できれば100個ぐらいのツール群があって、主に使うのは数十個で、これらそれぞれがいろんなことができると。

LLMはこれらのツールを呼び出し、結果を得て、その結果をまた解釈して分析するということができると、よりいろんなタスクが解けるということになります。

◆ハーネス自体をLLMでブラックボックス最適化する

あるハーネスを使って全体を動かしてみて、最終結果がどれくらいかというのは測れるので、それ全体をブラックボックス最適化として、「前の結果はこんな感じでこういうことが出たので、そのハーネス自体を改善してください」というのをLLMを使ってアップデートをかけます。それをぐるぐる回すと、どんどんハーネス自体が最適化できますよね、という感じで発展しています。

例えばTerminalBenchなどでも、同じモデルであってもそのハーネスを改善するだけで性能が上げられるようになっています。これもいっぱいいろんな話があります。

◆再帰的自己改善をさらに再帰する

これをさらにもうひと回しやっている例がAIDEで、再帰的自己改善をさらに再帰的自己改善するということをやっています。

これは、さっきの改良ループがあったんですが、その改良ループが1つのループだとして、その1個上の階層を作って「どういう自己改善をやるAIか」というのを再帰的に自己改善するということをやります。

例えばこれを使うと、GPU向けのコードを書かせるようなKernelBenchという有名なベンチマークがあって、これはハーネスを組んでやるんですが、普通にハーネスエンジニアリングの再帰的自己改善をすると、最終結果を不正な方法で上げる、いわゆるリワードハックし始めて変な改善に行ってしまうと。

いろんなタスクをたくさんやって、再帰的自己改善の仕方そのものを学んだ上でやると、リワードをハックすると、その時は良いけれど何か他のタスクでうまくいかないということがわかり、結局リワードハックするのは良くないということを学んで、新しいタスクではリワードハックをせずに改善が進むということができるようになっています。

◆再帰的自己改善の4階層

再帰的自己改善で今よく言われているのは、4階層あるということです。

まずレベル0だと、人の研究開発の一部を委託します。ここでは人は楽ができるんですが、結果が出るまでは遅く、人が楽をする以外のメリットはない。

レベル1になるとNet Positiveで、人と同じような研究開発の成果を単位時間や単位コストで結果を出すということができたり、性能は低いけれども人よりも早く結果を出せるだとか、こういったものができる。ここは到達し始めている領域といえます。

レベル２になるとignition、改善するものを改善することができると、加速度的に良くなっていくことができるんじゃないかと考えられます。

レベル３になるとInflection、ここは一気に改善が起こるという領域になります。ここは本当におきるかは計算資源の摩擦などがあって難しいんじゃないかとは思っています。

◆自己改善が発見した非自明な探索戦略

自己改善で見つけた戦略には結構面白い話があります。例えば上の改善で見つけた戦略。

何かを今よりもいい方法を見つけますという場合に、バンディット戦略で色々試さないといけないんですが、普通に見つけた良い方法に対して、それを深さ優先探索のような形でどんどん改善していくという方法をしつつ、これが頭打ちになったら、途中でうまくいったものをプールしておいたものを分岐して、そこからまた深さ優先探索するみたいな戦略を見つけたりすることができています。

これは結構非自明で、ヒューリスティックスなんですが、かなりうまくいろんな問題で効いていて、前よりも問題が解けていると言われています。