◆ エージェントとコーディング領域の現状

LLMを取り巻く環境で、特に大きく注目されているエージェントとコーディングの使い方について話したいと思います。

これらも実世界のタスクに性能が伸び続けていて、特にSWE Bench VerifiedっていうGitHubとかのイシューにあって、それに合ったコードを書けるかっていうかなり現実問題に近いようなタスクに関して、去年末に登場した段階では1~2割ぐらいしか解けませんでした。

それが今年の夏ぐらいのフロンティアモデル（Claude Sonnet 3.5, OpenAI o1）は5割ぐらい解けるようになりました。12/21に発表されたOpenAI o3においては7割が解けるようになったと報告されています。

また、プログラミング競技コンテストの成績においても伸び続けておりCodeforcesにおけるEloレーティングにおいてもo3は2727に到達しています。

これはレーティングだけ見れば現在のLLMは全人類の中で175位ぐらいで、ほとんどの人は叶わないぐらいの能力になっています。しかも改善のペースは驚異的で、1年後や3年後がどうなるのかを想像するのは簡単ではありません。

◆ コーディング効率の向上とその影響

一方、上記の話は実際にコードを書くためにかかった時間とかコストはいろいろと改善の余地があることには注意してください。現時点ではまだかなり時間やコストがかかる可能性はあります。ただ時間が経つにつれ、これらは解決されていくのかなとおもいます。

もともとAIは人の仕事を様々な形でサポートしたり、極端な場合には奪っていくという可能性があると言われていました。

様々な仕事の中でも一番早くかつ大きな形で進む可能性があるのがプログラミングです。これは需要が大きいことと、学習データが揃っていること、またコンピュータが得意だからということです。

といってもプログラマやエンジニアの仕事がなくなるという単純な話ではありません（他の仕事も同様です）。

実際、今のプログラマやエンジニアの多くの仕事も自分でプログラムを書くだけではなく、他の人が書いたプログラムやライブラリを調査して使ったり、達成したい目的を実現可能な形に分解して、ステークホルダーと相談したりと様々な仕事から構成されています。

そうした中のいくつかのタスクがAIによってサポートされるということです。

前の材料の際に説明したようにプログラマの生産性が数十％から倍ぐらいまで改善される、しかも今既に生産性が高いプログラマの方が伸び率が高い、ということが起きることが想定されます。

とはいえ、このスピードでLLMのプログラム能力が改善されていった時のインパクトはかなり大きいと考えられます。業界構造は大きく変わるでしょうし、求められるスキルも変わってくると思います。

◆ エージェント技術の進化と未来

もう一つのAIの大きなテーマがエージェント（代理人）です。今のLLMは基本的にはインタラクティブに使う場合が多いですが、その場合は、人の生産性をせいぜい数％から数十％改善するのが限界です。

より根本的に生産性を改善していくには、人の指示をいちいち受けずに裏側でずっと働き続けられるエージェントが期待されています。

例えば、今年はAnthropicよりClaude Compute Modeが登場しました。これは一定時間毎にPC画面をキャプチャーして情報入力し、目標のタスクを実現するように操作するっていうようなことも、みんなすごく注目してやらせようとしています。

この場合、コンピュータ操作をエージェントにまかせていろいろな仕事を実現することができます。

このようなエージェントを研究するためのベンチマークも例えば、OS-Worldっていうのが今年の初めに登場して、例えば「旅行のチケットを取る」というタスクをやったら、画面を1秒ごとにキャプチャーして、OSから直接何も情報をもらわずに、画面から理解してやるっていうのをやったりしています。

こうしたエージェントはまずPC向けに広がっていますが、同じ仕組みをPC以外にも広げていきます。それこそ現実世界の例えばロボットだとか、何でもできちゃうわけなんで、そういったところの最初の取り組みとして、今の取り組みが広がっているのかなと思います。