OpenAIが2月2日に発表したDeep Researchを試した時の結果を共有します。ちなみに同じ製品名でGoogleは今年1月に、Perplexityも2/14にリサーチする製品を出しています。

これは何かっていうと、いわゆる調査を行うエージェントでして、「何かテーマを提供して調査してください」というと、それをだいたい30分くらいかけてウェブをクローリングして、その結果を中で処理して、レポートのようなものにまとめて報告してくれるというものです。

◆最初のテスト：対称性と機械学習

まず自分がよく分かっている分野でやって実力を測ってみようということで、「対称性と機械学習、特にニューラルネットワークについて調べてもらえませんか」というテーマで調べさせてみました。

こんな感じであるテーマについて調べてほしいかを聞くと、何について調べて欲しいかと提案してくれて、それに沿って調べてくれます。

今回の場合だとだいたい13件ぐらいのウェブ上の情報を見つけて調べています。いくつか試した感じだと、既に誰かがいい感じにまとめた記事がいくつも上がっている場合に、特にうまくいくと思います。

それだと、簡単じゃないかという話ですが、そうしたまとまっている資料を見つけられるかどうかっていうのがポイントで、ここではちゃんと9分間で13個見つけていて、言ってることも合っていました。自分はあまり注目してなかったんだけど、確かに論文もいっぱい出ていて話題になっている話についても、実際の論文を引用しながら出力しています。

知っていたけどそういう観点も確かにあったなっていうようなことを指摘してくれてたりします。調べている途中で関係ない資料を調べてしまったり、まとめている部分でフォーマットが壊れてしまったりお茶目な部分はあるんですが、一番最近の私も知らない論文も参照してレポートをまとめてくれました。

最先端の研究を調査するのにも役に立つという感じで、なるほど確かにこのレベルを5分くらいでまとめてくれるのは使えるなと思いました。何か知らないテーマをさくっと調べるといった用途には使えると思います。

◆次のテスト：MoE研究

次にMoE (Mixture of Expert）についての最新の研究についてまとめてもらいました。この場合はちょっと違った感想をもちました。

論文とかで「これでうまくいきました」っていうのをまとめてもらっているのはいいんですが、実際にこうした論文を追試してみるとうまくいかないという部分はさすがにわからなかったりします。

「こういう落とし穴があります」みたいなところが、いわゆる通常の調査と同じ問題を抱えていて、情報をまとめてくれる部分は助かるけれども、これの通りにやるとうまくいくという訳ではないのが同じだなと思いました。

このように、調査をすれば問題解決方法が見つかるかというとそういうわけではなく、もうちょっと踏み込んだ考察が必要で、それは人でも難しいけれども、そこはこの場合でも課題になるなと思いました。それこそ少し実験をしたりだとかが必要になるのだと思います。

◆最後のテスト：Preferred Networksの調査

あとは、プリファードネットワークスについてもさっき調べました。

僕たちの会社の「提供する製品・サービス、研究成果、人物について深掘りして、その強みや弱み、今後の展望、可能性についてまとめてもらえますか」って言いました。

情報源としては、まず公式サイト、ウィキペディアを調べていました。一方で大部分が他の企業のプレスリリースなどを参照しているところが面白いです。第三者から見たときにうちの会社を客観的にどう特徴づけしているのかが確かに現れているなと。

このように調査をする時に、どこを調べているのか調べるのも面白いですよね。こういうところから調べてるんだなっていうのが。

最新の情報とかもちゃんと入っていて、ただ間違えているところもやっぱりちょくちょくあって、例えば人の名前は結構間違えている。あとは役職も微妙に間違ってたりする。

このようにハルシネーションなどは結構おきうるというところでした。PFNはウェブでの言及回数が少ない方なのでハルシネーションはおきやすいのかなと。

一方で、こういう感じの一企業のレポートがPFNですら一瞬で作れるということなので、どこかの会社や業界情報について調べたいと思ったらポチッとするだけで大枠が調べられるようになったなとは思います。

このDeep Researchは「調査してまとめてレポートを作る」というタイプのエージェントでしたが、このようなエージェントが今年は山のように様々なものがでてくると考えられます。またそれらのエージェントがそれぞれ、異なった特徴を持ち、競争していくのだと考えられます。