メルマガの登録はこちら

◆画像生成モデルによる視覚認識タスクへの挑戦

画像生成モデルを、視覚認識、画像認識として使うような取り組みに関する研究論文について紹介します。 

昔から、画像を十分に生成できるようなAIは、もうすでに視覚世界を理解してるんじゃないかっていうようなことは考えられています。

その理由として、LLMも結局生成モデルではありますが、要約とか翻訳とかそういったものが広くできてしまっているので、画像認識においても同じようにできるんじゃないかっていうことが言われていました。

 今回Google DeepMindから出されたこの論文だと、Googleはすでに「Nano banana」という非常に強い画像生成モデルをリリースしていますが、それを、視覚理解タスク向けに指示チューニングをすると、専用モデルに匹敵あるいはそれを上回る性能が出せました、という論文です。

◆画像認識を画像生成に帰着させる工夫とアプローチ

具体的にどこが工夫ポイントとしてあったかというと、画像認識タスクを、画像生成問題に無理やり帰着させるっていうことが1つあります。 

具体的に言うと、例えば「セマンティックセグメンテーション」は分かりやすい例です。

入力画像を、背景はある色で塗って、人は赤で塗って、という風に塗るのはできるのですが、同じように一見画像生成問題ではないような問題も画像問題に帰着させる。 

例えば「深度推定」。各画素、そこの場所が、カメラからどれぐらいの距離にあるのかという推定という問題も、深度（距離）に従ってRGB値のなんかの色を割り当てて、「その色で生成してください」という問題にして、その条件付けのもと画像を生成する。 

そして「方線」、物体表面から外側に向かう方向がどっちかっていう方線を推定するタスクも、色を割り当てる問題に帰着させます。 

元々の画像生成にはこういう能力はないのですが、「こういう指示が与えられたらこういう色を塗ってください」というのをちょこっと加えて、LLMにおける「ポストトレーニング」と同じように画像もやってみるとできた、ということです。

◆専用モデルに匹敵する性能と生成能力の両立

単にできたというだけでなく、今回注目された理由としては性能が実際に良かった。

例えば、深度推定に特化してるDepth Anything 3とか、多くのタスクで性能が高いSAM（Segment Anything Model）の最新版と比べても同じか、もしくは超えるような性能を達成しています。

同じモデルで生成能力もそのまま保って、（ポストトレーニングの時も同じですが）追加学習する時に画像生成問題もちょっと混ぜておくと画像生成能力も失わず、画像生成もそのままできる。

すこし未来で見ると、多分このモデル自体は普通にAPIで提供され、同じモデルで「これやってください」と言うと、色を塗ってくれるような世界になるかなと思います。

◆プロンプトの具体例とインスタンスセグメンテーションの解決策

例えば、実際のプロンプトで具体的に紹介すると、プロンプトは "Generate a visualization image of semantic segmentation, using this color mapping: {"cat ears": <255, 165, 0>, "exit sign": <0, 0, 255>, "background": <125, 0, 125>}"で、 セグメンテーションを色塗ってくださいという指示のもと塗ると、そのセグメンテーションのタスクが解けると。 

じゃあ今度は猫をレッドにして、鍵の部分ピンクにしてという風にプロンプトを変えると、下のように塗ってくれます。

じゃあ、インスタンスセグメンテーションの場合はどうするのか。 インスタンスセグメンテーションは同じ物体であっても個別に分けないといけないので、その場合に、指示として問題になるのは色指定ができないんですね。

 「この色で塗ってください」って何個あるかも分かんないものを色指定しない中でどうやってやるんだろうなって思ったんですが、その場合には単に "Each piece of garlic is colored differently" って言って、何色か指定せずに違う色に塗ってくれっていう指示を出します。

この場合、異なるガーリックに対して違う色を割り当てて塗ってくれるので、あとは後処理で連続している領域を同じ色に塗る。 これオクルージョンあったらどうなんだろうって思うんですが、このやり方をするとインスタンスセグメンテーションも同じように解けると。

◆3次元復元への応用と画像生成基盤モデルの未来

びっくりしたのが、こういう画像生成は基本的に、３次元情報も多少持ってるだろうと思われていたんですが、正確に持っているということが分かりました。

例えば深度推定した結果から三次元復元して構成すると、上の画像くらいはちゃんと深度推定ができている。画像1枚を見せて深度推定させて、その深度推定したものに従って三次元復元する。

一応言うと、これで専用の画像認識機能を作ることがなくなるかというと、そんな単純な話ではないかもしれないんですが、少なくともこれぐらいのものが、誰でもプロンプト叩けば使えるような時代にもう突入しています。

画像生成はすごく難しい問題を解いているので大きいモデル使わないとできないのに対して、特定の画像認識だと小さいモデルでリアルタイム性を出しやすいので、専用モデル作るとかあるかもなと思います。

これだけのいろんなタスクが解けているし、画像生成をひたすら性能上げていけば、いろんなタスクも性能が上がるという、LLMがまさにそれが起きて、次トークン予測誤差を下げれば後続タスクは色々解けるようになるのと同じように、どうやってその未知の将来の画像認識の性能を上げるのかって難しいんですが、画像生成がとにかくうまくいくようにしとけば、他のもうまくいくことが期待できるという形で、「開発の方向性が定まる」というのが大きいと思います。