◆Genieとは

今日は、Genie 3っていうDeepMindから発表された研究成果を紹介します。

これは何かと言うと、DeepMindが昔からやっているもので、3バージョン目です。まだサービス公開されてないんですけど、デモ動画や一部ユーザーへの提供がされています。

Genieが何かと言うと、ユーザーが世界を指定するテキストを入力すると、新しい世界をバンって作って、その中でユーザーがゲームと同じようにいろんなアクションをすると、それに従った操作が世界の中でできるっていうようなものです。

こんな感じで「2Dゲーム形式のもの作って」って言って、ユーザーが左下のミニボタンを押すと進んでいくみたいな環境がサクっと作れたりとかします。

これはもうちょっとリアリスティックですが、こんな感じの環境も作れます。

動画生成は進んでいて（例えばGoogleはVeo 3というサービスを提供しています）、あとここに、アクションボタンがあって、ユーザーからアクションを受け付けて動かせるようになったら、もうゲームと同じだし、シミュレーターじゃないかという話はありました。

従来のものと比べると、Genie 2は5秒から10秒ぐらいまでしか動画生成ができなかったんですが、Genie 3は1分から数分くらいまで一貫性のある世界シミュレーターが実現できています。

◆リアルタイム性と記憶の一貫性

歴史的に言うと、元々GQNっていう研究が2018年に発表され、そのずっと延長線上にこの技術があります。

GQN自身は非常に単純な迷路のような環境での3D世界を生成していました。それが今や実写や最新ゲームと変わらないような写実性と複雑度を持つ世界を実現できます。

例えば、こんな感じでプロンプトを入力すると、プロンプトに合わせた環境ができて、Genie 3は720pの解像度、24フレーム/秒でリアルタイムに動くように回ってます。

見ての通りですね、多分これは学習データでゲームをかなり使ってるだろうなと思うんですけれども、生成できてリアルタイムで動かせる。

なので可能性がすごい広い製品になっていて、エンターテイメントとかゲームでは少なくとも使えるし、あとは、ユーザーの動きに合わせて視点とかも動かせるので、VRとかの可能性もあるというような技術になっています。

どれぐらいこれがですね、汎用的で、ちゃんといいとこだけを取り出していて、本当に使える技術かっていう検証はこれからだと思うんですけど、とは言え、もう既にインプレッシブで、技術者の人からすると数分間生成できるとかは、かなりすごいと思います。

普通は1回生成してどっか見て戻ってくると、違うシーンになるとかあるので、今見たようにどっか行って戻ってきても大丈夫ってことは、過去に生成した情報を全部正確に記憶してるんですよ。

とはいえ、記憶方法は書かれていませんが、多分今までと同じようにトランスフォーマーのKVキャッシュでそのまま覚えてると思うんですけど。

◆アクションの学習と未来への応用可能性

あとは、ユーザー側にボタンがあって、視点を変えられたり操作できるんですけど、これはさっきの動画生成できる技術と比べると、「アクションを入れたら次の動画生成どう変わりますか」っていうような条件付き生成を学習すればいいだけなので、学習データのところでアクションをペアにして生成モデルを学習していると。

で、そこのアクションは、例えば、シミュレーターとかゲームだったらアクションの正解は分かるし、普通のYouTubeとかに上がっている一人称視点の動画とかだったら、動画から位置移動を推定して、推定結果のアクションを条件として学習データをたくさん作ることができると思います。

また、物理シミュレーターって作るのがすごく大変で、未だにできてないんですけども、例えばロボットのシミュレーションとか、自動運転はもう既にありますけど、そういったものもできたりすると思います。

これもちょっと面白い例で、こういうパン屋さんのところでゴールを決めたら、そのゴールに向かって動画が生成されています。

工業用ミキサーに行く場合はこんな感じで動くし、冷却ラックに行く時はこうなるし。ちゃんとパラレルワールドを、「もしこの時にこう動いたら」みたいなことができるはず。

例えば、将来的には、本物の動画に対して「この後に人が、本当は道路に飛び込まなかったけど、道路に飛び込んだら」っていう条件付けをして動画生成するとかが、このクオリティでできるはず。

実際の動画と違う動画を生成できる、ちょっと怖い話なんですけど、そういうこともできると思います。