メルマガの登録はこちら

※英語でのトークを翻訳しています。

◆画像生成モデルによる視覚認識タスクへの挑戦

Gated DeltaNet-2の話をします。トランスフォーマーを新しいアーキテクチャに置き換えるトレンドがあり、Gated DeltaNetはその有望なアプローチの1つです。

Gated DeltaNetは、最新のオープンモデルや、おそらくいくつかのフロンティアモデルに採用されていると思います。 その場合、ハイブリッドモデルとして採用されており、多くの層はフルアテンションでいくつかの層がGated DeltaNetになっています。

最近新しいモデルであるGated DeltaNet-2が提案されました。 ちなみに注意機構に変わるモデルとしてMambaという別の有名なモデルがあり、PFNでは実際にPLaMo 2にMamba 2を採用しています。 

◆Gated DeltaNetの基本原理：行列状態とデルタ更新

DeltaNetの基本的な考え方は固定サイズの状態を保持し、それを更新していくことです。 Mambaの場合、状態はベクトルとして表現されます。 しかし、DeltaNetの場合は行列です。 

この行列は、キーと値の外積として考えることができます。 コンテンツを取り出したいときにはクエリを使用し、この行列に対してクエリを掛け合わせます。 下記のように状態Sは行列で、そこにキーと値の外積を加えていき、読み込む時はクエリをかけて取り出します。これにより、線形トランスフォーマーモデルと同じ結果が達成されます。

しかし、DeltaNetの場合には非常に重要なアイデアがあります。それはデルタ（差分）を計算しようとすることです。デルタとは、既存のメモリが現在の書き込みコンテンツに関する情報を既にどれだけ持っているかということであり、既存の記憶と今回の書き込み内容との間のデルタ、つまり差分を計算します。その差分のみがメモリに書き込まれます。

Gated DeltaNet-2は、DeltaNetと比較して様々な改良がされています。 まず消去ゲートと書き込みゲートを導入しました。これにより、消去量と書き込み量を独立して制御することができます。

また、チャネルごとのゲートを導入し、一部を簡素化しました。これは、非常によく知られている従来のRNNモデルであるLSTMに非常に似ています。

ただ、更新式には重要な特徴があります。それは学習中にこの更新則を並列に計算できるということです。

これが、LSTMとの決定的な違いです。 LSTMの場合、並列に更新することができないため、学習が非常に非効率的です。しかし、このGated DeltaNetは非常に効率的に計算できる特別な形をしています。

◆ベンチマーク性能とハイブリッドモデルの優位性

このGated DeltaNet-2を使った結果、Mamba-2、KDA、最近提案されたMamba-3といった現在の多くのモデルと比較して、Gated DeltaNet-2はすべてのベンチマークで最高のパフォーマンスを達成しています。

トランスフォーマーをベースモデルとして使用し、Gated DeltaNet-2を挿入するハイブリッドモデルという、より現実的なケースの場合も、最高のパフォーマンスを達成しています。

最近の研究コミュニティは、トランスフォーマー、Mamba、そしてこのようなGated DeltaNetが異なる特性、異なる強みと弱みを持っていることを理解しています。そして、特に長いコンテキストのシナリオで非常に優れたパフォーマンスを得るための最善の方法は、これらの異なる層を組み合わせることという認識が広まっています。

◆著者背景と研究コミュニティにおける方向性の葛藤

興味深いのは、この研究の第一著者は、NVIDIAのNemotronという有名なモデルの主要開発者なのですが、それでも最も最近のNVIDIAのモデルにDeltaNetは採用されていません。

新しいモデルを作っていくことと、実際にそれを大規模開発に使っていく部分には、技術の成熟度、そのモデルを使った時の世の中のインフラ普及度などモデルの良さだけでなく、いくつかの条件による緊張関係があるのだと思います。