メルマガの登録はこちら

※英語でのトークを翻訳しています。

今日のトピックは「AIとハードウェアのロードマップ」についてです。この論文は多くのチップ関連企業や研究所の主要な研究者やエンジニアによって書かれています。

そして、この論文の中で彼らはいくつかの課題とハードウェア開発の将来の目標を紹介しており、最も重要なポイントは「intelligence per joule（ジュール当たり知能）」であると主張しています。それは、与えられたエネルギーの中で、どれだけの知能や効果的な成果を生み出すことができるかを意味します。

◆10年で1000倍のエネルギー効率向上を目指す具体的な目標

このアイデアはご存知の通り、私たちが十年以上にわたって提案してきたことと非常に似ています。AIにおけるボトルネックは電力であり、よりエネルギー効率を高める方法を見つける必要があります。

そして彼らの具体的な目標は、次の10年間で、学習と推論の効率を1,000倍に向上させる必要があるということ。具体的には次の5年以内に100倍に向上させる必要があり、次の5年でさらに10倍、合計で1,000倍の向上を達成することです。

多くの仮定がありますが、彼らは、アルゴリズムとモデルの最適化によってパフォーマンスを10倍向上させることが期待でき、新しい材料や新しい半導体技術によって20倍向上させることができ、システム最適化によって5倍向上させることができると考えています。

◆ハードウェアとAIモデルの共同最適化と構造化計算への適合

また、彼らが紹介した興味深いトピックの1つは、ハードウェアとAIモデルの共同最適化です。これまではトランスフォーマーやMamba、Gated DeltaNetを使用したハイブリッドモデルの改良版が使用されてきました。トランスフォーマーを使用するには大きなKVキャッシュを読み出す必要があり、私たちはこのKVキャッシュを改善する方法を見つける必要があります。

KVキャッシュの効率化はもはやサブトピックではなく、ハードウェアとモデルの共同最適化のより主要な問題であるように思われ、これは1つの重要なトピックです。

そしてもう1つ、ハードウェアが行列乗算のようなより構造化されたバッチ計算を好むのに対し、スパースな計算や、MOE（Mixture of Experts）のような計算は得意ではありません。

そのため、モデル側では、並列化が容易で、より構造化された計算ができる、より優れた別の新しいモデルが必要です。

◆メモリ帯域幅とサイズの壁、そして個人PCでの1兆パラメータモデルの未来

そして、もう1つの重要な問題はメモリです。メモリ帯域幅の問題について言及しましたが、メモリサイズの問題にも対処する必要があります。

次の3年から5年以内には、一つの可能性として個人のPCで1兆パラメータ級のモデルを使用することが普通になり、特別なことではなくなるかもしれません。モデルやKVキャッシュをDRAMに置く場合は問題になりますが、フラッシュメモリなどと組み合わせて運用するのであれば、合理的となります。

これらはすべてが新しい内容ではないですが、この論文は今後のAIに必要なチップを開発する上で誰もが進まなければならない現在の問題をまとめています。