Vol.10 状態空間モデルとトランスフォーマーの進化（後半）
◆状態空間モデルの問題点とMambaの登場 一方で、この状態空間モデルは有望だったんだけども言語モデルに関してはなかなか...続きを読む
◆状態空間モデルの問題点とMambaの登場 一方で、この状態空間モデルは有望だったんだけども言語モデルに関してはなかなか...続きを読む
今日は、状態空間モデル（State Space Model）と呼ばれるトランスフォーマーの後継と期待されるモデルの話をさ...続きを読む
◆小さいモデルの開発背景 今回PLaMo-100Bという1000億パラメータのモデルを作っていた中で、訓練データの品質が...続きを読む
◆成果と今後の課題 私も毎週性能がガンガン上がっていくのは見てたんですけれども、ちゃんと締切間際にガーって上がって、目標...続きを読む
今回、PLaMo（プラモ）のβ版トライアルをリリースしました。そこに至るまでの話を初めての人に説明するカタチでさせていた...続きを読む
リサーチャーの岩澤です。先日出したブログについて、話させていただけたらと思います。タイトルは「医療・ヘルスケア領域におけ...続きを読む
今日紹介するのは、モバイルLLMっていう論文についてです。これはメタが行った研究で、携帯のようなところで動かすための、小...続きを読む
「Language is primarily a tool for communication rather than...続きを読む
AIが「もっともらしいウソ」を生成してしまう「ハルシネーション」と呼ばれる現象に対してどうやって対応するのかという研究で...続きを読む
最近の研究からの紹介です。LLMの事前学習で新しい知識を獲得する時に、それがどういうカタチで獲得されているのかを調べた例...続きを読む
