- Mamba論文は、入力に応じて情報を残す「選択的な状態空間モデル」を提案した。
- 論文の測定では系列長に対して線形に計算が伸び、Transformer比で最大5倍の推論スループットを報告した。
- 言語モデルの比較は特定の規模と学習条件に限られ、あらゆる長文業務での優位を示していない。
何を確かめた研究か
Transformerの注意機構は、文章内の離れた部分を直接参照できる。一方、系列が長いと計算とメモリの負担が増える。「Mamba」は、過去の情報を小さな内部状態にまとめて順に更新する状態空間モデル（SSM）で、言語などの系列を扱えるかを調べた。
従来のSSMは長い系列を効率よく処理できても、入力の内容を見て何を記憶し、何を忘れるか決めるのが難しかった。著者らは、状態の更新に使うパラメータを現在の入力から作る「選択」を加えた。たとえば、意味のある単語を通すか捨てるかを、固定された規則だけで決めない構造だ。ただし、内部状態に何が保存されたかを人が直接読めるという意味ではない。
どう検証したか
論文は、選択的SSMを組み込んだMambaを、注意機構や通常の多層パーセプトロンを使わない構成として実装した。選択を入れると従来の畳み込みによる高速計算が使えなくなるため、GPUのメモリ階層を考慮した並列アルゴリズムを設計している。
検証には言語モデルだけでなく、音声、ゲノム配列、人工的な系列の課題も使った。言語では、モデル規模を変えた事前学習と下流評価でTransformer系の比較対象と比べる。速度は生成時のスループットを測り、長い系列では長さに対する計算と実際の性能の伸びを調べた。「線形」とは系列長を伸ばすと計算量が概ね比例して増えるという性質で、実機の待ち時間が常に比例するという保証ではない。
何が分かったか
論文の要約は、推論スループットが比較したTransformerより最大5倍高く、系列長に対して線形に伸びると報告する。実データの長い系列では、最大100万の長さまで性能の改善を観察したとしている。どのタスクでも100万単位の文脈を正確に使えるという意味ではない。
言語モデルの比較では、Mamba-3Bが同規模のTransformerを上回り、およそ2倍の規模のTransformerと同程度になったと報告する。これは論文が選んだ事前学習と下流評価での比較だ。回答の安全性、外部ツールの利用、指示への従いやすさを比較した結論ではない。音声とゲノム配列でも競争力のある結果を示すが、各分野で測った課題は異なる。
限界は何か
著者らは、大規模化の実験が約30億パラメータまでで、それを大きく超えた場合の振る舞いは未確認と記す。また、文脈内学習や指示学習後の性質も今後の課題としている。内部状態に履歴を圧縮する方式と、過去の位置を直接参照する注意機構は情報の扱い方が違う。長い文書から正確な一箇所を取り出す業務では、系列が長くても必要な情報を保持できるかを別途測る必要がある。
仕事との接点
大量のログや長い音声の処理を検討するとき、系列長だけでなく、必要な情報をどれだけ保持できるかを評価したい。使う機器でのスループット、メモリ、応答時間と、実際の検索・要約精度をそろえて測る。これはTRAIL編集部の提案であり、論文の速度比をそのまま導入効果と見なすものではない。