- DeepSeek-V3技術報告は、大きな疎モデルを学習・配備する設計と評価を記した。
- 著者らは総6710億、各トークンで370億のパラメータを使い、公式学習に278.8万H800 GPU時間を要したと報告する。
- GPU時間には先行研究や比較実験を含まず、推論用の配備単位も大きい。
何を確かめた研究か
言語モデルを大きくしても、入力ごとに全パラメータを計算する必要はあるのか。「DeepSeek-V3 Technical Report」は、必要な部分だけを使う混合専門家モデル（MoE）を大規模に学習し、その性能と必要な計算資源を示した。報告書の対象はモデルの公開という出来事だけではない。専門家の負荷分散、複数の次トークンを予測する学習目標、低精度演算、分散処理の設計と検証が中心にある。
総パラメータ数は6710億だが、一つのトークンを処理するときに活性化するのは370億と記す。総量は保存する重みの規模、活性化量はその時の演算の規模を考える目安だ。どちらも実際のメモリ使用量や利用料金そのものではない。
どう検証したか
著者らは約14.8兆トークンで事前学習し、その後に文脈長の拡張、教師あり微調整、強化学習を実施した。複数の言語、知識、数学、コードのベンチマークで、事前学習後の基盤モデルと追加学習後のモデルを評価する。二つの段階の結果を同じものとして読まないことが重要だ。
設計では、注意計算の中間表現を圧縮するMulti-head Latent AttentionとMoEを組み合わせた。専門家への負荷をそろえるため、振り分けスコアに調整値を足す方式を採用する。名称は「補助損失なし」の負荷分散だが、極端な偏りを防ぐ別の小さな補助損失も使っている。手法別の比較実験では、負荷分散方式と複数トークン予測の寄与も調べた。
何が分かったか
論文は、公式の全学習に278.8万H800 GPU時間を使ったと報告する。この値には事前学習だけでなく、文脈長拡張と追加学習も含まれる。ただし、著者らは先行研究や構造・手法・データの比較実験の費用を除くと明記する。論文中の想定単価から算出した金額は、誰でも同じ費用で再現できる市場価格ではない。
評価では、著者らは複数の公開モデルより良く、一部の非公開モデルと競争力があると述べる。ただし、課題、回答生成条件、採点方法で順位は変わる。性能は単一の数字ではなく、事前学習のみの結果と指示・推論向けの追加学習後の結果を分けて見る必要がある。学習中に復旧不能な損失の急増やロールバックがなかったとも報告しているが、別の環境で同じ安定性が再現される保証ではない。
限界は何か
論文の配備例では、生成前の入力処理に最小32基のH800 GPU、出力生成に最小320基を使う構成を説明する。著者ら自身も、効率的な推論に推奨する配備単位が大きく、小規模チームには負担となり得ると書く。学習のGPU時間が比較的小さいという主張と、推論用設備を簡単に用意できるかは別の問題だ。論文のベンチマークも、特定企業の機密データや運用時の誤答を直接評価していない。
仕事との接点
候補モデルの費用を比較するときは、学習時の数字と利用時の資源を分けたい。自社では同時利用者数、応答時間、GPUまたはAPIの価格、対象言語での回答品質を同条件で測る。これはTRAIL編集部の評価上の提案であり、論文が自社での費用削減を予測したものではない。