LoRAとは?意味・仕組みとモデルを調整する機能の年表(2026年11月時点)

LoRA

低ランク適応 / Low-Rank Adaptation

LoRA(低ランク適応)とは、学習済みのAIのモデルの重みを固定したまま、小さな行列だけを足して学習し、特定の仕事に合わせて調整する方法のこと。

要するに

  • 元の重みは動かさず、足した2つの小さな行列だけを学習して調整する
  • 原論文は GPT-3 で学習する重みの数を1万分の1、GPU のメモリを3分の1にした
  • 2026年は画像や音楽のツールで、自分の素材でモデルを調整する機能が続いた

最終確認

閉じたまま置いた厚い本と、その縁に付けた紫の細いしおりと小さな付箋2枚

自分の素材でモデルを調整する機能と追加学習の出来事

TRAIL の DB の8件。各行の確認日に、出典に書かれていた値です(最新の確認は)。

  1. Sakana AI・モデル

    「からまる」を公開

    公式の出典最終確認

  2. Suno・モデル

    v5.5 を公開

    公式の出典最終確認

  3. FLUX・機能

    FLUX.2 LoRA 推論をベータ公開

    公式の出典最終確認

  4. Sakana AI・モデル

    Sakana Namazu API を提供開始

    公式の出典最終確認

原論文と関連研究

TRAIL の論文解説3本。年は論文の初公開の年です。

目次8

ひとことで言うと

LoRA(Low-Rank Adaptation、低ランク適応)は、学習済みの AI のモデルを特定の仕事に合わせて調整するときに、モデルの元の重みは固定したまま、小さな行列だけを足して学習する方法だ。重みはモデルが学習で覚えた数値で、モデル全体を学習し直すより、必要なメモリと保存する量が大きく減る。

たとえば1つの言語モデルを、問い合わせ対応用と議事録の要約用に別々に調整したいとする。LoRA なら元のモデルは1つだけ持ち、仕事ごとに小さな重みを保存して差し替えればよい。

仕組み

LoRA は、2021年6月17日に Microsoft の Edward Hu らが発表した論文(TRAIL の解説)で提案された。論文の説明に沿って順に見る。

  1. 元の重みを固定する。ファインチューニング(学習済みのモデルを追加の学習で調整すること)では、ふつうモデルのすべてのパラメーターを更新する。LoRA では元の重みを動かさない。
  2. 小さな行列を2つ足す。重みの行列 W0 の変化分を、細長い2つの行列 B と A の掛け算 BA で表す。2つの行列の幅を決める数をランク r と呼び、元の行列の大きさよりずっと小さくする。
  3. 足した行列だけを学習する。学習の初めは B をゼロにしておくので、変化分 BA はゼロから始まる。論文は Transformer(いまの多くの言語モデルのもとになっている構造)の注意の層の重みに LoRA を当てて実験した。
  4. 使うときは足し合わせる。運用では W0 に BA を足した重みを計算して保存すれば、ふつうのモデルと同じ速さで動く。別の仕事に切り替えるときは BA を引き、別の B′A′ を足す。

論文は、GPT-3 では元の行列の幅が12,288あっても、ランクは1か2で足りたと報告している。Google の Gemma の LoRA のチュートリアルも、ランクが高いほど細かい変更ができる一方、学習するパラメーターが増えると説明する。4、8、16のような小さなランクから始めて、少しずつ上げて確かめる手順を勧めている。なお、このチュートリアルのページには非推奨だという表示が出ている。

表で見る最新の状況

上の年表は TRAIL の DB から、自分の画像や文章でモデルを調整する機能と、追加学習したモデルの出来事8件を古い順に並べたものだ。確認日は2026年10月10日から11月1日。その下には LoRA の原論文と関連する論文3本を並べた。

TRAIL の年表で、出来事の説明に LoRA と書かれているのは、2026年4月23日の Black Forest Labs の「FLUX.2 LoRA 推論をベータ公開」だけだ。利用者が自分で調整した FLUX.2 の LoRA を、API 経由で使えるようにした。

ほかの7件の説明には、どの方法で調整するかは書かれていない。

Adobe は2024年3月26日に「Firefly Services とカスタムモデル」を発表し、10〜20枚ほどの自社の素材でモデルを調整できるとした。2026年3月19日には「カスタムモデルを公開ベータで提供」した。

Ideogram は2026年4月22日に「自分の画像で学習させる Custom Models を公開」し、API の料金表では学習1回40ドルだ。

Suno は2026年3月26日の「v5.5 を公開」で、自作の曲で調整したモデルを作る Custom Models を加えた。

文章のモデルでは、Sakana AI が2025年4月1日に、約2,500万字の江戸期の文章で Llama-3-ELYZA-JP-8B を追加学習した「からまる」を公開した。2026年8月3日の「Sakana Namazu API を提供開始」では、Kimi K2.6 に日本語と業務の文脈を追加学習している。

TRAIL の年表では、8件のうち5件が2026年の出来事だ。画像や音楽のツールで、利用者が自分の素材でモデルを調整する機能が2026年に続けて出ている。

LoRA とフルファインチューニング、QLoRA の違い

フルファインチューニング LoRA QLoRA
学習する重み モデルのすべての重み 足した小さな行列だけ 足した小さな行列だけ
元のモデルの重み 更新する 固定する 4ビットに量子化して固定する
必要なメモリ 多い 論文は GPT-3 の学習中の GPU のメモリが1.2TBから350GBに減ったと報告 論文の要旨は650億パラメーターのモデルを48GBの GPU 1枚で調整できたと報告
仕事ごとに保存するもの モデル全体 小さな行列だけ(論文はランク4などの条件で、GPT-3 の350GBが35MBになったと報告) 小さな行列だけ

QLoRA は LoRA を量子化と組み合わせた方法だ。量子化(重みを少ないビット数で表してメモリを減らすこと)したモデルを固定し、LoRA の行列だけを学習する。

仕事でどう関係するか

画像生成で、自社のキャラクターや画風をそろえたいとき

FLUX.2 のように、LoRA を API で使えるツールがある。Adobe Firefly、Ideogram の Custom Models も、自分の画像でモデルを調整できる。TRAIL の年表の説明には調整の方法が書かれていない。方法や学習に使える枚数、料金は各ツールの案内で確かめる必要がある。

社内向けに言語モデルを調整したいとき

Google の Gemini Enterprise Agent Platform のチューニングの概要は、モデルのパラメーターの一部だけを更新するパラメーター効率チューニングを、フルファインチューニングより計算が少なく費用対効果に優れると説明している。強化学習ファインチューニングでは LoRA のアダプター(追加の小さな重み)を更新すると書く。同じページはまずプロンプトを作り込み、足りなければファインチューニングを使う順番を勧めている。

調整の前に、学習に使う例を集めておく必要がある。AI に例の形を整えてもらうこともできる。

プロンプト
社内の問い合わせ対応の文体をそろえるため、モデルの調整用のデータを作りたい。
下に貼った過去の問い合わせと回答を、「質問」と「模範の回答」の組にしてください。
個人名、電話番号、メールアドレスは「〔個人情報〕」に置き換えてください。

手元の GPU で追加学習を試したいとき

論文によると、Adam のような適応的な最適化手法で学習する場合、LoRA は学習に要る GPU などの機械の水準を最大で3分の1に下げる。また論文は、ほとんどのパラメーターで勾配(重みを直す向きと大きさ)を計算しないので、GPT-3 で学習が25%速くなったと報告している。さらにメモリを減らすなら QLoRA が候補になる。

注意点と限界

LoRA で学習する量を減らせても、学習に使うデータの質は結果を左右する。Google のチューニングの概要は、質が高く正しくラベルの付いたデータは、量が多いデータより良い結果につながるとしている。

論文は、別々の仕事の B と A を元の重みに足し込んだ場合、それらの仕事の入力を1回の計算にまとめて流すのは簡単でないと書いている。遅れが問題にならない場面なら、足し込まずに使い、入力ごとに LoRA を選ぶこともできるという。

論文の実験は主に注意の層の2つの重みに LoRA を当てたものだ。ほかの層に当てる効果は論文では今後の課題とされた。

よくある質問

LoRA は何の略か

Low-Rank Adaptation の略で、日本語では低ランク適応と呼ぶ。2021年の論文で Microsoft の研究者らが提案した、モデルを少ない学習量で調整する方法だ。

LoRA とファインチューニングの違いは何か

LoRA はファインチューニングのやり方の1つだ。ふつうのファインチューニングはモデルのすべての重みを更新し、LoRA は元の重みを固定して足した小さな行列だけを学習する。論文は GPT-3 で学習する重みの数を1万分の1にできたと報告している。

LoRA で調整したモデルは遅くなるか

遅くならないように作られている。足した行列を元の重みに足し込んでから使えば、計算の量はふつうのモデルと同じだ。論文は層を足すアダプターの方法とは違い、推論の遅れが出ない点を利点に挙げている。

LoRA は画像生成でも使われるか

使われている。論文は、考え方は深層学習のモデルの全結合の層すべてに当てはまると書いている。TRAIL の年表では、Black Forest Labs が2026年4月23日に FLUX.2 の LoRA を API で使える機能をベータで始めた。

QLoRA とは何か

LoRA を、量子化したモデルと組み合わせた方法だ。2023年5月23日の論文の要旨は、4ビットに量子化して固定したモデルに LoRA を足して学習し、650億パラメーターのモデルを48GBの GPU 1枚で調整できたと報告している。

関連する用語

出典

公開
執筆
TRAIL編集部(編集方針)

この用語に関係するツール

  • FLUX

    Black Forest Labs

    画像・動画を生成、編集できるAIモデル群

    • 無料プランなし
    • 画面の日本語なし
    • APIあり

    有料API 従量課金(画像) FLUX 3 Image は1Kで1枚$0.048

    年表
    36件
    最新の更新
    2026.10.22
  • 画像・動画・音声を生成できる Adobe の生成AI

    • 無料プランあり
    • 画面の日本語あり
    • APIあり

    有料Firefly Standard 月額1,580円(米国は$9.99)

    年表
    29件
    最新の更新
    2026.09.23
  • Ideogram

    Ideogram AI

    画像の中の文字をきれいに描ける、画像の生成・編集AI

    • 無料プランあり
    • 画面の日本語なし
    • APIあり

    有料Plus $20/月(年払いは月$15、年$180)

    年表
    10件
    最新の更新
    2026.06.03
  • Suno

    Suno, Inc.

    文章から歌と曲を作るAI音楽生成サービス

    • 無料プランあり
    • 画面の日本語なし
    • APIなし

    有料Pro ¥1,200/月(年払い時。年払いで年¥3,600お得)

    年表
    42件
    最新の更新
    2026.10.29
  • Sakana AI

    Sakana AI

    日本発のAI研究開発企業。Fugu・Namazu・Marlinを提供

    • 無料プランあり
    • 画面の日本語あり
    • APIあり

    有料Marlin Pro 月額150,000円

    年表
    49件
    最新の更新
    2026.10.28