LoRAとは?意味・仕組みとモデルを調整する機能の年表(2026年11月時点)
LoRA
低ランク適応 / Low-Rank Adaptation
LoRA(低ランク適応)とは、学習済みのAIのモデルの重みを固定したまま、小さな行列だけを足して学習し、特定の仕事に合わせて調整する方法のこと。
要するに
- 元の重みは動かさず、足した2つの小さな行列だけを学習して調整する
- 原論文は GPT-3 で学習する重みの数を1万分の1、GPU のメモリを3分の1にした
- 2026年は画像や音楽のツールで、自分の素材でモデルを調整する機能が続いた
最終確認

自分の素材でモデルを調整する機能と追加学習の出来事
原論文と関連研究
目次8
ひとことで言うと
LoRA(Low-Rank Adaptation、低ランク適応)は、学習済みの AI のモデルを特定の仕事に合わせて調整するときに、モデルの元の重みは固定したまま、小さな行列だけを足して学習する方法だ。重みはモデルが学習で覚えた数値で、モデル全体を学習し直すより、必要なメモリと保存する量が大きく減る。
たとえば1つの言語モデルを、問い合わせ対応用と議事録の要約用に別々に調整したいとする。LoRA なら元のモデルは1つだけ持ち、仕事ごとに小さな重みを保存して差し替えればよい。
仕組み
LoRA は、2021年6月17日に Microsoft の Edward Hu らが発表した論文(TRAIL の解説)で提案された。論文の説明に沿って順に見る。
- 元の重みを固定する。ファインチューニング(学習済みのモデルを追加の学習で調整すること)では、ふつうモデルのすべてのパラメーターを更新する。LoRA では元の重みを動かさない。
- 小さな行列を2つ足す。重みの行列 W0 の変化分を、細長い2つの行列 B と A の掛け算 BA で表す。2つの行列の幅を決める数をランク r と呼び、元の行列の大きさよりずっと小さくする。
- 足した行列だけを学習する。学習の初めは B をゼロにしておくので、変化分 BA はゼロから始まる。論文は Transformer(いまの多くの言語モデルのもとになっている構造)の注意の層の重みに LoRA を当てて実験した。
- 使うときは足し合わせる。運用では W0 に BA を足した重みを計算して保存すれば、ふつうのモデルと同じ速さで動く。別の仕事に切り替えるときは BA を引き、別の B′A′ を足す。
論文は、GPT-3 では元の行列の幅が12,288あっても、ランクは1か2で足りたと報告している。Google の Gemma の LoRA のチュートリアルも、ランクが高いほど細かい変更ができる一方、学習するパラメーターが増えると説明する。4、8、16のような小さなランクから始めて、少しずつ上げて確かめる手順を勧めている。なお、このチュートリアルのページには非推奨だという表示が出ている。
表で見る最新の状況
上の年表は TRAIL の DB から、自分の画像や文章でモデルを調整する機能と、追加学習したモデルの出来事8件を古い順に並べたものだ。確認日は2026年10月10日から11月1日。その下には LoRA の原論文と関連する論文3本を並べた。
TRAIL の年表で、出来事の説明に LoRA と書かれているのは、2026年4月23日の Black Forest Labs の「FLUX.2 LoRA 推論をベータ公開」だけだ。利用者が自分で調整した FLUX.2 の LoRA を、API 経由で使えるようにした。
ほかの7件の説明には、どの方法で調整するかは書かれていない。
Adobe は2024年3月26日に「Firefly Services とカスタムモデル」を発表し、10〜20枚ほどの自社の素材でモデルを調整できるとした。2026年3月19日には「カスタムモデルを公開ベータで提供」した。
Ideogram は2026年4月22日に「自分の画像で学習させる Custom Models を公開」し、API の料金表では学習1回40ドルだ。
Suno は2026年3月26日の「v5.5 を公開」で、自作の曲で調整したモデルを作る Custom Models を加えた。
文章のモデルでは、Sakana AI が2025年4月1日に、約2,500万字の江戸期の文章で Llama-3-ELYZA-JP-8B を追加学習した「からまる」を公開した。2026年8月3日の「Sakana Namazu API を提供開始」では、Kimi K2.6 に日本語と業務の文脈を追加学習している。
TRAIL の年表では、8件のうち5件が2026年の出来事だ。画像や音楽のツールで、利用者が自分の素材でモデルを調整する機能が2026年に続けて出ている。
LoRA とフルファインチューニング、QLoRA の違い
| フルファインチューニング | LoRA | QLoRA | |
|---|---|---|---|
| 学習する重み | モデルのすべての重み | 足した小さな行列だけ | 足した小さな行列だけ |
| 元のモデルの重み | 更新する | 固定する | 4ビットに量子化して固定する |
| 必要なメモリ | 多い | 論文は GPT-3 の学習中の GPU のメモリが1.2TBから350GBに減ったと報告 | 論文の要旨は650億パラメーターのモデルを48GBの GPU 1枚で調整できたと報告 |
| 仕事ごとに保存するもの | モデル全体 | 小さな行列だけ(論文はランク4などの条件で、GPT-3 の350GBが35MBになったと報告) | 小さな行列だけ |
QLoRA は LoRA を量子化と組み合わせた方法だ。量子化(重みを少ないビット数で表してメモリを減らすこと)したモデルを固定し、LoRA の行列だけを学習する。
仕事でどう関係するか
画像生成で、自社のキャラクターや画風をそろえたいとき
FLUX.2 のように、LoRA を API で使えるツールがある。Adobe Firefly、Ideogram の Custom Models も、自分の画像でモデルを調整できる。TRAIL の年表の説明には調整の方法が書かれていない。方法や学習に使える枚数、料金は各ツールの案内で確かめる必要がある。
社内向けに言語モデルを調整したいとき
Google の Gemini Enterprise Agent Platform のチューニングの概要は、モデルのパラメーターの一部だけを更新するパラメーター効率チューニングを、フルファインチューニングより計算が少なく費用対効果に優れると説明している。強化学習ファインチューニングでは LoRA のアダプター(追加の小さな重み)を更新すると書く。同じページはまずプロンプトを作り込み、足りなければファインチューニングを使う順番を勧めている。
調整の前に、学習に使う例を集めておく必要がある。AI に例の形を整えてもらうこともできる。
社内の問い合わせ対応の文体をそろえるため、モデルの調整用のデータを作りたい。
下に貼った過去の問い合わせと回答を、「質問」と「模範の回答」の組にしてください。
個人名、電話番号、メールアドレスは「〔個人情報〕」に置き換えてください。手元の GPU で追加学習を試したいとき
論文によると、Adam のような適応的な最適化手法で学習する場合、LoRA は学習に要る GPU などの機械の水準を最大で3分の1に下げる。また論文は、ほとんどのパラメーターで勾配(重みを直す向きと大きさ)を計算しないので、GPT-3 で学習が25%速くなったと報告している。さらにメモリを減らすなら QLoRA が候補になる。
注意点と限界
LoRA で学習する量を減らせても、学習に使うデータの質は結果を左右する。Google のチューニングの概要は、質が高く正しくラベルの付いたデータは、量が多いデータより良い結果につながるとしている。
論文は、別々の仕事の B と A を元の重みに足し込んだ場合、それらの仕事の入力を1回の計算にまとめて流すのは簡単でないと書いている。遅れが問題にならない場面なら、足し込まずに使い、入力ごとに LoRA を選ぶこともできるという。
論文の実験は主に注意の層の2つの重みに LoRA を当てたものだ。ほかの層に当てる効果は論文では今後の課題とされた。
よくある質問
LoRA は何の略か
Low-Rank Adaptation の略で、日本語では低ランク適応と呼ぶ。2021年の論文で Microsoft の研究者らが提案した、モデルを少ない学習量で調整する方法だ。
LoRA とファインチューニングの違いは何か
LoRA はファインチューニングのやり方の1つだ。ふつうのファインチューニングはモデルのすべての重みを更新し、LoRA は元の重みを固定して足した小さな行列だけを学習する。論文は GPT-3 で学習する重みの数を1万分の1にできたと報告している。
LoRA で調整したモデルは遅くなるか
遅くならないように作られている。足した行列を元の重みに足し込んでから使えば、計算の量はふつうのモデルと同じだ。論文は層を足すアダプターの方法とは違い、推論の遅れが出ない点を利点に挙げている。
LoRA は画像生成でも使われるか
使われている。論文は、考え方は深層学習のモデルの全結合の層すべてに当てはまると書いている。TRAIL の年表では、Black Forest Labs が2026年4月23日に FLUX.2 の LoRA を API で使える機能をベータで始めた。
QLoRA とは何か
LoRA を、量子化したモデルと組み合わせた方法だ。2023年5月23日の論文の要旨は、4ビットに量子化して固定したモデルに LoRA を足して学習し、650億パラメーターのモデルを48GBの GPU 1枚で調整できたと報告している。
関連する用語
- ファインチューニング:学習済みのモデルを追加の学習で調整すること。LoRA はその方法の1つ
- パラメーター:モデルが学習で覚えた数値。LoRA は学習する数を減らす
- 量子化:重みのビット数を減らす方法。QLoRA は LoRA と組み合わせる
- Transformer:論文が LoRA を当てた、言語モデルのもとになっている構造
- GPU:LoRA で減らせるメモリを持つ、学習に使う半導体
- ローカルLLM:手元のパソコンで動かす言語モデル
- ツール:FLUX、Adobe Firefly、Ideogram、Suno、Sakana AI
出典
- 公開
- 執筆
- TRAIL編集部(編集方針)
