- DoRAは、事前学習した重みを「大きさ」と「方向」に分け、方向をLoRAで効率的に調整する。
- 論文第6版の8つの常識推論課題では、LLaMA 7BでLoRAの平均74.7%に対しDoRAは78.4%だった。
- 改善幅はモデル・課題・設定に依存し、全面学習を常に上回るという結果ではない。
何を確かめた研究か
大きなモデルを用途に合わせて調整する際、全ての重みを更新する全面学習は高価だ。LoRAは小さな追加行列だけを学習して費用を抑えるが、全面学習との品質差が残ることがある。DoRAの論文は、LoRAと全面学習では重みの変わり方が異なる点に着目し、少ない追加パラメータで差を縮められるかを調べた。
研究チームは重みの各列を、大きさと方向に分けて考えた。DoRAでは大きさを別の学習対象とし、方向の変更にLoRAを使う。学習後には変更を元の重みに統合できるため、論文は推論時に追加の層を通す必要がないとする。ただし、学習時の負担まで同じという意味ではない。
どう検証したか
第6版はLLaMA 7B/13B、LLaMA 2 7B、LLaMA 3 8Bの8つの常識推論課題で、LoRAなどと平均正答率を比較した。同じLoRAの設定を基にDoRAの学習率を調整し、追加パラメータの割合も表1に示す。さらに画像と文章を扱うLLaVA、画像・動画と文章を扱うVL-BARTでも試した。
論文は、同じランクのLoRAとDoRAに加え、DoRA側のランクを半分にした比較も載せる。学習メモリを抑えるために一部の勾配計算を切り離す実装も提案し、これを使った場合の精度とメモリの変化を調べた。設定によって比較の意味が変わるため、単一の「DoRAの得点」としてまとめない。
何が分かったか
表1ではLLaMA 7Bの8課題平均が、LoRAの74.7%に対しDoRAは78.4%だった。LLaMA 13Bでは80.5%対81.5%で、改善幅は小さい。LLaMA 3 8Bでは80.8%対85.2%。基盤モデルごとに差が変わる。表はDoRAの学習対象パラメータ割合も示し、LLaMA 7BでLoRAの0.83%に対しDoRAは0.84%だった。
一方、画像・動画を扱うVL-BARTでは、論文の表2・3でDoRAがLoRAを上回るものの、全面学習との差や指標は課題によって異なる。推論時には重みを統合できるため追加の推論層は不要だが、実際の推論速度をあらゆる環境で同じと証明した結果ではない。
限界は何か
精度比較は論文が選んだモデル、データ、学習率、追加行列のランクに依存する。LoRA側との最適化の差も結果に影響し得る。著者らの分析は、重みの大きさと方向の変化から改善理由を説明するが、全ての用途で同じ変化が望ましいと証明したものではない。
また、DoRAでは計算経路が増えて学習メモリを使うため、論文はその負担を減らす実装を別に提案した。「推論時に追加負担がない」を「学習時もLoRAと同額」と読み替えない。大規模モデルや別のGPUでの学習速度・費用は、その環境で確認する必要がある。
仕事との接点
自社の追加学習を選ぶなら、同じ基盤モデルと学習データでLoRA、DoRA、必要なら全面学習を比較したい。品質だけでなく、学習時のGPUメモリと時間、統合後の推論速度も測る。これはDoRAの実験の読み方を実務へ移したTRAIL編集部の提案であり、論文が企業の導入効果を測ったわけではない。