- EWCは過去の課題に重要と推定した重みを、新課題の学習で大きく変えないようにする。
- 順番に学ぶMNISTの変種やAtariゲームで、単純な逐次学習より旧課題の成績を保った。
- 過去と新しい課題の間には折り合いがあり、無制限に全課題を完全保持する方法ではない。
何を確かめた研究か
一つの課題を学んだモデルを次の課題へそのまま更新すると、前にできたことを急に忘れることがある。EWCの論文は、過去の課題で重要だった重みを守りながら新しい課題を学べるかを調べた。全ての過去データを混ぜ直して学ぶ方法とは違う、逐次学習の設計である。
どう検証したか
過去の課題を学んだ時点の重みを記録し、Fisher情報の対角成分を重要度の近似に使う。新課題の損失に、重要な重みを前の値から動かすことへの罰則を加える。著者らは画素の並びを変えたMNISTの分類課題を順番に学ばせ、通常の確率的勾配法と比較した。さらに複数のAtariゲームを順番に経験させる実験を行う。
旧課題と新課題の成績を別々に見ないと、後の課題だけに適合して前を忘れたモデルを見逃す。論文の図2は課題の切り替え前後を時系列で示し、EWCによる保持と新課題の学習を同時に確認する。
何が分かったか
MNISTの図2では、通常の学習は次の課題を学ぶと前の課題の誤りが急に増えるが、EWCは増加を抑えた。Atariの実験でも、以前のゲームを長く経験しない間に性能を保つ方向の結果を示した。重要度に応じて重みの変更を抑えることで、全ての重みを同じ強さで固定するより柔軟に新課題を学べる。
ただし旧課題の保持と新課題の獲得は同時に無制限には進まない。重みの重要度の近似、罰則の強さ、課題同士の類似性に結果が左右される。図で維持できた課題数を、任意の業務変更にそのまま広げられない。
限界は何か
実験の課題はMNISTの変種とAtariであり、現代の大規模言語モデルの更新ではない。Fisher情報の対角近似は重み間の関係を全て表さず、未知の将来課題のための容量も保証しない。古い課題の評価データを残さずに性能保持を確認することも難しい。
仕事との接点
モデルを新しい分野へ更新するなら、更新前後の両方の業務課題を継続して測る。新課題での改善と旧課題での後退を別に報告する。これは論文の逐次評価から導くTRAIL編集部の提案であり、EWCが業務モデルの忘却を全て防ぐという主張ではない。