- MAMLは新しい課題を少数例・数回の勾配更新で学べるよう、共通の初期パラメータを訓練する。
- miniImageNetの5クラス分類では1例条件48.70%、5例条件63.11%だった。
- 「モデル非依存」は勾配で学べるモデルへの適用可能性を指し、どんな課題にも無条件で効くという意味ではない。
何を確かめた研究か
MAMLの原論文は、初めて見る課題のデータが少ないとき、モデルをどこから学習し始めれば素早く適応できるかを問う。別々の課題を多数作り、それぞれで少数例を使ってモデルを数回更新する。更新後のモデルが新しい例にどれだけ当たるかを見て、共通の出発点を改善する。
通常の一つの分類器を学ぶ方法と違い、訓練の目標は「更新前に全課題で最良」ではなく「少ない更新後に各課題で良い結果」になることだ。勾配降下を使えるモデルなら画像分類、回帰、方針勾配による強化学習へ同じ考えを適用できるとする。
どう検証したか
OmniglotとminiImageNetで、テスト時に未見のクラスから5種類を選び、各種類1例または5例だけ与える。miniImageNetでは訓練64、検証12、テスト24クラスで分けた。さらに波形の回帰課題と模擬ロボットの強化学習で、新課題への適応を調べる。表1は複数の少数例分類手法と比較するが、Omniglotでは先行研究の訓練・テスト分割が再現できず、完全に同じ比較とは言えないと明記する。
何が分かったか
miniImageNetの表1では、MAMLの5クラス・1例条件が48.70±1.84%、5例条件が63.11±0.92%だった。Meta-Learner LSTMの43.44±0.77%、60.60±0.71%を上回る。ただしこの差は、先行研究から引用したベースラインとの比較であり、同一の実行環境や調整予算を証明するものではない。一次勾配近似版は48.07%、63.15%で、特定の実験では完全版と近い。
限界と仕事との接点
良い初期値を得るには、多数の訓練課題と、追加学習を含む計算が必要だ。新課題が訓練課題群から大きく外れる場合や、ラベルの意味が違う場合の成績はこの表から読めない。Prototypical Networksが特徴空間のクラス中心を作るのに対し、MAMLは更新しやすい出発点を学ぶ。新しい製品・顧客の分類で試すなら、課題間の違いと更新費用を合わせて比較する。最後はTRAIL編集部の提案である。