- Hyperbandはランダムに選んだ設定へ少量の資源を与え、有望な候補へ段階的に予算を増やす。
- 早く止める強さを複数用意し、少数を長く試す条件も含めて探索する。
- 論文は一部の課題でベイズ最適化の比較法より大幅な高速化を報告したが、全課題で同じ順位ではない。
何を確かめた研究か
モデルの学習率や構造を探すには、多数の候補を訓練する費用が掛かる。Hyperbandの論文は、候補の選び方だけでなく、各候補にどれだけ学習資源を与えるかを工夫した。少ない資源で試した候補から悪そうなものを止め、残りへ予算を移すsuccessive halvingを複数の設定で使う。
どう検証したか
最大の予算を決め、短い学習で多数を試す方式と、少数を十分に学ぶ方式を組み合わせる。資源は反復回数、学習データ量など課題に応じて定義する。論文は深層学習とカーネル法の複数の問題で、ランダム探索、SMAC、TPEなどのベイズ最適化手法と比較した。探索時間に対して、どの程度良い検証値へ届くかを測る。
比較で重要なのは、候補の一回の評価時間を揃えるだけではないことだ。Hyperbandは候補数と各候補への資源配分を変えるため、同じ計算予算までに得た最良の設定で比べる必要がある。
何が分かったか
論文は複数の深層学習・カーネル問題で比較手法より一桁以上速く良い設定へ到達する場合を報告した。本文ではベイズ最適化の比較法に対して5〜30倍速い例を述べる。一方、SVHNなどでは早期終了を加えたSMACが競争的で、Hyperbandが常に最良ではなかった。
初期の短い学習成績が最終の順位を正しく予測できないと、有望な候補を早く止める。複数の予算配分を試すのは、その危険を小さくする設計である。
限界は何か
速度倍率は対象の探索空間、学習曲線、比較手法の実装、使える予算によって変わる。学習初期に悪く後から良くなる設定が多い課題では早期終了が不利になる。最終モデルの性能だけで探索法を評価すると、探索に掛かった時間や計算量が隠れる。
仕事との接点
モデル調整を自動化するなら、探索の総時間とGPU時間、試した候補数、得られた最終モデルの品質を同じ表で比べる。これは論文の資源配分の発想から導くTRAIL編集部の提案であり、論文の速度倍率を全ての業務へ当てはめるものではない。