- 知識蒸留は正解ラベルだけでなく、教師モデルが他のクラスへ割り振る確率も生徒の学習に使う。
- 音声認識の表1では10モデルアンサンブルのWER 10.7%に対し、蒸留した単一モデルも10.7%だった。
- これは論文の音声認識条件での結果で、すべての小型モデルが教師と同等になる証拠ではない。
何を確かめた研究か
知識蒸留の原論文は、推論に高価なアンサンブルが持つ情報を単一モデルへ移せるかを調べた。正解クラス以外への小さな確率にも、クラス間の似方が表れる。温度を上げたsoftmaxで確率を柔らかくし、生徒はその分布と通常の正解ラベルから学ぶ。教師の出力は追加の教師信号になる。
どう検証したか
MNISTでは大きな教師と小さな生徒の誤り数を比較し、一部の数字クラスを教師の訓練から外す試験も行った。音声認識では実運用に使われる音響モデルを対象に、基準モデル、10モデルの平均、蒸留後の単一モデルを比較した。フレーム分類精度と単語誤り率（WER）は別の指標である。
何が分かったか
音声認識の表1で基準モデルのフレーム精度は58.9%、WERは10.9%。10モデルの平均は61.1%、10.7%、蒸留した単一モデルは60.8%、10.7%だった。単一モデルはアンサンブルよりフレーム精度が少し低いが、同じWERを報告した。MNISTでも、教師のsoft targetsで学ぶと単純な生徒の訓練より誤りを減らした。
温度を高くすると正解以外のクラスの確率が見えやすくなるが、学習後の予測には通常の温度を使う。論文のMNIST実験は、教師の予測分布が小さな生徒へ情報を与える例を示す。ただし教師を作るための学習計算や、複数教師を運用する場合の費用は蒸留結果の一件あたりの推論費用とは分けるべきだ。
限界と仕事との接点
教師の確率を学ぶ生徒は、その誤りや偏りも継承し得る。温度、学習データ、生徒の容量で結果が変わる。導入時は教師・生徒の同じテスト集合での品質、応答時間、メモリ、学習費用を併記し、蒸留が必要な差を埋めたか確認する。後半はTRAIL編集部の提案である。
誤答の種類が生徒で変わる可能性もあるので、平均の誤り率だけでなく重要なクラス別に比べる。
教師の信頼度が高すぎる場合と低すぎる場合でも、温度の選び方が学習結果を左右する。