- ネットワークの隠れ状態を、固定した層列ではなく連続時間の変化として記述した。
- MNISTではResNetの誤り率0.41%に対しODE-Netは0.42%、パラメータ数は0.60M対0.22Mだった。
- メモリ上の利点が、そのまま計算時間の短縮を意味するわけではない。
何を確かめた研究か
通常の残差ネットワークでは、隠れ状態を層ごとに少しずつ更新する。Neural Ordinary Differential Equationsは、この更新を連続時間の微分方程式として表し、数値ソルバーで最終状態を求める。層の個数を設計時に固定する代わりに、ソルバーが必要な関数評価を選ぶ。論文は画像分類だけでなく、不規則な観測時刻を持つ時系列や、確率密度を扱う連続正規化フローにも同じ考えを展開した。
どう検証したか
MNIST分類では小型ResNetの6残差ブロックをODE解法のモジュールに置き換えた。ResNet、通常の積分器を逆伝播するRK-Net、随伴感度法を使うODE-Netの誤り率、パラメータ数、メモリと計算時間の次数を比較した。時系列では二方向に巻く合成の螺旋1000系列から観測点を間引き、未観測の未来まで予測する誤差をRNNと比べた。合成螺旋の結果と、現実の不規則時系列での有効性は区別する必要がある。
随伴感度法は前向き計算の全中間状態を保存せず、終点から別の方程式を解いて勾配を得る。そこで表1のODE-Netのメモリ次数はO(1)と記す。一方、実行時間はソルバーが要求する関数評価回数に依存する。許容誤差を厳しくすれば精度を制御できるが、計算も増える。
何が分かったか
MNIST表1でResNetは誤り率0.41%、0.60Mパラメータ、ODE-Netは0.42%、0.22Mだった。RK-Netも0.47%、0.22Mであり、パラメータ削減だけをODE-Net固有の成果とはいえない。ODE-Netの特徴は中間状態保存に対するメモリ次数で、速度優位を示す数字ではない。
時系列の表2では、100点中30点を観測した場合の未来予測RMSEがRNNの0.3937に対し潜在ODEは0.1642、全100点観測では0.1813対0.1346だった。観測が不規則で少ない合成例に連続時間表現が合っていた。これらは設計された螺旋データの比較であり、あらゆる時系列に同じ差が出る根拠ではない。
限界は何か
ソルバーの許容誤差や関数の複雑さで計算量が変わり、ミニバッチ化も通常の層列ほど単純ではない。論文は複数の用途を示すが、MNISTと合成螺旋の数値を巨大画像モデルや業務予測へそのまま移せない。O(1)という表現は保存する深さ方向の中間状態についてであり、モデル全体の総メモリが一定という意味ではない。
仕事との接点
不規則な時刻のセンサー記録などで連続時間モデルを検討するなら、予測誤差とあわせて関数評価回数、許容誤差、バッチサイズ、実測時間を記録する。表1のメモリ次数だけを採用理由にしないというのが、この研究から導く実務上の判断だ。