- Chronos-2は単一系列、複数系列、外部変数付きの予測を同じモデルで扱う。
- fev-benchの100課題では、scaled quantile lossによる平均勝率90.7%、skill score 47.3%だった。
- 外部変数を使う利点は課題群によって異なり、既知の将来情報と予測時点に使えない情報を分ける必要がある。
何を確かめた研究か
Chronos-2の原論文は、事前学習した時系列モデルが、単一系列の過去値だけでなく、関連する系列や外部変数を予測時に使えるかを問う。小売需要なら価格や販促、電力なら天候などが候補になる。ただし未来の値を予測時点で利用できる変数と、将来にならなければ分からない変数は別物だ。
著者らは系列間の情報を交換する注意機構を組み込み、過去だけの変数と将来値が既知の変数も区別して入力する。複数の人工的な系列構造も学習に使い、ゼロショットの予測を評価した。
どう検証したか
主な比較は100の予測課題を含むfev-benchで行った。単一系列が32、複数の目的系列が26、外部変数を含む課題が42である。指標のscaled quantile lossは確率予測の誤差を見る。平均勝率はベンチマーク内で他モデルとの課題ごとの比較を集計した値であり、業務で90.7%の確率で正しく予測できるという意味ではない。論文は別の指標とGIFT-Evalなどでも比較した。
何が分かったか
表3でChronos-2は平均勝率90.7%、SeasonalNaiveを基準にしたskill score 47.3%だった。次点のTiRexは80.8%と42.6%。中央値の実行時間はChronos-2が3.6秒、TiRexが1.4秒で、精度と速度の両方を見たい。表の一部の比較手法にはデータ漏洩の補正や失敗例があり、完全に同じ実装条件の競争ではない。
外部変数を含む42課題では、外部変数を無視する単一系列モードより、系列間の情報を使うモードが大きく改善した。一方、複数系列だが外部変数のない26課題での上積みは小さい。関連系列を渡せば常に得になるという結果ではない。
限界と仕事との接点
GIFT-Evalについては、著者らは評価対象のテスト部分との重複を避けたとする一方、一部データセットの訓練部分は事前学習に含まれる。ベンチマークの平均は、特定企業の季節性、欠測、販促の変更や予測期間を代表しない。自社評価では時点を守って分割し、予測時点に実際に分かる外部変数だけを渡す。単純な季節予測も残し、精度、遅延、予測区間の妥当性を一緒に比較する。後半はTRAIL編集部の提案である。