- GATは各ノードの近傍に注意重みを付け、重要度を変えて特徴を集約する。
- Cora・Citeseer・Pubmedの既知グラフと、未見のPPIグラフで試した。
- PPIでは同構成の一定重み版0.934に対し、GATはmicro-F1 0.973だった。
何を確かめた研究か
Graph Attention Networksの原論文は、グラフ上のノードを分類するとき、隣接ノードをどれも同じ重要度で使う必要があるかを問う。ノード自身と隣接ノードの特徴から注意重みを計算し、重み付きで近傍を集約する。複数の注意ヘッドを使い、異なる関係を同時に見る。
同じ2017年のGraphSAGEも未見ノードへ集約関数を適用するが、GraphSAGEの主眼は近傍をサンプリングして集約すること。GATは近傍ごとの寄与を学習する問いが中心であり、全近傍を使う代わりに次数が大きいノードでは計算量が増える。
どう検証したか
Cora、Citeseer、Pubmedでは一つのグラフの一部のノードにラベルを与え、残りを予測する。PPIでは訓練時に使わない別のタンパク質相互作用グラフへ適用する。引用データは分類正答率、PPIはmicro-F1で測る。表3には原論文のGraphSAGE結果に加え、著者らが構成を変えて強化したGraphSAGE∗、そしてGATと同じ構成で注意重みを一定にしたConst-GATを置く。
何が分かったか
表2でGATのCora正答率は83.0±0.7%、GCNは81.5%。Citeseerは72.5±0.7%対70.3%、Pubmedは両者79.0%だった。どのグラフでも大幅に勝つわけではない。表3のPPIではGATのmicro-F1が0.973±0.002、一定重み版は0.934±0.006。近傍ごとの重みが効くことを、同じ構成の比較で示す。
PPIの元のGraphSAGE-LSTMは0.612だが、著者らが構成を強めたGraphSAGE∗は0.768。0.612との差を注意機構だけの効果と読むのは誤りだ。
限界と仕事との接点
注意重みはモデルが予測に使った計算上の重みで、関係の因果的な重要度を保証しない。全近傍を使う実装は大きなグラフの高次数ノードで重くなり得る。グラフ学習を採用する時は、時間的に後から現れるノードと別グラフの成績を分け、同じモデル容量で平均集約と比較する。最後はTRAIL編集部の提案である。