- DP-SGDは学習例ごとの勾配の大きさを制限し、雑音を加えて更新する。
- 論文は反復学習で積み上がるプライバシー費用をmoments accountantで追跡した。
- CIFAR-10ではδ=10⁻⁵の条件で、εが2、4、8のとき正解率67%、70%、73%を報告した。
何を確かめた研究か
機微な記録を使ってモデルを学習すると、完成した重みに個々の記録の影響が残り得る。差分プライバシーを用いる深層学習の論文は、非凸のニューラルネットワークでも学習例ごとの影響を制限する方法を示した。個別の勾配を一定の大きさで切り詰め、集約した勾配に雑音を加える。
どう検証したか
論文のアルゴリズム1は、例ごとの勾配の切り詰め、Gaussian雑音、更新ごとのプライバシー費用の計算を組み合わせる。学習を何度も繰り返すため、一回だけの保証では足りない。著者らはmoments accountantで反復全体の費用を見積もり、MNISTとCIFAR-10の分類精度を測った。
プライバシーの表記はεとδの組であり、値だけを独立した「安全度」と読めない。データの単位、サンプリング、勾配の上限、雑音、学習回数を合わせて条件を特定する必要がある。
何が分かったか
CIFAR-10の図6ではδを10⁻⁵に固定し、εが2、4、8の場合の正解率がそれぞれ67%、70%、73%だった。εを緩めるとこの実験では精度が上がったが、個人情報保護上の望ましい値を図だけで決められない。論文は、同じ学習設定の100 epochでmoments accountantのεが約1.26、従来の合成上界では約9.34となる例も示し、分析方法によって得られる上界の鋭さが違うことを示した。
限界は何か
保証は論文の機構と隣接データの定義に対する数学的なもので、データの収集や保存、モデルへの別の攻撃を全て解決しない。εとδを示さず「プライバシー保護済み」と言うことはできない。CIFAR-10の正解率も当時の構造と学習条件での値であり、現在の大規模モデルへの費用を示さない。
仕事との接点
機微なデータで学ぶなら、何を一件の保護対象とするか、全学習のε・δ、精度への影響、別のデータ管理策を一緒に検討する。これは論文の保証条件から導くTRAIL編集部の提案であり、論文が特定の法的要件への適合を証明したわけではない。