- Federated Averagingは各端末が手元のデータで複数回更新し、サーバーでモデルの更新を平均する。
- 論文要旨は、比較した同期SGDより必要な通信ラウンドを10〜100分の1に減らしたと報告する。
- 生データを集めない設計でも、更新情報の漏えいを防ぐ追加策なしに強いプライバシー保証は言えない。
何を確かめた研究か
端末の入力や画像からモデルを改善したくても、データを中央に集めると通信や機微情報の扱いが問題になる。Federated Learningの論文は、データを各端末に置き、局所計算した更新を集めて共有モデルを学ぶ方法を提案した。特に通信ラウンドを減らすFederated Averaging（FedAvg）を調べる。
どう検証したか
各ラウンドで一部の端末を選び、端末内のデータで数回の勾配更新を行う。その後、データ量を考慮して各端末のモデルを平均する。従来の同期SGDと比べ、所定の精度へ届くまでの通信ラウンドを測った。MNIST、CIFAR-10、Shakespeareの文字予測など、データ分布の異なる課題で実験している。
端末ごとに例数が違い、同じ種類の例が均等に分かれていない条件も試す。論文は一定の非IIDな条件で動くことを示したが、任意の偏りや実機の接続不良を全て解いたわけではない。
何が分かったか
要旨は同期SGDと比べ、必要な通信ラウンドを10〜100倍減らせたと報告する。本文の表2では、課題や局所更新の回数によって倍率が違う。たとえばMNIST CNNで所定精度までのラウンドが約31.3倍少ない構成がある。通信を減らす代わりに各端末での計算は増え得るので、総計算量が同じだけ減るという意味ではない。
限界は何か
生のデータが端末から出なくても、共有する更新に情報が含まれ得る。論文自身がプライバシーとセキュリティの追加課題を認め、差分プライバシーなどを別に議論する。FedAvg単体で個人情報の非漏えいを保証しない。実験では参加端末やデータを固定した条件もあり、実際の端末の離脱、通信障害、異質さは別に検証が要る。
仕事との接点
分散学習を使うなら、所定の品質へ達するまでの通信量、端末の電力、データの偏り、更新情報の保護を同時に測る。これは論文の評価から導くTRAIL編集部の提案であり、論文の通信倍率をそのまま製品環境へ移せない。