- NeRFは3D位置と見る方向を入力し、色と密度を出す連続的な関数として一つの場面を学ぶ。
- カメラ位置が分かる複数の写真を学習し、体積レンダリングによって未撮影の視点を合成する。
- 実写場面ではPSNRとSSIMが先行手法を上回る一方、LPIPSはLLFFの方が良く、学習時間も長い。
何を確かめた研究か
複数の写真から物体や風景を三次元的に再現し、撮っていない位置から見た画像を作りたい。NeRFの初版論文は、シーンを固定した格子や複数の画像の重ね合わせで表す代わりに、座標に応じて色と密度を返すニューラルネットワークを学習した。
入力は空間の位置三次元と視線方向二次元からなる五次元の座標である。カメラから伸びる線に沿って点を調べ、予測した色と密度を体積レンダリングで画像の各画素へまとめる。予測画像と実際の写真との差が小さくなるようネットワークを調整する。学習には撮影画像に加え、カメラの位置と向きが必要だ。
どう検証したか
論文は合成した物体画像と、手持ちカメラで撮った実写の場面を分けて評価した。実写8場面は20〜62枚の写真を使い、およそ8枚に1枚をテスト用に残した。画質はPSNRとSSIM、知覚的な差はLPIPSを用いる。PSNRとSSIMは高いほど、LPIPSは低いほど良い。
表1では新視点の画像を作る先行手法と比較した。表2では位置の表し方や粗密二段階のサンプリングなど、構成要素を除いた場合を調べる。シーンが静的で、画像とカメラ位置が十分得られるという前提が評価に含まれる。
何が分かったか
表1の実写場面でNeRFはPSNR 26.50、SSIM 0.935で、LLFFの24.13と0.909を上回った。一方、LPIPSはNeRFが0.250、LLFFが0.212で、知覚指標ではLLFFが良い。合成した複雑な物体ではPSNR 31.01で、LLFFの24.88を上回った。指標ごとの勝敗を分けて読む必要がある。
学習後のネットワークの重みは一場面あたり約5MBで、論文が比較したLLFFの格子より小さい。しかしNeRFを含む比較対象の多くは一場面の学習に少なくとも12時間かかる一方、LLFFは小さな入力集合を10分未満で処理できる。画質と処理時間は交換条件だ。
限界は何か
カメラ位置が分からない画像や、人物・物体が動く場面を、この実験のままで扱えるわけではない。入力視点が偏れば見えていない部分の再現も難しい。実写場面でもLPIPSは最良ではなかった。短時間で大量の場面を処理する運用には、学習費用が大きな制約になる。
仕事との接点
商品や施設の3D表示を試すなら、撮影方法、位置推定の作業、場面ごとの処理時間、未撮影の角度での画質を一組として評価する。これはNeRFの実験条件から導くTRAIL編集部の提案であり、論文が具体的な商用制作工程を評価したものではない。