Instant NeRF はこれまでで最速の NeRF 手法で、場合によっては 1,000 倍以上のスピードアップを達成することができます。このモデルでは、数十枚の写真と、それらが撮影されたカメラ アングルのデータでトレーニングするのにわずか数秒しかかからず、3D シーンを数十ミリ秒以内にレンダリングできます。
|
NeRF とは、ニューラルネットワークを使用して、複数の 2D 画像の入力に基づいてリアルな 3D シーンを表現およびレンダリングする技術のことです。
|NeRF は 3D 空間のあらゆる点からあらゆる方向に放射する光の色を予測し、シーンを再構築する小さなニューラルネットワークをトレーニングし、画像の空白を埋めていきます。この手法は、ある写真に写っているオブジェクトが、別の写真では柱などの障害物によって遮られている場合でも、空白を埋めることができます。
https://blogs.nvidia.co.jp/2022/04/07/instant-nerf-research-3d-ai/
2020年に発表されたNeRFの技術ですが、NVIDIA Researchによって格段に早いInstant NeRFが開発されたようです。
まだ私もこれからやってみようと思っていますが、勉強がてらこちらについてまとめてみました。
以下のYouTubeの方で公式にやりかた導入から実装まで動画で解説があります。
Hands on With Nvidia Instant NeRFs
