3Dガウシアンスプラッティング とは？

多数の3Dガウス分布で、シーンの見え方を表すんだ。画面に映すと、境界がふわっとした楕円状の色のにじみになる。それらを奥行きや不透明度を考えて重ね、画像を作るよ。実際に光る雪玉が浮いているわけではなく、位置や広がりなどを持つ数学的な表現なんだ。

2023年の代表的な手法では、複数視点の写真から求めたカメラ情報や疎な点群を使って始めるよ。描いた画像が写真に合うように、位置、向きや大きさに相当する形状、不透明度、見る方向に応じた色などを最適化する。途中でガウスを増やしたり減らしたりする工夫もあるんだ。

同じように、撮影したシーンを別の視点から描くために使われるけれど、単純な上位版ではないよ。代表的なNeRFは空間の情報をニューラルネットなどで表し、光線上の情報を積み重ねて画像にする。3D Gaussian Splattingは、明示的なガウスを画面へ投影して重ねる設計なんだ。表現と描き方に違いがあるよ。

同じ速度になるとは限らないよ。研究では特定のデータやGPUで、高品質なリアルタイム描画が示された。シーンの大きさ、ガウスの数、解像度、機器や実装で速度とメモリ使用量は変わる。最適化する時間と、出来上がったシーンを描く時間も別だね。一定のfpsや個数を、すべての場合に当てはめないでおこう。

正確に再現できるとは限らないよ。写真で十分に観察されていない部分には、欠けや不自然なにじみが出ることがある。視点を大きく変えたときの見え方や、細かな構造にも注意しよう。撮影条件と欲しい視点、品質やメモリの制約を合わせて考える技術で、NeRFやほかの方法を全部不要にするものではないんだ。