DreamFusion

詳細

DreamFusionは、Imagenと呼ばれるテキストから画像への生成モデルを使用して、3Dシーンを最適化する製品です。

この製品は、損失関数を最適化することによって拡散モデルからサンプルを生成する方法であるスコア蒸留サンプリング（SDS）を特徴としています。SDSは、3D空間のような任意のパラメータ空間におけるサンプルの最適化を可能にします。

本製品は、この微分可能なマッピングを定義するために、Neural Radiance Fieldsと同様の3Dシーンパラメータ化を使用しています。DreamFusionは、ジオメトリを改善するために正則化と最適化ストラテジーを追加し、コヒーレントで高品質な法線、サーフェスジオメトリと深度、ランバートシェーディングモデルによる再照明可能なNeRFを実現します。

DreamFusionのユースケースは、ビデオゲーム、バーチャルリアリティ体験、映画制作などの様々なアプリケーションのための3Dシーンの最適化です。