3DGSとメッシュを合成する目的と基本構造
3DGSとメッシュを組み合わせると、写真に近い質感を持つ空間表現と、立体形状を明確に定義した3Dモデルを同じシーンで扱えるようになります。実際の建物や道路、設備、地形などをデジタル空間に再現する場合、それぞれのデータが持つ特徴を活用することが重要です。
3DGSは、Gaussian Splattingと呼ばれる手法によって、撮影画像から得られた空間情報を多数のガウス分布として表現する技術です。各要素は位置、色、不透明度、形状、向きなどの情報を持ち、カメラから見たときに多数の要素が合成されることで、現実の空間に近い映像を生成します。
写真測量や従来のポリゴンモデルとは異なり、3DGSは必ずしも物体表面を連続したポリゴンで構成する必要がありません。そのため、樹木の葉、複雑な外壁、細かな設備、植生など、形状を単純な面で表現しにくい対象も視覚的に再現しやすいという特徴があります。
一方、メッシュは頂点、辺、面によって物体の表面形状を定義するデータです。建物の壁面、床、道路、地形、設備などを幾何学的に扱いやすく、衝突判定や法線計算、影の生成などにも利用できます。
この2種類のデータを組み合わせることで、3DGSだけでは扱いにくい幾何学的な処理をメッシュで補いながら、写真に近い外観を維持できます。
LCC UE SDKを利用する際には、単純に2つのデータを同じシーンに読み込むだけでなく、描画方式とデータの役割を理解する必要があります。特に重要なのが、3DGSの深度情報とメッシュ側の深度情報がどのように扱われるかという点です。
本稿では、XGRIDSのLCC Unreal Plugin(LCC4Unreal/LCC for UE)を対象とし、機能条件は公式マニュアルv3.5.0に基づいて説明します。同マニュアルの対応表では、プラグインv1.0.0以降はUnreal Engine 5.4~5.8、v1.0.0未満は5.1~5.7が対応範囲です。実際の導入時は、使用するプラグインのバージョンとUnreal Engineの組み合わせを公式配布情報で照合してください。<Cite refs={["turn887723view3"]}/>
3DGSのデータ形式や描画パイプラインによっては、深度出力や遮蔽判定への参加条件が異なります。例えば、LCC2系の描画パイプラインでは深度を出力して遮蔽判定に参加できますが、従来のLCC系では深度を出力しません。そのため、同じように配置したデータでも、使用する形式によってメッシュとの前後関係が変わる場合があります。<Cite refs={["turn194827view0","turn885421search11"]}/>
また、メッシュには大きく分けて、最終画像にも表示する通常のメッシュと、3DGSの描画やライティングを補助するプロキシメッシュがあります。
プロキシメッシュは、3DGSの見た目を置き換えるためのモデルではありません。3DGSに不足している深度や法線などの幾何学情報を補い、最終的な色の表現には3DGSを利用する仕組みです。プロキシメッシュ自体は最終画像に表示せず、描画処理に必要な情報を提供します。LCC Unreal PluginのProxyMeshはLCC2パイプラインで利用するPro版限定機能です。有効なProライセンスがない場合はFixedモードへ自動的にフォールバックします。<Cite refs={["turn887723view4","turn329562view0"]}/>
したがって、3DGSとメッシュの合成では、まず最終的にどのような映像を作りたいのかを決めることが重要です。現実空間を忠実に再現したいのか、建物や設備の幾何学的な形状を重ねたいのか、3DGSにリアルな影やライティングを追加したいのかによって、適切な構成は変わります。
手順1:合成する3DGSとメッシュの役割を決める
最初に行う作業は、3DGSとメッシュの役割を明確にすることです。この工程を省略すると、後から描画順序や深度設定を変更しても、期待した合成結果が得られない可能性があります。
3DGSとメッシュを合成する目的は、主に外観の再現、幾何形状の補完、遮蔽処理、ライティングの改善に分けられます。
外観の再現を優先する場合は、3DGSを主要な表示データとして使用します。撮影時の色や細かな表面模様を残しながら、建物や地形などの周囲に別の3Dモデルを配置する構成です。この場合、3DGSと通常のメッシュが互いの前後関係を正しく表現できるかを確認する必要があります。
幾何形状の補完を優先する場合は、メッシュを実際の形状を表現するデータとして扱います。例えば、3DGSで再現した建物の外観に、設計データから作成した壁面や設備モデルを重ねるケースです。
この構成では、3DGSとメッシュの位置や寸法が一致していないと、二重の輪郭や表面のちらつきが発生します。特に、壁面や床面のように同じ場所に存在する面を重ねる場合は注意が必要です。
ライティングの改善を目的とする場合は、プロキシメッシュを利用する方法が考えられます。3DGSは通常のポリゴンメッシュのような実際の幾何学的法線を持たないため、そのままでは一般的な3Dモデルと同じ方法で形状に応じたライティングを行うことが難しい場合があります。
プロキシメッシュを使用すると、メッシュ側から深度や法線、マテリアル情報を取得し、3DGSの色表現と組み合わせてライティングを行えます。
ここで注意したいのは、プロキシメッシュと表示用メッシュを混同しないことです。プロキシメッシュは基本的に描画を補助するための形状であり、画面上に建物のポリゴンモデルを追加表示することとは目的が異なります。
例えば、実際の建物の外観を3DGSで再現し、建物の大まかな形状をメッシュで補って影を表現したい場合は、プロキシメッシュが適しています。一方、設計変更後の設備モデルを3DGSの前面に表示したい場合は、通常の表示用メッシュとして配置する構成が適しています。
また、3DGSとメッシュのどちらを基準形状とするかも決めておきます。撮影時の現況を再現する場合は3DGSの位置と形状を基準にし、メッシュ側を調整する方法が合理的です。設計モデルを基準にする場合は、設計座標を維持しながら3DGSを合わせる必要があります。
合成の目的を明確にしておけば、後の工程で必要なデータ形式、座標変換、描画設定、検証方法を整理しやすくなります。
手順2:3DGSとメッシュのデータを準備する
次に、合成に使用する3DGSとメッシュのデータを準備します。データの品質や形式が適切でない場合、シーンに読み込めても、奥行きや形状の整合性が取れないことがあります。
まず、3DGSのデータ形式を確認します。LCC UE SDKでは、使用するバージョンや描画パイプラインに応じて複数の3DGS形式を扱えます。代表的な形式には、LCC、LCC2、PLY、SOG、SPZがあります。
ただし、形式によって読み込み処理や描画機能が異なるため、単にファイルを読み込めることだけで判断してはいけません。
特に確認したいのが、深度情報の出力と遮蔽処理への対応です。LCC2系の形式では深度を出力する仕組みが用意されていますが、従来のLCC系とは描画上の特性が異なります。使用するデータ形式が目的の合成方法に適しているか、事前に確認しておくことが大切です。<Cite refs={["turn194827view0","turn612836view0"]}/>
次にメッシュを準備します。メッシュは、3DGSと同じ空間を対象にしていることが理想です。同じ現場を同じ時期に取得したデータから生成したメッシュであれば、形状や位置を合わせやすくなります。
異なる時期に作成されたメッシュを使用する場合は、建物の改修、設備の移設、地形の変化などによって、3DGSとの形状差が生じていないかを確認します。
また、メッシュの細かさは目的に合わせて調整します。
表示用メッシュでは、表面形状や輪郭の再現性が重要になります。一方、ライティングを補助するプロキシメッシュでは、必ずしも高密度のポリゴンが必要ではありません。建物の大まかな体積や面の向きが一致していれば、比較的簡略化した形状でも利用できます。<Cite refs={["turn991146view1","turn562691view1"]}/>
メッシュのデータ量が大きい場合は、不要な部分を削除することも重要です。例えば、建物全体の3DGSに対して、一部分の影だけを補助したいのであれば、対象範囲以外のメッシュをすべて用意する必要はありません。
大規模な現場を複数のタイルに分割して取得している場合は、タイルごとのメッシュを整理し、必要に応じて統合します。ただし、すべてのタイルを無条件に1つのモデルへまとめるのではなく、空間的な連続性やデータ管理のしやすさを考慮する必要があります。
メッシュに大量のマテリアルやテクスチャが設定されている場合は、プロキシ用途で不要な情報を整理します。プロキシメッシュでは、3DGSが最終的な色を担当するため、メッシュ側に複雑なテクスチャを持たせる必要がないケースがあります。
不要なマテリアルスロットやテクスチャを減らすことで、描画負荷を抑えられる可能性があります。特に広い建物や大規模な地形を扱う場合は、メッシュの分割数やマテリアル数がパフォーマンスに影響するため、データ準備の段階で整理しておきます。<Cite refs={["turn562691view3","turn991146view1"]}/>
さらに、メッシュの法線方向や面の裏表も確認します。法線が反転している場合、ライティングの結果が不自然になったり、面が意図した方向に描画されなかったりすることがあります。
準備したメッシュをワイヤーフレーム表示や単色表示で確認し、欠損面、不要な重複面、極端に細長いポリゴンなどがないかをチェックします。
このように、3DGSとメッシュは単に同じ場所を再現したデータであればよいわけではありません。最終的な表示目的に合わせて、それぞれのデータが持つ情報と品質を整理しておくことが、安定した合成につながります。
手順3:座標系・原点・スケールを統一する
3DGSとメッシュを合成する際に、特に重要なのが座標系とスケールの統一です。見た目では近い位置に配置されていても、座標系の違いや単位の不一致によって、奥行きや形状に大きなずれが発生する場合があります。
最初に確認するのは、座標軸の向きです。3Dデータでは、X軸、Y軸、Z軸のどれを上方向とするか、左右の方向をどのように定義するかが形式によって異なる場合があります。
例えば、Z軸を上方向とするデータと、Y軸を上方向とするデータをそのまま組み合わせると、建物が横倒しになったり、地面が垂直方向に配置されたりする可能性があります。
LCC系のデータはZ軸を上方向とする座標系を採用しており、一般的な対象エンジンの座標系との関係では通常、特別な変換を必要としない構成があります。一方、Y軸を上方向とする形式のデータでは、適切な回転変換が必要になる場合があります。したがって、ファイル形式ごとの座標仕様を確認し、すでにインポート処理で変換されているかどうかも調べることが重要です。<Cite refs={["turn194827view0","turn885421search12"]}/>
次に、単位を確認します。
3Dデータでは、メートル単位で作成されたモデルと、センチメートル単位を前提とするシーンが混在することがあります。この状態で数値をそのまま読み込むと、建物が極端に小さくなったり、逆に巨大になったりします。
例えば、実際の高さが10mの建物を10cmとして扱ってしまうと、3DGSとの間に大きな寸法差が発生します。反対に、メートルの数値をセンチメートルとして読み込む場合も、モデルの大きさが意図しない状態になります。
スケールの確認では、既知の寸法を持つ対象を基準にすると効果的です。建物の幅、道路の幅、床から天井までの高さなど、実測値が分かる部分を選び、3DGSとメッシュの両方で寸法を比較します。
原点の位置も統一します。片方のデータが現場の基準点を原点としている一方、もう片方がモデル中心を原点としている場合、同じ座標値を入力しても一致しません。
特に、広い現場や複数の建物を含むデータでは、原点の違いが大きな位置ずれにつながります。データの取得時に使用した原点、基準座標、オフセット情報を確認しておきましょう。
地理座標を利用する場合は、緯度・経度・高さと、平面直角座標などの投影座標を混同しないようにします。異なる座標参照系で作成されたデータを重ねる場合は、適切な座標変換を行う必要があります。
また、高さの基準も確認します。楕円体高と標高は同じものではありません。異なる高さ基準を使ったデータを組み合わせると、水平位置が一致していても上下方向にずれることがあります。
実務では、水平位置だけでなく高さ方向も含めて、同じ基準でデータを管理することが重要です。
座標変換を行った後は、変換後の数値を保存し、どのような回転、移動、スケール変更を適用したかを記録します。複数の担当者がデータを扱う場合は、変換履歴を共有することで、後から位置ずれが発生したときの原因を追跡しやすくなります。
座標系、単位、原点、回転、スケールの5つを統一しておけば、次の配置工程で発生する問題を大幅に減らせます。
手順4:3DGSとメッシュを配置して位置合わせする
座標系とスケールを統一したら、シーン内に3DGSとメッシュを配置します。この工程では、単純にモデルの中心位置を一致させるのではなく、実際の形状がどの程度一致しているかを確認することが重要です。
最初に3DGSを読み込み、現場全体の位置関係を確認します。その後、メッシュを配置し、両者が同じ空間を占めるように位置を調整します。
このとき、建物の角、柱の中心、床と壁の境界、地面と構造物の接点など、形状を比較しやすい特徴点を基準にすると作業を進めやすくなります。
例えば、建物の四隅が3DGSとメッシュで一致しているかを確認します。建物の中央だけを合わせても、回転角度が異なっていれば、外周部分で大きなずれが発生する可能性があります。
そのため、複数の特徴点を確認しながら位置合わせを行います。平面上の位置だけでなく、高さ方向のずれも調べることが重要です。
異なる取得方法で作成したデータを組み合わせる場合は、特徴点による初期位置合わせの後に、点群やメッシュの対応部分を利用した位置合わせを検討します。
例えば、共通する壁面や地面の形状を抽出し、対応する点同士の距離が小さくなるように変換を調整する方法があります。点群を利用した反復的な位置合わせ手法も有効ですが、植生や移動物体、形状が変化した部分などを含めると、誤った位置に収束する可能性があります。
そのため、位置合わせに利用する範囲は、できるだけ形状が安定している部分を選びます。
プロキシメッシュを使用する場合は、3DGSとメッシュが同じ空間範囲をカバーしていることも確認します。3DGSが建物全体を表現しているのに、プロキシメッシュが屋根だけしか持っていない場合、屋根以外の部分では正しい法線や深度を取得できません。
必要に応じて、複数のプロキシメッシュを配置して異なる範囲を補完する構成も検討できます。重要なのは、各メッシュの位置と形状が対応する3DGSの範囲に合っていることです。<Cite refs={["turn562691view0","turn562691view1"]}/>
また、メッシュを3DGSの表面に完全に重ねるべきかどうかは、利用目的によって異なります。
プロキシメッシュの場合は、3DGSの形状を補助するため、できるだけ実際の表面形状に近づける必要があります。ただし、細かな凹凸まで完全に一致させる必要はなく、大まかな体積や面の向きが正しく表現されていればよいケースもあります。
一方、表示用メッシュの場合は、3DGSと同じ場所に同じ面を重ねると、深度の競合やちらつきが発生する可能性があります。必要以上に面を重ねず、どちらのデータを表示するのかを明確にします。
位置合わせが完了したら、正面だけでなく側面や斜め方向から確認します。正面では一致して見えても、奥行き方向にずれている場合、斜めから見ると二重の輪郭が現れることがあります。
複数の視点から一致を確認することが、自然な合成結果を得るための基本です。
手順5:深度・法線・遮蔽の描画設定を調整する
3DGSとメッシュの位置合わせが完了したら、描画設定を調整します。奥行きや遮蔽の違和感を防ぐうえで、最も重要な工程の一つです。
まず確認するのは、3DGSの深度出力です。
一般的なポリゴンメッシュは、描画時に深度情報を生成し、カメラから見た前後関係を判定します。これによって、手前にある物体が奥にある物体を隠す処理が行われます。
しかし、3DGSは通常のポリゴンメッシュとは異なる描画方式を使用するため、すべての形式や描画パイプラインで同じ深度処理が行われるわけではありません。
LCC UE SDKでは、使用するデータ形式に対応した描画パイプラインを確認する必要があります。特に、LCC2系では深度出力と遮蔽判定に対応する一方、従来のLCC系では深度出力の仕組みが異なります。
したがって、メッシュを配置したのに3DGSが手前に残る、あるいはメッシュが不自然に隠れるといった問題が発生した場合は、最初にデータ形式と描画パイプラインを確認します。<Cite refs={["turn194827view0","turn612836view0"]}/>
次に、法線の設定を調整します。
法線とは、3Dモデルの各面がどちらを向いているかを表す情報です。光が当たる方向と法線の関係によって、面の明るさや影の表現が変わります。
3DGSは通常のメッシュと同じ実形状の法線を持たないため、シーン内の照明と自然に連動させるには、法線を補う仕組みが必要になります。
LCC2系では、法線の生成方式を選択できる構成があります。カメラに対する向きを利用する方法、一定方向の法線を使用する方法、半球状の近似法線を使用する方法、プロキシメッシュから実際の形状に対応した法線を取得する方法などです。方式によって、視点を移動したときの安定性や形状に応じた陰影表現が異なります。<Cite refs={["turn178671view0","turn991146view1"]}/>
建物や構造物の形状に応じた陰影を表現したい場合は、プロキシメッシュを利用する方法が有効です。
設定の基本的な流れとしては、まず有効なProライセンスがあることを確認し、プロキシメッシュ用のアクターをシーンに配置して対象となるメッシュを割り当てます。Litによる再ライティングを行う場合は、Unreal Engineの描画方式をDeferred Shadingに設定してください。Forward ShadingではGBufferがないため、Litを指定しても再ライティングは動作しません。Project Settings > Rendering > Forward Shadingを無効にした後、3DGS側のライティングをLitモードにし、法線生成方式をProxyMeshに設定します。<Cite refs={["turn329562view0","turn887723view5"]}/>
プロキシメッシュの配置では、3DGSと同じ位置に重なるように調整します。位置がずれていると、見えている3DGSの表面と、ライティング計算に使用するメッシュの形状が一致しなくなります。
例えば、建物の壁面が3DGSでは垂直なのに、プロキシメッシュが斜めに傾いている場合、光の当たり方が不自然になります。実際の画像では垂直な壁なのに、陰影だけが斜め方向に変化するため、合成された空間に違和感が生じます。
プロキシメッシュを設定した後は、光源の方向を変え、3DGSの表面に自然な陰影が発生するかを確認します。また、プロキシメッシュ自体が最終画像に表示されていないことも確認します。<Cite refs={["turn562691view0","turn562691view1"]}/>
さらに、マテリアルの設定も重要です。
プロキシメッシュのマテリアル情報は、3DGSのライティングやポストプロセスに影響する場合があります。壁面、金属設備、水面など、実際の材質によって適切な反射や粗さの設定は異なります。
例えば、コンクリート壁に金属のような強い反射を設定すると、実際の写真に近い色を持つ3DGSに対して、光の反射だけが不自然に強くなります。
基本的な陰影の補助だけを目的とする場合は、単純なマテリアルで構成する方法もあります。材質の反射まで再現する場合は、対象物の性質に合った設定を検討します。
最後に、深度の競合を確認します。
3DGSとメッシュがほぼ同じ位置に存在すると、画素ごとの深度判定が不安定になる場合があります。特に、壁面や床面などの広い平面で発生しやすく、カメラを動かすとちらつきや表示の切り替わりが見えることがあります。
このような場合は、まず位置合わせの精度を確認し、必要に応じて深度の許容範囲や描画設定を調整します。単純にメッシュを前後へ大きく移動すると、今度は別の場所で二重表示が発生するため、根本原因を確認してから変更することが大切です。
手順6:複数視点から合成結果を検証する
描画設定を調整したら、最後に合成結果を検証します。正面から見た画像が自然でも、カメラを移動すると奥行きや遮蔽の問題が現れることがあるためです。
最初に確認するのは、3DGSとメッシュの輪郭です。
建物の角、柱、屋根、床面、壁面など、形状の変化が明確な場所を確認します。3DGSとメッシュの輪郭が一致していない場合、境界部分に二重の線が現れたり、メッシュが3DGSから浮いているように見えたりします。
次に、カメラを左右に移動します。視点を変えたときに、3DGSの表面とメッシュの位置関係が大きく変化しないかを確認します。
特に重要なのは、近距離と遠距離の両方で確認することです。近距離では小さな位置ずれが目立ちやすく、遠距離ではメッシュの形状や深度の違いが画面上で分かりにくくなる場合があります。
また、視点を上下方向にも動かします。床面や天井面は、水平位置が一致していても高さがずれていると、上下方向から見たときに不自然な重なりが発生します。
次に、遮蔽関係を確認します。
例えば、建物の手前に別のメッシュを配置し、その後ろに3DGSが存在する構成を作ります。この状態で、手前のメッシュが正しく3DGSを隠しているかを確認します。
反対に、3DGSの手前にメッシュを配置した場合は、3DGS側の奥行き表現が適切に維持されているかを確認します。
この検証では、単にメッシュが表示されるかどうかだけでなく、カメラから見た前後関係が一貫しているかが重要です。
さらに、光源を移動させて陰影の変化を確認します。プロキシメッシュを利用している場合は、3DGSの表面に対して光が自然に当たり、形状に沿った陰影が生成されるかを調べます。
照明の方向を変えたときに、影だけが不自然に移動する場合は、メッシュの法線や位置合わせに問題がある可能性があります。
また、長時間の表示やカメラ移動による描画状態の変化も確認します。大規模な3DGSでは、視点に応じて必要なデータを読み込む方式が使われることがあります。この場合、カメラの移動に伴って表示される詳細度が変わるため、メッシュとの境界に見た目の差が生じる可能性があります。<Cite refs={["turn612836view0"]}/>
検証では、最初に読み込んだ直後だけでなく、カメラを移動した後、遠方から近づいたとき、視点を大きく変更したときなど、複数の状況を確認します。
最後に、実際の利用環境で表示を確認します。エディタ上で自然に見えても、実行時やパッケージ化した後に描画設定が異なる場合があります。
特に、実行時に3DGSやメッシュを動的に読み込む構成では、読み込みのタイミングによって一時的な表示欠けが発生する可能性があります。
最終的には、実際に使用するカメラ、解像度、描画設定、実行環境で確認することが重要です。
3DGSとメッシュの合成で発生しやすい問題と対処法
3DGSとメッシュの合成では、位置合わせや描画設定が正しく見えていても、特定の視点や場面で違和感が発生することがあります。ここでは、実務で注意したい代表的な問題と、その対処方法を整理します。
最初に挙げられるのは、メッシュが3DGSの表面から浮いて見える問題です。
この現象は、両者の位置やスケールが一致していない場合に発生します。特に、別々の計測データから作成したモデルでは、取得時の基準点や座標系の違いによって位置がずれることがあります。
対処するには、共通する特徴点を選び、水平位置と高さの両方を確認します。建物の四隅や柱の位置など、複数の基準を使って比較することが重要です。中心位置だけを合わせる方法では、回転やスケールの違いを見落とす可能性があります。
次に、3DGSとメッシュの境界が二重に見える問題です。
これは、同じ壁面や床面を両方のデータで表示している場合に発生しやすくなります。メッシュの表面と3DGSの表面がわずかにずれていると、見る方向によって二重の輪郭が現れます。
この場合は、どちらのデータを表示の主体とするかを決めます。3DGSを主役にするなら、表示用メッシュの重複範囲を減らす方法があります。メッシュをプロキシ用途に限定する場合は、最終画像に表示されない構成になっているかを確認します。
また、メッシュが3DGSを正しく隠さない問題もあります。
原因として考えられるのは、データ形式に対応する描画パイプラインの違いや、深度出力の設定、描画方式の組み合わせです。
最初に3DGSの形式を確認し、深度情報が出力される構成になっているかを調べます。深度出力に対応しない描画方式では、通常のメッシュと同じ遮蔽処理を期待できない場合があります。
次に、法線が不自然に見える問題です。
3DGSの色は自然に見えているのに、光を当てると建物の壁面が不自然に明るくなったり、屋根の陰影が反対方向に出たりする場合は、プロキシメッシュの形状や法線を確認します。
メッシュの面の向きが実際の形状と異なっている場合、ライティング結果も不自然になります。プロキシメッシュは高密度である必要はありませんが、建物の大まかな体積と面の向きを正しく表現する必要があります。
さらに、カメラを動かすと一部の3DGSが消える問題もあります。
大規模なシーンでは、カメラ位置に応じてデータを分割して読み込む処理や詳細度の切り替えが行われます。そのため、データの読み込みがカメラ移動に追いつかない場合や、詳細度の境界が目立つ場合に、表示の変化が発生することがあります。
この場合は、データの読み込み方式、表示範囲、詳細度設定、メモリ使用量などを確認します。小規模なシーンでは全体を読み込む方式が適している場合もありますが、大規模なシーンではメモリ消費が増えるため、常に全体読み込みが最適とは限りません。<Cite refs={["turn612836view0"]}/>
最後に、色や明るさが合わない問題です。
3DGSには撮影時の光や色の情報が含まれているため、シーン側の照明をそのまま適用すると、元の画像よりも明るくなったり、色が変化したりすることがあります。
この場合は、3DGSの元の色をどの程度維持するかを確認し、ライティングの影響度を調整します。また、メッシュ側のマテリアル設定と3DGSの色表現が大きく異なっていないかも調べます。
こうした問題は、単一の設定を変更するだけでは解決しないことがあります。座標、形状、深度、法線、マテリアル、描画方式を順番に確認し、どの段階で違和感が生まれているのかを切り分けることが重要です。
大規模な3DGS合成で意識したいパフォーマンス管理
広い現場や複数の建物を含むシーンでは、3DGSとメッシュを合成することによって描画負荷が増加します。見た目の品質を高めるだけでなく、実行時の安定性も考慮する必要があります。
まず確認したいのが、3DGSのデータ量です。
3DGSは多数のガウス要素を使って空間を表現するため、対象範囲やデータの密度によって必要なメモリ量が変わります。特に、球面調和関数などの追加情報を含むデータでは、描画に必要なメモリが増えることがあります。
大規模なデータを扱う場合は、必要な範囲を分割して読み込む方式が有効です。カメラから見える範囲を中心にデータを読み込むことで、シーン全体を常にメモリ上に保持する必要がなくなります。
一方、小規模なシーンでは、全体を読み込んで保持する方式が適している場合があります。カメラ移動時の読み込み処理を減らせるため、視点を頻繁に変更するプレゼンテーションや映像制作では有効な選択肢になります。
ただし、全体読み込みではデータ量に応じてメモリ消費が増えるため、使用する環境の容量を確認することが必要です。<Cite refs={["turn612836view0"]}/>
メッシュ側の最適化も重要です。
特に、プロキシメッシュでは最終的な形状を表示することが目的ではないため、必要以上にポリゴン数を増やさないようにします。大まかな形状を維持しながら、不要な頂点や細かな面を削減することで、描画負荷を抑えられます。
また、メッシュが複数のマテリアルに分かれている場合は、必要に応じて整理します。テクスチャやマテリアルの数が多いと、描画処理の負荷が増加する可能性があります。
ただし、最適化のためにメッシュを過度に簡略化すると、法線の方向や大きな凹凸が変わり、3DGSの陰影に違和感が生じることがあります。最適化前後でライティングの結果を比較することが大切です。
さらに、シーン内のメッシュをどの範囲まで配置するかも検討します。
例えば、建物全体の3DGSを表示していても、プロキシメッシュは影を表現したい主要部分だけに限定できる場合があります。必要な範囲を絞ることで、無駄な描画処理を減らせます。
描画負荷の評価では、フレームレートだけでなく、カメラ移動時の変化も確認します。静止状態では問題がなくても、カメラを高速で移動させたときにデータの読み込みが間に合わず、表示が不安定になることがあります。
そのため、実際の利用シーンを想定したカメラ移動を行い、データの読み込みと描画が安定しているかを確認します。
大規模なシーンでは、表示品質、メモリ消費、読み込み速度、描画負荷のバランスを取ることが重要です。単純にデータを軽量化するのではなく、表示する目的と対象範囲に合わせて最適化を行いましょう。
実務で使える合成品質の確認方法
3DGSとメッシュを実務で利用する場合は、見た目の自然さだけでなく、位置や形状の整合性を定量的に確認することが重要です。
特に、建設現場、設備管理、施設管理、デジタルツインなどで利用する場合は、表示上の違和感が実際の位置情報の誤差に由来するのか、描画処理の違いに由来するのかを区別する必要があります。
まず、共通する基準点を設定します。
建物の角、柱の中心、床面の交点など、3DGSとメッシュの両方で確認できる位置を選びます。可能であれば、複数の基準点を使用し、対象範囲全体の位置ずれを調べます。
次に、基準点ごとの座標差を確認します。水平位置の差だけでなく、高さ方向の差も評価することが重要です。
一部の基準点だけが大きくずれている場合は、メッシュの局所的な形状差や、3DGSの再構成品質に問題がある可能性があります。すべての基準点が同じ方向にずれている場合は、原点や座標変換に問題がある可能性があります。
また、複数の地点で同じようなずれが発生している場合は、スケールや回転の設定も確認します。
このように、位置ずれの方向や大きさを比較することで、原因を切り分けやすくなります。
さらに、実際の現場で取得したデータと照合することも有効です。既知点や基準点を使用して座標を確認すれば、3DGSとメッシュの合成結果が現実空間とどの程度一致しているかを評価できます。
ただし、表示上の位置が一致していることと、測量成果として必要な精度を満たしていることは別の問題です。3DGSの見た目だけで測量精度を判断せず、必要に応じて独立した検証点を使用します。
また、奥行きの検証では、カメラから見た前後関係を複数の地点で確認します。例えば、建物の外壁の前に設備モデルを配置した場合、設備モデルが適切に手前に表示されるか、壁の後ろにある部分が正しく隠れるかを確認します。
同じ検証を異なる視点から行うことで、特定のカメラ角度だけで成立する不自然な合成を発見できます。
最終的には、次の3つの観点で品質を判断します。
第一に、空間的な整合性です。3DGSとメッシュの座標、スケール、高さ、形状が一致しているかを確認します。
第二に、描画上の整合性です。深度、遮蔽、法線、影、色の表現が自然であり、視点を変えても不自然な変化が発生しないかを確認します。
第三に、運用上の安定性です。大規模なデータを読み込んだ場合でも、表示欠けや極端な処理負荷が発生せず、想定した環境で継続して利用できるかを確認します。
この3つを分けて評価することで、単に見栄えがよいだけではなく、実務に利用できる3DGSとメッシュの合成環境を構築しやすくなります。
まとめ
LCC UE SDKで3DGSとメッシュを合成するには、データを同じシーンに読み込むだけでなく、座標系、スケール、原点、描画方式、深度、法線を適切に管理する必要があります。
特に重要なのは、3DGSとメッシュの役割を最初に明確にすることです。3DGSを外観表現の中心とするのか、メッシュを実形状の表示に使用するのか、プロキシメッシュとしてライティングや深度を補うのかによって、適切な構成は変わります。
実際の作業では、まずデータ形式と描画パイプラインを確認し、3DGSとメッシュのデータを準備します。その後、座標系や単位を統一し、複数の特徴点を使って位置合わせを行います。
続いて、深度出力、遮蔽処理、法線、ライティングなどの設定を調整し、最後に複数視点から合成結果を検証します。
奥行きや遮蔽の違和感が発生した場合は、描画設定だけを変更するのではなく、データ形式、座標、形状、深度の順に原因を確認することが重要です。
また、大規模な現場では、3DGSの読み込み方式やメッシュのポリゴン数、マテリアル数なども適切に管理する必要があります。見た目の品質と処理負荷のバランスを取りながら、利用目的に合った3D空間を構築しましょう。
3DGSとメッシュを活用したデジタルツインや現場の3D可視化では、モデルの描画だけでなく、現実空間との位置関係を正確に管理することも大切です。現場で取得した位置情報や座標を3Dデータの活用につなげたい場合は、GNSS測位を活用するLRTK Phoneも選択肢になります。現場計測と3Dデータを組み合わせた効率的な空間管理を検討してみてください。