ドローンx生成AIで高精度な「温泉施設デジタルアーカイブ」を高速に作成
[24/07/14]
提供元:PRTIMES
提供元:PRTIMES
ドローン撮影わずか5分。デジタルカレッジKAGAは、ドローンや生成AIなど複数手法を活用した「温泉施設デジタルアーカイブ」サービスの提供を開始。
[画像1: https://prcdn.freetls.fastly.net/release_image/99079/20/99079-20-6065646857b1ba19c601cb79d7ff2dd0-856x472.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
汎用の機材のみで組成された三次元点群デジタルアーカイブ
デジタルカレッジKAGAは、ドローンや生成AIなど複数手法を活用して温泉デジタルアーカイブを組成していくサービスを提供開始。このサービスにおいては、高額な機材を使わず、現場で手軽に実施できる作業で、迅速かつ精密に温泉施設のデジタルアーカイブを組成、温泉の魅力をデジタル化します。ドローンコンプレックスKAGAの取組に共感して集まった人的ネットワークを駆使してこれを実現しています。
モデルケースとして、加賀温泉郷山代古総湯(※)を対象にした「古総湯プロジェクト」を実施。点群データの取得に取り組みました。このプロジェクトでは、ドローンの自動航行による撮影と、汎用機器(スマートフォン等)を用いた外部構造データの収集を行い、生成AIを活用してデータの欠損を補完しました。この方法により、高精度な建物の三次元モデルを迅速に作成し、施設の内部に関しても全天球カメラやスマートフォンを活用したウォークスルーやフォトグラメトリを実施しました。
[動画: https://www.youtube.com/watch?v=YF2OXg40d_U ]
汎用機材の組み合わせで手軽かつ高速に実用化
1.汎用ドローンによる上空からの撮影
[画像2: https://prcdn.freetls.fastly.net/release_image/99079/20/99079-20-d254ab3a567a96cf57fcb0a9f9ba8a8a-859x632.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
ミッションの概要:実フライト時間はわずか5分
様々な汎用ドローンと撮影・センシング機材を柔軟に組み合わせ活用することが可能です。古総湯プロジェクトで使用したドローンは、オープンソースの自動化が可能なエンルート製のZion QC730で、ArduPilot Mission Plannerを使用した自動化プログラムにより、完全自動ミッションでの撮影を実現しました。搭載されたソニー α6000 カメラは高精細な画像を取得し、実際の飛行時間は約5分でした。
2.施設内のドローンやスマートフォンによる撮影
施設内のデジタルアーカイブ作成は屋外よりも複雑ですが、デジタルカレッジKAGAではさまざまな機材を活用しています。具体的には、DJI製のAVATAシリーズや4Kカメラを搭載したマイクロドローン、屋内用スマートフォン搭載ドローン、そしてローバー型移動体を使用して撮影を行います。
この撮影活動は加賀市内外の運用パートナーと連携し、汎用機材を使用しながらも、温泉施設の業務の合間に迅速に実施します。撮影されたデータは解析のために整理され、他の収集手法で得られたデータと統合されます。
[画像3: https://prcdn.freetls.fastly.net/release_image/99079/20/99079-20-e31e96ac5ffbcbde15b040a4317cc104-749x540.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
温泉旅館を飛び回るドローンのイメージ
ドローンコンプレックスKAGAの事業取組の一環で実施された温泉旅館内のドローン撮影はこちらにまとめられています。▼
加賀百万石で撮られたドローン映像が凄い!
3.スマートフォンx生成AIによる点群データの穴埋め
[画像4: https://prcdn.freetls.fastly.net/release_image/99079/20/99079-20-288536327dff28f7a6ebd00830d5b6df-842x505.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
スマートフォンで補完取得したデータを組み合わせs
ドローンで撮影できない場所については、スマートフォンなどの汎用機器と生成AIを活用して自由視点の画像生成を行い、データを補完します。これにより、建物全体の精密な再現が可能となります。
たとえば、古総湯プロジェクトでは、補完データの撮影にかかる時間は30分以内で、施設の休息時間内に迅速に作業を完了できます。
4.全天球カメラによる撮影
また、施設内の撮影時には全天球カメラ(古総湯プロジェクトではInsta360 X3を使用)を利用し、内部の撮影を行います。全天球カメラでの撮影はウォークスルーツールとして活用できるだけでなく、フォトグラメトリ技術を用いて解析し、特徴点の位置関係やパースの変化を利用して、対象物の形状を三次元の点群モデルに変換することが可能です。これをドローン撮影と組み合わせることで、内外のデータの精度が向上します。
[画像5: https://prcdn.freetls.fastly.net/release_image/99079/20/99079-20-e28b65e318e5c116ecdae399fadb878a-941x601.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
全天球カメラによる撮影
山代古総湯の全天球ウォークスルー
5.衛星データやPlateauと組み合わせた活用
[画像6: https://prcdn.freetls.fastly.net/release_image/99079/20/99079-20-f8bb35e259d019e571eb180535f28aff-859x542.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
国土交通省・プラトービューワーによる古総湯
三次元に点群モデル化されたデータは、メタバースへの展開も可能です。また、衛星から取得された各種データや、国土交通省のPlateauに集約された都市の三次元データと組み合わせることにより、住民を巻き込んだ都市計画のシミュレーションや、経年による施設内外の環境比較に活用されます。
6.温泉効能の可視化
デジタルカレッジKAGAでは、脳波による温泉の効能のデジタル化を予備試験中です。通常、温泉の泉質は分析されていますが、その泉質のバランスの違いが人体に与える効能の微妙な違いの可視化はあまり行われていません。現在、デジタルカレッジKAGAでは脳波計測を活用し、主観に頼らない効能の可視化を研究しています。施設のデジタルアーカイブと共に、温泉効能の可視化を行うことで、新たな価値を提供します。
[画像7: https://prcdn.freetls.fastly.net/release_image/99079/20/99079-20-776f1fd744b5ed5d27cef5c4db9acad2-2912x1632.jpg?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
脳波計測のイメージ
現場調査等、実際に運用中の施設に対しての現場作業は時間との勝負になります。現場でのミッションを速やかに実施し、補完的な技術と組み合わせることで迅速かつ精緻に施設の全体像を容易に把握することが可能になります。施設のデジタルアーカイブは適切なデータフォーマットで保存され、将来における施設の維持管理やデザイン等に活用されます。また、三次元データ化しておくことでメタバース等への導入が容易になります。
※加賀温泉郷山代古総湯
「山代古総湯」建築家内藤廣氏によってデザインされた、明治時代の雰囲気が再現された共同浴場。2010年竣工。グッドデザイン賞受賞、高さ約12m、木造2階建て。北陸では町の中心に設置された共同浴場を総湯と表現します。山代古総湯は北陸の温泉のシンボルとして各種メディアにもよく取り上げられています。
[画像8: https://prcdn.freetls.fastly.net/release_image/99079/20/99079-20-d9635bfbeaccb75a938ec11987322592-820x602.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
山代古総湯上空を飛行するドローン
今後の取り組み
デジタルカレッジKAGAでは、最先端技術を駆使してインフラ構造物のデータ化や歴史的建築物のデジタルアーカイブ化を行い、持続可能なインフラの構築に全力で取り組んでいます。詳細な情報やサービスに関するお問い合わせは、デジタルカレッジKAGAまでご連絡ください。
お問い合わせ先: デジタルカレッジKAGA
メールアドレス: info@dckaga.com
■■ドローンエンジニア会議でのケース報告■■
・子総湯プロジェクトの内容は7月27日〜28日にかけて行われる「ドローンエンジニア会議2024 in KAGA」で詳細が報告される予定となっています。
こちらにも是非ご参加ください!
[画像9: https://prcdn.freetls.fastly.net/release_image/99079/20/99079-20-d908b9ada158caea9b04d49a7a5e5273-920x450.jpg?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
ドローンエンジニア会議詳細
[画像1: https://prcdn.freetls.fastly.net/release_image/99079/20/99079-20-6065646857b1ba19c601cb79d7ff2dd0-856x472.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
汎用の機材のみで組成された三次元点群デジタルアーカイブ
デジタルカレッジKAGAは、ドローンや生成AIなど複数手法を活用して温泉デジタルアーカイブを組成していくサービスを提供開始。このサービスにおいては、高額な機材を使わず、現場で手軽に実施できる作業で、迅速かつ精密に温泉施設のデジタルアーカイブを組成、温泉の魅力をデジタル化します。ドローンコンプレックスKAGAの取組に共感して集まった人的ネットワークを駆使してこれを実現しています。
モデルケースとして、加賀温泉郷山代古総湯(※)を対象にした「古総湯プロジェクト」を実施。点群データの取得に取り組みました。このプロジェクトでは、ドローンの自動航行による撮影と、汎用機器(スマートフォン等)を用いた外部構造データの収集を行い、生成AIを活用してデータの欠損を補完しました。この方法により、高精度な建物の三次元モデルを迅速に作成し、施設の内部に関しても全天球カメラやスマートフォンを活用したウォークスルーやフォトグラメトリを実施しました。
[動画: https://www.youtube.com/watch?v=YF2OXg40d_U ]
汎用機材の組み合わせで手軽かつ高速に実用化
1.汎用ドローンによる上空からの撮影
[画像2: https://prcdn.freetls.fastly.net/release_image/99079/20/99079-20-d254ab3a567a96cf57fcb0a9f9ba8a8a-859x632.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
ミッションの概要:実フライト時間はわずか5分
様々な汎用ドローンと撮影・センシング機材を柔軟に組み合わせ活用することが可能です。古総湯プロジェクトで使用したドローンは、オープンソースの自動化が可能なエンルート製のZion QC730で、ArduPilot Mission Plannerを使用した自動化プログラムにより、完全自動ミッションでの撮影を実現しました。搭載されたソニー α6000 カメラは高精細な画像を取得し、実際の飛行時間は約5分でした。
2.施設内のドローンやスマートフォンによる撮影
施設内のデジタルアーカイブ作成は屋外よりも複雑ですが、デジタルカレッジKAGAではさまざまな機材を活用しています。具体的には、DJI製のAVATAシリーズや4Kカメラを搭載したマイクロドローン、屋内用スマートフォン搭載ドローン、そしてローバー型移動体を使用して撮影を行います。
この撮影活動は加賀市内外の運用パートナーと連携し、汎用機材を使用しながらも、温泉施設の業務の合間に迅速に実施します。撮影されたデータは解析のために整理され、他の収集手法で得られたデータと統合されます。
[画像3: https://prcdn.freetls.fastly.net/release_image/99079/20/99079-20-e31e96ac5ffbcbde15b040a4317cc104-749x540.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
温泉旅館を飛び回るドローンのイメージ
ドローンコンプレックスKAGAの事業取組の一環で実施された温泉旅館内のドローン撮影はこちらにまとめられています。▼
加賀百万石で撮られたドローン映像が凄い!
3.スマートフォンx生成AIによる点群データの穴埋め
[画像4: https://prcdn.freetls.fastly.net/release_image/99079/20/99079-20-288536327dff28f7a6ebd00830d5b6df-842x505.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
スマートフォンで補完取得したデータを組み合わせs
ドローンで撮影できない場所については、スマートフォンなどの汎用機器と生成AIを活用して自由視点の画像生成を行い、データを補完します。これにより、建物全体の精密な再現が可能となります。
たとえば、古総湯プロジェクトでは、補完データの撮影にかかる時間は30分以内で、施設の休息時間内に迅速に作業を完了できます。
4.全天球カメラによる撮影
また、施設内の撮影時には全天球カメラ(古総湯プロジェクトではInsta360 X3を使用)を利用し、内部の撮影を行います。全天球カメラでの撮影はウォークスルーツールとして活用できるだけでなく、フォトグラメトリ技術を用いて解析し、特徴点の位置関係やパースの変化を利用して、対象物の形状を三次元の点群モデルに変換することが可能です。これをドローン撮影と組み合わせることで、内外のデータの精度が向上します。
[画像5: https://prcdn.freetls.fastly.net/release_image/99079/20/99079-20-e28b65e318e5c116ecdae399fadb878a-941x601.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
全天球カメラによる撮影
山代古総湯の全天球ウォークスルー
5.衛星データやPlateauと組み合わせた活用
[画像6: https://prcdn.freetls.fastly.net/release_image/99079/20/99079-20-f8bb35e259d019e571eb180535f28aff-859x542.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
国土交通省・プラトービューワーによる古総湯
三次元に点群モデル化されたデータは、メタバースへの展開も可能です。また、衛星から取得された各種データや、国土交通省のPlateauに集約された都市の三次元データと組み合わせることにより、住民を巻き込んだ都市計画のシミュレーションや、経年による施設内外の環境比較に活用されます。
6.温泉効能の可視化
デジタルカレッジKAGAでは、脳波による温泉の効能のデジタル化を予備試験中です。通常、温泉の泉質は分析されていますが、その泉質のバランスの違いが人体に与える効能の微妙な違いの可視化はあまり行われていません。現在、デジタルカレッジKAGAでは脳波計測を活用し、主観に頼らない効能の可視化を研究しています。施設のデジタルアーカイブと共に、温泉効能の可視化を行うことで、新たな価値を提供します。
[画像7: https://prcdn.freetls.fastly.net/release_image/99079/20/99079-20-776f1fd744b5ed5d27cef5c4db9acad2-2912x1632.jpg?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
脳波計測のイメージ
現場調査等、実際に運用中の施設に対しての現場作業は時間との勝負になります。現場でのミッションを速やかに実施し、補完的な技術と組み合わせることで迅速かつ精緻に施設の全体像を容易に把握することが可能になります。施設のデジタルアーカイブは適切なデータフォーマットで保存され、将来における施設の維持管理やデザイン等に活用されます。また、三次元データ化しておくことでメタバース等への導入が容易になります。
※加賀温泉郷山代古総湯
「山代古総湯」建築家内藤廣氏によってデザインされた、明治時代の雰囲気が再現された共同浴場。2010年竣工。グッドデザイン賞受賞、高さ約12m、木造2階建て。北陸では町の中心に設置された共同浴場を総湯と表現します。山代古総湯は北陸の温泉のシンボルとして各種メディアにもよく取り上げられています。
[画像8: https://prcdn.freetls.fastly.net/release_image/99079/20/99079-20-d9635bfbeaccb75a938ec11987322592-820x602.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
山代古総湯上空を飛行するドローン
今後の取り組み
デジタルカレッジKAGAでは、最先端技術を駆使してインフラ構造物のデータ化や歴史的建築物のデジタルアーカイブ化を行い、持続可能なインフラの構築に全力で取り組んでいます。詳細な情報やサービスに関するお問い合わせは、デジタルカレッジKAGAまでご連絡ください。
お問い合わせ先: デジタルカレッジKAGA
メールアドレス: info@dckaga.com
■■ドローンエンジニア会議でのケース報告■■
・子総湯プロジェクトの内容は7月27日〜28日にかけて行われる「ドローンエンジニア会議2024 in KAGA」で詳細が報告される予定となっています。
こちらにも是非ご参加ください!
[画像9: https://prcdn.freetls.fastly.net/release_image/99079/20/99079-20-d908b9ada158caea9b04d49a7a5e5273-920x450.jpg?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
ドローンエンジニア会議詳細