primeNumber社、データカタログ「COMETA(R)」のdbtメタデータ連携機能をリリース dbtを通じてCOMETA(R)上でカラムリネージを確認し、スムーズな障害対応やデータ信頼性の向上を実現
[24/10/31]
提供元:PRTIMES
提供元:PRTIMES
株式会社primeNumber(本社:東京都品川区、代表取締役CEO 田邊 雄樹)は、データカタログサービス「COMETA(R)(コメタ)」の機能を拡充、新たにdbt(data build tool)の連携機能を搭載しました。
[画像1: https://prtimes.jp/i/39164/94/resize/d39164-94-fe39ec3590db39863962-0.png ]
https://primenumber.com/cometa
dbtは、dbt Labs社が提供するデータ変換ツールです。有償の「dbt Cloud」、オープンソースソフトウェアの「dbt Core」の2種類が提供されており、SQLをベースとしたデータウェアハウスを構築するためのツールとして、データエンジニアを中心に幅広く使われています。
今回の連携により、COMETA(R)でdbtを使ったカラムリネージ(※1)が利用できるようになります。これまでCOMETA(R)でカラムリネージを利用するには、primeNumberのデータ基盤総合支援サービス「TROCCO(R)(トロッコ)」を併用する必要がありましたが、dbtメタデータ連携によってCOMETA(R)の画面上でカラムリネージを確認できます。
お客さまはdbtを通じてカラムリネージを取得し、データ同士の依存関係を簡単に把握できます。これにより基盤の全体像を把握、管理することで、障害発生時に影響範囲を迅速に確認し、データの信頼性を向上させることが可能となります。
(※1)カラムリネージ(データリネージ):データがどのような経緯で取得され、どのような分析を行うのかといった一連の流れを管理することで、データの信頼性向上やエラーへの対処を行うための機能。詳細はprimeNumberの解説をご覧ください。
データリネージ(Data Lineage)とは?データマネジメントに欠かせないデータリネージについて解説 | TROCCO(R)(トロッコ)
https://blog.trocco.io/glossary/data-lineage
機能概要
カラムリネージのサポート
dbtによって生成されたSQLクエリを解析することで、カラムレベルのリネージ情報を提供します。COMETA(R)がカタログ化したテーブルの詳細ページそれぞれからカラムリネージ情報にアクセスでき、実際にそのテーブルがどのようなSQLにより生成され、どのようなテーブルが参照されているかを簡単に確認できます。
[画像2: https://prtimes.jp/i/39164/94/resize/d39164-94-c1bc8f6dca6fef555a3f-1.png ]
dbtで管理しているメタデータの取り込みと検索
dbtプロジェクトで管理しているテーブルの説明やタグなどの情報をCOMETA(R)が取り込むことで、検索機能を使って簡単に目的のデータにアクセスできるようになります。
[画像3: https://prtimes.jp/i/39164/94/resize/d39164-94-81fc5d570cc930873e97-2.png ]
連携の設定
COMETA(R)はお客様のdbtプロジェクトが生成する成果物を参照することで、メタデータを取り込みます。お客様のファイルストレージ(S3)にdbtの成果物を定期的に転送いただき、COMETA(R)上でそのファイルストレージへの認証情報などを設定することで、COMETA(R)は最新の成果物からdbtのメタデータを取得できるようになります。
今後もprimeNumberはCOMETA(R)の機能を充実させ、お客さまがCOMETA(R)を最適なサービスと組み合わせながらデータ活用を推進できるよう支援いたします。
データの発見・理解・活用を促進するデータカタログ「COMETA(R)」とは
データの発見・理解・活用に重点を置いたデータカタログサービスです。保有するデータの活用リードタイム短縮、ガバナンス、品質モニタリングを可能にし、データによる意思決定を行う文化を醸成します。また、データ活用のフェーズや、部署横断など社内でのデータ活用の展開範囲に応じたご利用が可能なよう、小さく始めて順次拡張いただける料金体系にてサービスを提供いたします。同時に、COMETA(R)の提供のみにとどまらず、primeNumberが有する他ソリューションを並行して活用する包括的なサポートも提供してまいります。
URL:https://primenumber.com/cometa
[画像4: https://prtimes.jp/i/39164/94/resize/d39164-94-092fc3372334d06776f8-3.png ]
株式会社primeNumber 概要
私たちは、「あらゆるデータを、ビジネスの力に変える」データテクノロジーカンパニーです。データが爆発的に増えていく時代に、誰もがすばやく、簡単にデータを使える環境を構築し、データ活用までのプロセスを最適化。高度なテクノロジーと独自のアイデアで、世界中のビジネスを支援します。
■ 会社名
株式会社primeNumber(英文名:primeNumber Inc.)
■ 代表
代表取締役CEO 田邊 雄樹
■ 設立
2015年11月
■ オフィス
〒141-0021
東京都品川区上大崎三丁目1番1号 JR東急目黒ビル5F
■ 企業サイト
https://primenumber.co.jp/
■ 事業内容
・データ分析基盤の総合支援サービス「TROCCO(R)」の開発・運営
・データの発見・理解・活用を促進するデータカタログ「COMETA(R)」の開発・運営
・データテクノロジー領域の課題解決を実現するプロフェッショナルサービスの提供
本リリースお問い合わせ先
株式会社primeNumber
広報担当 村島夏美
e-mail:pr@primenumber.co.jp
[画像1: https://prtimes.jp/i/39164/94/resize/d39164-94-fe39ec3590db39863962-0.png ]
https://primenumber.com/cometa
dbtは、dbt Labs社が提供するデータ変換ツールです。有償の「dbt Cloud」、オープンソースソフトウェアの「dbt Core」の2種類が提供されており、SQLをベースとしたデータウェアハウスを構築するためのツールとして、データエンジニアを中心に幅広く使われています。
今回の連携により、COMETA(R)でdbtを使ったカラムリネージ(※1)が利用できるようになります。これまでCOMETA(R)でカラムリネージを利用するには、primeNumberのデータ基盤総合支援サービス「TROCCO(R)(トロッコ)」を併用する必要がありましたが、dbtメタデータ連携によってCOMETA(R)の画面上でカラムリネージを確認できます。
お客さまはdbtを通じてカラムリネージを取得し、データ同士の依存関係を簡単に把握できます。これにより基盤の全体像を把握、管理することで、障害発生時に影響範囲を迅速に確認し、データの信頼性を向上させることが可能となります。
(※1)カラムリネージ(データリネージ):データがどのような経緯で取得され、どのような分析を行うのかといった一連の流れを管理することで、データの信頼性向上やエラーへの対処を行うための機能。詳細はprimeNumberの解説をご覧ください。
データリネージ(Data Lineage)とは?データマネジメントに欠かせないデータリネージについて解説 | TROCCO(R)(トロッコ)
https://blog.trocco.io/glossary/data-lineage
機能概要
カラムリネージのサポート
dbtによって生成されたSQLクエリを解析することで、カラムレベルのリネージ情報を提供します。COMETA(R)がカタログ化したテーブルの詳細ページそれぞれからカラムリネージ情報にアクセスでき、実際にそのテーブルがどのようなSQLにより生成され、どのようなテーブルが参照されているかを簡単に確認できます。
[画像2: https://prtimes.jp/i/39164/94/resize/d39164-94-c1bc8f6dca6fef555a3f-1.png ]
dbtで管理しているメタデータの取り込みと検索
dbtプロジェクトで管理しているテーブルの説明やタグなどの情報をCOMETA(R)が取り込むことで、検索機能を使って簡単に目的のデータにアクセスできるようになります。
[画像3: https://prtimes.jp/i/39164/94/resize/d39164-94-81fc5d570cc930873e97-2.png ]
連携の設定
COMETA(R)はお客様のdbtプロジェクトが生成する成果物を参照することで、メタデータを取り込みます。お客様のファイルストレージ(S3)にdbtの成果物を定期的に転送いただき、COMETA(R)上でそのファイルストレージへの認証情報などを設定することで、COMETA(R)は最新の成果物からdbtのメタデータを取得できるようになります。
今後もprimeNumberはCOMETA(R)の機能を充実させ、お客さまがCOMETA(R)を最適なサービスと組み合わせながらデータ活用を推進できるよう支援いたします。
データの発見・理解・活用を促進するデータカタログ「COMETA(R)」とは
データの発見・理解・活用に重点を置いたデータカタログサービスです。保有するデータの活用リードタイム短縮、ガバナンス、品質モニタリングを可能にし、データによる意思決定を行う文化を醸成します。また、データ活用のフェーズや、部署横断など社内でのデータ活用の展開範囲に応じたご利用が可能なよう、小さく始めて順次拡張いただける料金体系にてサービスを提供いたします。同時に、COMETA(R)の提供のみにとどまらず、primeNumberが有する他ソリューションを並行して活用する包括的なサポートも提供してまいります。
URL:https://primenumber.com/cometa
[画像4: https://prtimes.jp/i/39164/94/resize/d39164-94-092fc3372334d06776f8-3.png ]
株式会社primeNumber 概要
私たちは、「あらゆるデータを、ビジネスの力に変える」データテクノロジーカンパニーです。データが爆発的に増えていく時代に、誰もがすばやく、簡単にデータを使える環境を構築し、データ活用までのプロセスを最適化。高度なテクノロジーと独自のアイデアで、世界中のビジネスを支援します。
■ 会社名
株式会社primeNumber(英文名:primeNumber Inc.)
■ 代表
代表取締役CEO 田邊 雄樹
■ 設立
2015年11月
■ オフィス
〒141-0021
東京都品川区上大崎三丁目1番1号 JR東急目黒ビル5F
■ 企業サイト
https://primenumber.co.jp/
■ 事業内容
・データ分析基盤の総合支援サービス「TROCCO(R)」の開発・運営
・データの発見・理解・活用を促進するデータカタログ「COMETA(R)」の開発・運営
・データテクノロジー領域の課題解決を実現するプロフェッショナルサービスの提供
本リリースお問い合わせ先
株式会社primeNumber
広報担当 村島夏美
e-mail:pr@primenumber.co.jp