Datadog、データ処理におけるジョブの監視とトラブルシューティングの最適化を実現する新製品を発表
[24/06/25]
提供元:PRTIMES
提供元:PRTIMES
Data Jobs Monitoringは、データパイプライン全体のジョブの障害やレイテンシのスパイクを検出し、解決を支援
[画像: https://prtimes.jp/i/77474/62/resize/d77474-62-142e11fb7cadabc715ed-0.jpg ]
ニューヨーク -- オブザーバビリティとセキュリティの統合プラットフォームを提供するDatadog( https://www.datadoghq.com/ja/ ), Inc. (NASDAQ: DDOG)は本日、Data Jobs Monitoringの一般提供を発表しました。この新製品により、データプラットフォームチームやデータエンジニアは、データパイプラインのあらゆる場所で問題のあるSparkやDatabricksのジョブを検出し、失敗したジョブや長時間稼働しているジョブを迅速に修正し、過剰にプロビジョニングされたコンピューティングリソースを最適化してコストを削減できるようになります。
Data Jobs Monitoringは、最適化と信頼性向上が必要な特定のジョブを即座に表示します。また、チームはジョブの実行トレースをドリルダウンできるため、ジョブのテレメトリをクラウドインフラストラクチャに関連付け、迅速にデバッグすることができます。
Rhythm Energy 社のエンジニアリング責任者である Matt Camilli 氏は次のように述べています。「Data Jobs Monitoringのおかげで、データワークロードを他のアプリケーションやインフラと一元管理できるようになり、スケーリングしているプラットフォームに対する信頼性が劇的に向上しました。その結果、リアルタイムアラートの設定と失敗したジョブの根本原因の特定が容易になったため、私のチームでは Databricks におけるジョブの失敗を 20% 早く解決できるようになりました。」
Datadogの製品担当バイスプレジデントであるMichael Whettenは次のように述べています。「データパイプラインに障害が発生すると、データ品質が損なわれるとともに利害関係者の信頼も損なわれ、意思決定が遅くなります。長期にわたるジョブはコストの急上昇につながるため、最適なリソースをプロビジョニングする方法を理解することはチームにとって非常に重要です。Data Jobs Monitoringは、データプラットフォームエンジニアがデータ品質を改善し、パイプラインを最適化し、コスト削減の優先順位を決定できるよう、最大かつ最もコストのかかるジョブを完全に可視化することで、チームの作業を支援します。」
Data Jobs Monitoringによって、以下のことが実現します:
ジョブの失敗やレイテンシの急増を検出: ジョブが失敗したり、自動的に検出されたベースラインを越えて実行された場合、すぐにアラートがチームに通知されるため、エンドユーザーエクスペリエンスに悪影響が及ぶ前に対処できます。推奨フィルタにより、ジョブやクラスタの健全性に影響を与える最も重要な問題を特定し、優先順位を付けることができます。
エラーとなったジョブを特定し、迅速に解決: 詳細なトレースビューは、ジョブの実行フローのどこで失敗したかを正確に表示するため、チームはトラブルシューティングを迅速に行うための完全なコンテキストを把握できます。複数のジョブ実行を相互に比較することで、根本原因の分析を迅速化し、実行時間、Sparkパフォーマンスメトリクス、クラスタ使用率、および構成の傾向と変化を特定できます。
コスト削減の機会を特定: リソース利用率とSparkアプリケーションのメトリクスにより、チームはオーバープロビジョニングされたクラスタの計算コストを削減し、非効率なジョブ実行を最適化する方法を特定できます。
Data Jobs Monitoringの一般提供が開始されました。詳しくはこちらをご覧ください:
https://www.datadoghq.com/ja/product/data-jobs-monitoring/
Datadogについて
Datadogは、クラウドアプリケーション向けのオブザーバビリティおよびセキュリティの統合プラットフォームを提供しています。Datadogの SaaSプラットフォームは、インフラストラクチャーのモニタリング、アプリケーションパフォーマンスモニタリング、ログ管理、リアルユーザーモニタリング、その他多くの機能を統合および自動化し、お客様のテクノロジースタック全体に統合されたリアルタイムのオブザーバビリティとセキュリティを提供します。
Datadogは、あらゆる規模の企業、幅広い業界で使用され、デジタルトランスフォーメーションとクラウド移行を可能にし、開発、運用、セキュリティ、ビジネスチーム間のコラボレーションを促進し、アプリケーションの市場投入までの時間と問題解決までの時間を短縮し、ユーザーの行動を理解し、主要なビジネス指標をトラッキングします。
将来の見通しに関する記述
本プレスリリースには、新製品および新機能の利点に関する記述を含め、米国1933年証券法(Securities Act of 1933)第27A条および米国1934年証券取引所法(Securities Exchange Act of 1934)第21E条に規定される「将来予想に関する記述」が含まれています。これらの将来予想に関する記述は、当社の製品および機能の強化、またそれらによってもたらされる利益に関する記述が含まれますが、これらに限定するものではありません。実際の結果は、将来見通しに関する記述とは大きく異なる可能性があり、「リスクファクター」の見出しの下に詳述されているリスクをはじめ、2024年3月31日に米国証券取引委員会に提出したForm 10-Qの四半期報告書を含む米国証券取引委員会への提出書類および報告書、ならびに当社による今後の提出書類および報告書に記載されている、当社が制御できない様々な仮定、不確実性、リスクおよび要因の影響を受けます。法律で義務付けられている場合を除き、当社は、新しい情報、将来の事象、期待の変化などに応じて、本リリースに含まれる将来の見通しに関する記述を更新する義務または責務を負いません。
[画像: https://prtimes.jp/i/77474/62/resize/d77474-62-142e11fb7cadabc715ed-0.jpg ]
ニューヨーク -- オブザーバビリティとセキュリティの統合プラットフォームを提供するDatadog( https://www.datadoghq.com/ja/ ), Inc. (NASDAQ: DDOG)は本日、Data Jobs Monitoringの一般提供を発表しました。この新製品により、データプラットフォームチームやデータエンジニアは、データパイプラインのあらゆる場所で問題のあるSparkやDatabricksのジョブを検出し、失敗したジョブや長時間稼働しているジョブを迅速に修正し、過剰にプロビジョニングされたコンピューティングリソースを最適化してコストを削減できるようになります。
Data Jobs Monitoringは、最適化と信頼性向上が必要な特定のジョブを即座に表示します。また、チームはジョブの実行トレースをドリルダウンできるため、ジョブのテレメトリをクラウドインフラストラクチャに関連付け、迅速にデバッグすることができます。
Rhythm Energy 社のエンジニアリング責任者である Matt Camilli 氏は次のように述べています。「Data Jobs Monitoringのおかげで、データワークロードを他のアプリケーションやインフラと一元管理できるようになり、スケーリングしているプラットフォームに対する信頼性が劇的に向上しました。その結果、リアルタイムアラートの設定と失敗したジョブの根本原因の特定が容易になったため、私のチームでは Databricks におけるジョブの失敗を 20% 早く解決できるようになりました。」
Datadogの製品担当バイスプレジデントであるMichael Whettenは次のように述べています。「データパイプラインに障害が発生すると、データ品質が損なわれるとともに利害関係者の信頼も損なわれ、意思決定が遅くなります。長期にわたるジョブはコストの急上昇につながるため、最適なリソースをプロビジョニングする方法を理解することはチームにとって非常に重要です。Data Jobs Monitoringは、データプラットフォームエンジニアがデータ品質を改善し、パイプラインを最適化し、コスト削減の優先順位を決定できるよう、最大かつ最もコストのかかるジョブを完全に可視化することで、チームの作業を支援します。」
Data Jobs Monitoringによって、以下のことが実現します:
ジョブの失敗やレイテンシの急増を検出: ジョブが失敗したり、自動的に検出されたベースラインを越えて実行された場合、すぐにアラートがチームに通知されるため、エンドユーザーエクスペリエンスに悪影響が及ぶ前に対処できます。推奨フィルタにより、ジョブやクラスタの健全性に影響を与える最も重要な問題を特定し、優先順位を付けることができます。
エラーとなったジョブを特定し、迅速に解決: 詳細なトレースビューは、ジョブの実行フローのどこで失敗したかを正確に表示するため、チームはトラブルシューティングを迅速に行うための完全なコンテキストを把握できます。複数のジョブ実行を相互に比較することで、根本原因の分析を迅速化し、実行時間、Sparkパフォーマンスメトリクス、クラスタ使用率、および構成の傾向と変化を特定できます。
コスト削減の機会を特定: リソース利用率とSparkアプリケーションのメトリクスにより、チームはオーバープロビジョニングされたクラスタの計算コストを削減し、非効率なジョブ実行を最適化する方法を特定できます。
Data Jobs Monitoringの一般提供が開始されました。詳しくはこちらをご覧ください:
https://www.datadoghq.com/ja/product/data-jobs-monitoring/
Datadogについて
Datadogは、クラウドアプリケーション向けのオブザーバビリティおよびセキュリティの統合プラットフォームを提供しています。Datadogの SaaSプラットフォームは、インフラストラクチャーのモニタリング、アプリケーションパフォーマンスモニタリング、ログ管理、リアルユーザーモニタリング、その他多くの機能を統合および自動化し、お客様のテクノロジースタック全体に統合されたリアルタイムのオブザーバビリティとセキュリティを提供します。
Datadogは、あらゆる規模の企業、幅広い業界で使用され、デジタルトランスフォーメーションとクラウド移行を可能にし、開発、運用、セキュリティ、ビジネスチーム間のコラボレーションを促進し、アプリケーションの市場投入までの時間と問題解決までの時間を短縮し、ユーザーの行動を理解し、主要なビジネス指標をトラッキングします。
将来の見通しに関する記述
本プレスリリースには、新製品および新機能の利点に関する記述を含め、米国1933年証券法(Securities Act of 1933)第27A条および米国1934年証券取引所法(Securities Exchange Act of 1934)第21E条に規定される「将来予想に関する記述」が含まれています。これらの将来予想に関する記述は、当社の製品および機能の強化、またそれらによってもたらされる利益に関する記述が含まれますが、これらに限定するものではありません。実際の結果は、将来見通しに関する記述とは大きく異なる可能性があり、「リスクファクター」の見出しの下に詳述されているリスクをはじめ、2024年3月31日に米国証券取引委員会に提出したForm 10-Qの四半期報告書を含む米国証券取引委員会への提出書類および報告書、ならびに当社による今後の提出書類および報告書に記載されている、当社が制御できない様々な仮定、不確実性、リスクおよび要因の影響を受けます。法律で義務付けられている場合を除き、当社は、新しい情報、将来の事象、期待の変化などに応じて、本リリースに含まれる将来の見通しに関する記述を更新する義務または責務を負いません。