Cloudera、新Hadoopストレージ「Kudu」を発表、ファストデータの高速分析を可能に
[15/09/30]
提供元:PRTIMES
提供元:PRTIMES
Hadoopでのリアルタイム分析を可能にする新しいオープンソースプロジェクトが、パブリックベータに
米国カリフォルニア州パロアルト - 2015年9月28日 発: - Apache Hadoop(TM) をベースとした企業向けデータ分析マネジメント分野のリーダーであるCloudera(本社:東京都中央区 カントリー・マネージャー:田村研三郎、米国本社:カリフォルニア州パロアルト、CEO:Tom Reilly)は本日、Hadoop向けの革新的なカラムナ(列指向)データストア、「Kudu(クドゥ)」のパブリックベータを発表、ファストデータに対する高速分析を可能にします。KuduはHDFSやApache HBaseといった既存のHadoopストレージに加え、低レイテンシのランダムアクセスや高スループットの分析を実現する、ネイティブなHadoopストレージエンジンとしてHadoopアーキテクチャのリアルタイム処理性能を各段に向上します。Kuduのパブリックベータは、Apacheオープンソースライセンスとして直ちに提供され、将来的にはApacheソフトウェア財団のインキュベータ・プロジェクトに移される予定です。
これまで開発者には、HDFSを使って高速分析を行なうか、HBaseで効率的にアップデートを実施するか、どちらかの選択肢しかありませんでした。しかし、ストリームデータが急増するにつれ、ファストデータをリアルタイムに分析できる機能の要望が高まると、先端の開発者は、この2つのストレージ機能を組み合わせ、複雑なアーキテクチャを作り上げて対応してきました。Kuduは、HDFSとHBase両者の機能を補完し、並列高速インサートやアップデート、効率的なカラムナ検索を可能にします。この組み合わせによって、1つのストレージ階層だけでリアルタイム分析が可能となり、複雑なアーキテクチャを構成する必要がなくなります。
Clouderaの製品担当バイスプレジデント、Charles Zedlewskiは次のように述べています。「Clouderaは、当初からHadoopの機能向上に貢献してきました。Clouderaは、コミュニティで常に革新をリードしながら、Hadoopによる次世代型の分析を提供し、最新のテクノロジーを企業が活用できるようにする、という意欲的な目標をもっています。Clouderaは、Impalaによるインタラクティブなデータディスカバリや分析機能、Apache Sparkによる柔軟なデータ処理やストリーミング対応など、Hadoopを変革してきました。Kuduはこの流れに沿って、優れたリアルタイム分析アプリケーションの開発ができるよう、Hadoopのストレージアーキテクチャを改革し、また、Hadoopを最新の分析手法に対応する、確固たる先端のプラットフォームにするための、重要なステップになります」
Kuduのアーキテクチャは時系列分析やマシンデータ分析、オンラインレポーティングなど、一般的な分析アプリケーションの開発を効率化します。また、Kuduは最新のハードウェア技術や、インメモリ処理などの優位性を取り込んでいます。Kuduは、傑出したCPUパフォーマンスと、RAMやフラッシュの優位性を活かし、真のカラムナストアとして、高いI/O効率を実現します。また、オープンでHadoopネイティブなコンポーネントとして、Kuduは優れた分析フレームワークと連動し、高速なクエリパフォーマンスを発揮します。ユーザーは既に、こうした1つのプラットフォームで幅広い分析アプリケーションを構築できる、ImpalaやSparkといったフレームワークに、十分な信頼を寄せています。
Kuduは、変わりつつあるハードウェアのランドスケープを先取りするものとして、ClouderaとIntelが共同で開発したものです。Intelは、現在と将来のプロセッサやメモリテクノロジーを最大限に活用し、Kuduに積極的に貢献しました。もともと、Intelの不揮発性メモリ(pmem – Persistent Memory)プロジェクトで開発された、新しい pmem テクノロジーを使って設計されています。
Intelのビッグデータ分析戦略および製品担当ディレクターであるVin Sharma氏は、次のように述べています。「Hadoopの分析機能が進化し、次世代のハードウェアを前提に設計を重ねることが重要になっています。Kuduは、Hadoopの重要なマイルストーンとして、簡単にリアルタイムアプリケーションを実装したいという要望に応えます。IntelはClouderaやコミュニティと共同で、Kuduが現在の高速分析要件を満足するよう、その最適化を図ってきましたが、これはまた、3D XPointメモリによるDIMMなど、これからのIntelプラットフォームの優位性を活かすものになっています」
オープンソースプロジェクトであるKuduは、コミュニティから大きな協力を受けています。世界最大手のスマートフォンメーカーの1社であるあるXiaomiは、Kuduの最初のベータユーザーの1社として、プロジェクトに貢献しています。また、AtScale、Splice Machine、ZoomdataなどもKuduでの開発を行なっています。
Xiaomiのチーフアーキテクト、Baoqiu Cui氏は、次のように述べています。「当社のインフラストラクチャーチームは、Clouderaと共同でKuduの開発にあたり、カラムナによる優れた検索、高速インサート、アップデート機能の優位性を活かすことで、当社のHadoopエコシステムにおけるプレゼンスを今後も高めていきたいと思います。KuduをImpalaといったインタラクティブSQLと併用することで、リアルタイム分析やオンラインレポートのための、次世代型のデータ分析プラットフォームを構築することができます。Xiaomiは、今後もコミュニティと協力しながら、KuduやHadoop全体の機能向上に貢献できることを嬉しく思います」
AtScaleの製品管理担当VP、Josh Klahr氏は次のように述べています。「Kuduは、次世代の分析アーキテクチャ、特にビジネスインテリジェンス(BI)に有効です。大規模なデータに対するランダムあるいはシーケンシャルなREADやWRITEをサポートしているので、AtScaleのお客様が望む、低レイテンシとスケールアウトなBIアーキテクチャにとって、Kuduは理想的なストレージシステムです。企業全体にデータを解放し、Hadoopで大規模で高速な分析ワークロードを稼働させる上で、Kuduは重要な役割を果たします。Apache Hadoop オープンシステムエコシステムの強力な支持者として、AtScaleは、コミュニティと協力しながら、お客様のためにさらに開発を進められることを嬉しく思います」
また、Splice Machineの共同創業者兼CTOのJohn Leach氏は、次のように述べています。「Splice Machineは、Hadoop上でACID準拠のRDBMSを開発しており、また、Hadoopをぎりぎりまで利用してさまざまワークロードを稼働させてきました。ですから、このHadoopのストレージアーキテクチャの革新は大歓迎です。Kuduは、長時間稼働し続ける分析処理でも、驚くほど信頼性の高いリアルタイムなアップデート機能を実装できます。Kuduは、既存のストレージを補完する拡張性に優れたストレージエンジンとして、Hadoopエコシステムを強化するものです」
さらに、ZoomdataのCEO、Justin Langseth氏は次のように述べています。「Kuduのシンプルなストレージアーキテクチャは、Zoomdataのユーザー全般に適用できるものです。Hadoopのネイティブなコンポーネントして、ImpalaとSparkを統合することで、Zoomdataの高速ビジュアル分析ソリューションに、容易にデータを提供することができます。当社は、カスタマーのニーズに応えられるよう、Clouderaやコミュニティと共同でKuduの開発を支援し、リアルタイム分析アプリケーションとの連携の効率化を図ってきました。また、こうした貢献を、ベータリリースでも続けられることを嬉しく思っています」
これからもデータ中心型の知見を獲得し続けたい、と考える企業にとって、Hadoopのアーキテクチャがこれからも同様に機能し、また、データが生成され変化していくスピードに、さらに追い着いていく必要があります。ファストデータを高速に分析するためのストレージを使った、次世代のHadoopアプリケーションへと、Hadoopコミュニティが導きます。
Monash Researchの代表、Curt Monash氏は次のように述べています。「マシンデータの領域で、人間思考レベルのリアルタイム性に対する要望が高まっています。これは、モニタリングからビジネスインテリジェンス、予測モデリングやレコメンデーションまで、非常に広い範囲におよんでいます。Kudu、SparkなどのHadoopスタックは、こうしたニーズに応えることができる、有力なアプローチです」
リソース
コントリビューションを始める –http://getkudu.io/contributing.html
パブリックベータのダウンロードまたはVMで試す:- http://www.cloudera.com/downloads
テクニカルホワイトペーパー – http://getkudu.io/kudu.pdf
日本語ブログ記事 – http://www.cloudera.co.jp/blog/kudu-new-apache-hadoop-storage-for-fast-analytics-on-fast-data.html
###
本記事は、何らかの資料、コードまたは機能を提供することを約束もしくは誓約するまたは法的義務を負うことを示すものではありません。Clouderaは、ベータ版ソフトウェアが一般提供可能 (generally available) になるまたはベータ版の個別機能が一般提供与可能になることを保証するものではありません。ベータ版ソフトウェアを一般提供するか否かは、係る可能性に関し何らか事前予告する義務を負うことなく、専らClouderaの判断によるものです。
Clouderaについて
Cloudera は、業界初の Apache Hadoop™ 上のエンタープライズデータハブである、ビッグデータ向け統合プラットフォームで、エンタープライズデータマネージメントの変革を続けています。Cloudera は、すべてのデータを1ヶ所にストアし、処理・分析することで、既存の投資に対する価値を高めると同時に、全く新たな方法でデータから価値を引き出すための手段を提供します。保存、アクセス、管理、分析、セキュリティ、検索など、重要な業務データを扱う上で必要なソフトウェアを含む、エンタープライズデータハブに必要なすべてを提供できるのは、Cloudera だけです。また、Hadoop プロフェッショナルの有数の育成機関として、全世界で 40,000 名以上の人々を教育してきました。さらに、1,700社以上のパートナーとベテランのプロフェッショナル・チームが高い時間価値を提供します。エンタープライズデータハブを確実に稼動させるために必要となる、予知・予見的なプロアクティブサポートを提供できるのは Cloudera だけです。すべての業界の先端企業や世界中の公的機関で、Cloudera はその実務に活用されています。
Cloudera の情報は下記よりご覧いただけます。
・ウェブサイト : http://www.cloudera.co.jp/
・ブログ : http://www.cloudera.co.jp/blog
・Twitter : http://twitter.com/#!/clouderajp
・Facebook : http://www.facebook.com/Cloudera.Japan
Cloudera、Cloudera’s Platform for Big Data、Cloudera Enterprise Data Hub Edition、Cloudera Enterprise Flex Edition、Cloudera Enterprise Basic EditionおよびCDHは、Cloudera Inc.の米国および他国の管轄権における商標または登録商標です。その他の社名および製品名は一般にその標章または商標です。
【報道関係者の方からのお問い合わせ先】
Cloudera株式会社
マーケティング担当:木林
press-jp@cloudera.com
[画像: http://prtimes.jp/i/4301/48/resize/d4301-48-225039-0.jpg ]
米国カリフォルニア州パロアルト - 2015年9月28日 発: - Apache Hadoop(TM) をベースとした企業向けデータ分析マネジメント分野のリーダーであるCloudera(本社:東京都中央区 カントリー・マネージャー:田村研三郎、米国本社:カリフォルニア州パロアルト、CEO:Tom Reilly)は本日、Hadoop向けの革新的なカラムナ(列指向)データストア、「Kudu(クドゥ)」のパブリックベータを発表、ファストデータに対する高速分析を可能にします。KuduはHDFSやApache HBaseといった既存のHadoopストレージに加え、低レイテンシのランダムアクセスや高スループットの分析を実現する、ネイティブなHadoopストレージエンジンとしてHadoopアーキテクチャのリアルタイム処理性能を各段に向上します。Kuduのパブリックベータは、Apacheオープンソースライセンスとして直ちに提供され、将来的にはApacheソフトウェア財団のインキュベータ・プロジェクトに移される予定です。
これまで開発者には、HDFSを使って高速分析を行なうか、HBaseで効率的にアップデートを実施するか、どちらかの選択肢しかありませんでした。しかし、ストリームデータが急増するにつれ、ファストデータをリアルタイムに分析できる機能の要望が高まると、先端の開発者は、この2つのストレージ機能を組み合わせ、複雑なアーキテクチャを作り上げて対応してきました。Kuduは、HDFSとHBase両者の機能を補完し、並列高速インサートやアップデート、効率的なカラムナ検索を可能にします。この組み合わせによって、1つのストレージ階層だけでリアルタイム分析が可能となり、複雑なアーキテクチャを構成する必要がなくなります。
Clouderaの製品担当バイスプレジデント、Charles Zedlewskiは次のように述べています。「Clouderaは、当初からHadoopの機能向上に貢献してきました。Clouderaは、コミュニティで常に革新をリードしながら、Hadoopによる次世代型の分析を提供し、最新のテクノロジーを企業が活用できるようにする、という意欲的な目標をもっています。Clouderaは、Impalaによるインタラクティブなデータディスカバリや分析機能、Apache Sparkによる柔軟なデータ処理やストリーミング対応など、Hadoopを変革してきました。Kuduはこの流れに沿って、優れたリアルタイム分析アプリケーションの開発ができるよう、Hadoopのストレージアーキテクチャを改革し、また、Hadoopを最新の分析手法に対応する、確固たる先端のプラットフォームにするための、重要なステップになります」
Kuduのアーキテクチャは時系列分析やマシンデータ分析、オンラインレポーティングなど、一般的な分析アプリケーションの開発を効率化します。また、Kuduは最新のハードウェア技術や、インメモリ処理などの優位性を取り込んでいます。Kuduは、傑出したCPUパフォーマンスと、RAMやフラッシュの優位性を活かし、真のカラムナストアとして、高いI/O効率を実現します。また、オープンでHadoopネイティブなコンポーネントとして、Kuduは優れた分析フレームワークと連動し、高速なクエリパフォーマンスを発揮します。ユーザーは既に、こうした1つのプラットフォームで幅広い分析アプリケーションを構築できる、ImpalaやSparkといったフレームワークに、十分な信頼を寄せています。
Kuduは、変わりつつあるハードウェアのランドスケープを先取りするものとして、ClouderaとIntelが共同で開発したものです。Intelは、現在と将来のプロセッサやメモリテクノロジーを最大限に活用し、Kuduに積極的に貢献しました。もともと、Intelの不揮発性メモリ(pmem – Persistent Memory)プロジェクトで開発された、新しい pmem テクノロジーを使って設計されています。
Intelのビッグデータ分析戦略および製品担当ディレクターであるVin Sharma氏は、次のように述べています。「Hadoopの分析機能が進化し、次世代のハードウェアを前提に設計を重ねることが重要になっています。Kuduは、Hadoopの重要なマイルストーンとして、簡単にリアルタイムアプリケーションを実装したいという要望に応えます。IntelはClouderaやコミュニティと共同で、Kuduが現在の高速分析要件を満足するよう、その最適化を図ってきましたが、これはまた、3D XPointメモリによるDIMMなど、これからのIntelプラットフォームの優位性を活かすものになっています」
オープンソースプロジェクトであるKuduは、コミュニティから大きな協力を受けています。世界最大手のスマートフォンメーカーの1社であるあるXiaomiは、Kuduの最初のベータユーザーの1社として、プロジェクトに貢献しています。また、AtScale、Splice Machine、ZoomdataなどもKuduでの開発を行なっています。
Xiaomiのチーフアーキテクト、Baoqiu Cui氏は、次のように述べています。「当社のインフラストラクチャーチームは、Clouderaと共同でKuduの開発にあたり、カラムナによる優れた検索、高速インサート、アップデート機能の優位性を活かすことで、当社のHadoopエコシステムにおけるプレゼンスを今後も高めていきたいと思います。KuduをImpalaといったインタラクティブSQLと併用することで、リアルタイム分析やオンラインレポートのための、次世代型のデータ分析プラットフォームを構築することができます。Xiaomiは、今後もコミュニティと協力しながら、KuduやHadoop全体の機能向上に貢献できることを嬉しく思います」
AtScaleの製品管理担当VP、Josh Klahr氏は次のように述べています。「Kuduは、次世代の分析アーキテクチャ、特にビジネスインテリジェンス(BI)に有効です。大規模なデータに対するランダムあるいはシーケンシャルなREADやWRITEをサポートしているので、AtScaleのお客様が望む、低レイテンシとスケールアウトなBIアーキテクチャにとって、Kuduは理想的なストレージシステムです。企業全体にデータを解放し、Hadoopで大規模で高速な分析ワークロードを稼働させる上で、Kuduは重要な役割を果たします。Apache Hadoop オープンシステムエコシステムの強力な支持者として、AtScaleは、コミュニティと協力しながら、お客様のためにさらに開発を進められることを嬉しく思います」
また、Splice Machineの共同創業者兼CTOのJohn Leach氏は、次のように述べています。「Splice Machineは、Hadoop上でACID準拠のRDBMSを開発しており、また、Hadoopをぎりぎりまで利用してさまざまワークロードを稼働させてきました。ですから、このHadoopのストレージアーキテクチャの革新は大歓迎です。Kuduは、長時間稼働し続ける分析処理でも、驚くほど信頼性の高いリアルタイムなアップデート機能を実装できます。Kuduは、既存のストレージを補完する拡張性に優れたストレージエンジンとして、Hadoopエコシステムを強化するものです」
さらに、ZoomdataのCEO、Justin Langseth氏は次のように述べています。「Kuduのシンプルなストレージアーキテクチャは、Zoomdataのユーザー全般に適用できるものです。Hadoopのネイティブなコンポーネントして、ImpalaとSparkを統合することで、Zoomdataの高速ビジュアル分析ソリューションに、容易にデータを提供することができます。当社は、カスタマーのニーズに応えられるよう、Clouderaやコミュニティと共同でKuduの開発を支援し、リアルタイム分析アプリケーションとの連携の効率化を図ってきました。また、こうした貢献を、ベータリリースでも続けられることを嬉しく思っています」
これからもデータ中心型の知見を獲得し続けたい、と考える企業にとって、Hadoopのアーキテクチャがこれからも同様に機能し、また、データが生成され変化していくスピードに、さらに追い着いていく必要があります。ファストデータを高速に分析するためのストレージを使った、次世代のHadoopアプリケーションへと、Hadoopコミュニティが導きます。
Monash Researchの代表、Curt Monash氏は次のように述べています。「マシンデータの領域で、人間思考レベルのリアルタイム性に対する要望が高まっています。これは、モニタリングからビジネスインテリジェンス、予測モデリングやレコメンデーションまで、非常に広い範囲におよんでいます。Kudu、SparkなどのHadoopスタックは、こうしたニーズに応えることができる、有力なアプローチです」
リソース
コントリビューションを始める –http://getkudu.io/contributing.html
パブリックベータのダウンロードまたはVMで試す:- http://www.cloudera.com/downloads
テクニカルホワイトペーパー – http://getkudu.io/kudu.pdf
日本語ブログ記事 – http://www.cloudera.co.jp/blog/kudu-new-apache-hadoop-storage-for-fast-analytics-on-fast-data.html
###
本記事は、何らかの資料、コードまたは機能を提供することを約束もしくは誓約するまたは法的義務を負うことを示すものではありません。Clouderaは、ベータ版ソフトウェアが一般提供可能 (generally available) になるまたはベータ版の個別機能が一般提供与可能になることを保証するものではありません。ベータ版ソフトウェアを一般提供するか否かは、係る可能性に関し何らか事前予告する義務を負うことなく、専らClouderaの判断によるものです。
Clouderaについて
Cloudera は、業界初の Apache Hadoop™ 上のエンタープライズデータハブである、ビッグデータ向け統合プラットフォームで、エンタープライズデータマネージメントの変革を続けています。Cloudera は、すべてのデータを1ヶ所にストアし、処理・分析することで、既存の投資に対する価値を高めると同時に、全く新たな方法でデータから価値を引き出すための手段を提供します。保存、アクセス、管理、分析、セキュリティ、検索など、重要な業務データを扱う上で必要なソフトウェアを含む、エンタープライズデータハブに必要なすべてを提供できるのは、Cloudera だけです。また、Hadoop プロフェッショナルの有数の育成機関として、全世界で 40,000 名以上の人々を教育してきました。さらに、1,700社以上のパートナーとベテランのプロフェッショナル・チームが高い時間価値を提供します。エンタープライズデータハブを確実に稼動させるために必要となる、予知・予見的なプロアクティブサポートを提供できるのは Cloudera だけです。すべての業界の先端企業や世界中の公的機関で、Cloudera はその実務に活用されています。
Cloudera の情報は下記よりご覧いただけます。
・ウェブサイト : http://www.cloudera.co.jp/
・ブログ : http://www.cloudera.co.jp/blog
・Twitter : http://twitter.com/#!/clouderajp
・Facebook : http://www.facebook.com/Cloudera.Japan
Cloudera、Cloudera’s Platform for Big Data、Cloudera Enterprise Data Hub Edition、Cloudera Enterprise Flex Edition、Cloudera Enterprise Basic EditionおよびCDHは、Cloudera Inc.の米国および他国の管轄権における商標または登録商標です。その他の社名および製品名は一般にその標章または商標です。
【報道関係者の方からのお問い合わせ先】
Cloudera株式会社
マーケティング担当:木林
press-jp@cloudera.com
[画像: http://prtimes.jp/i/4301/48/resize/d4301-48-225039-0.jpg ]