デル・テクノロジーズ、AIパイプラインのパフォーマンス向上を実現する「Dell PowerScale」の機能強化を発表
[24/12/20]
提供元:PRTIMES
提供元:PRTIMES
「PowerScale」のファイルシステムのメタデータを外部データベースにエクスポートする「MetadataIQ」機能が、非構造化データの検索性を向上しデータ管理を合理化
当資料は、2024年12月10日に米国で発表されたブログの抄訳版です。
米国ブログ原文:https://www.dell.com/en-us/blog/boost-ai-pipeline-performance-with-advanced-high-speed-powerscale-infrastructure/
2024年12月10日、テキサス州ラウンドロック発:
デル・テクノロジーズは、あらゆる企業がAIによって新たな可能性を引き出せるように設計・構築された非構造化データ ストレージ プラットフォーム「Dell PowerScale」(以下、「PowerScale」)の最新アップデートを発表しました。
AIは、遠い未来のビジョンではなく、今日のデータ主導の経済環境で競争している企業を支える柱となっています。企業は、顧客体験におけるイノベーションの促進から複雑なプロセスの自動化まで、AIの能力を活用しようと競い合っています。デル・テクノロジーズは、AIの革新的な可能性は最先端のアルゴリズムだけではなく、これを支えて強化するインフラストラクチャーにもあると考えています。
今回のアップデートでは、「200Gb Ethernet」および「Frontend InfiniBand」オプションによる高速ネットワーキング、「61TB SSD」と「24TB HDD」による高密度ストレージ、また新たな「MetadataIQ」機能による検索機能の強化を実現しています。
[画像: https://prtimes.jp/api/file.php?c_id=25237&t=animationGifImage&f=7fd87e6d4fc63c754479e93860f3b43e.gif ]
「OneFS」の最新アップデートの内容と、これらの機能が企業におけるAI対応にもたらすメリットについては、以下のとおりです。
高速ネットワークによるAIワークフローの高速化:
AIプロセスにおいて効果を発揮するためには、システムのパワーだけでなく、大規模環境におけるデータへのアクセスや移動を迅速に行えることが重要です。「PowerScale」は、AIのパフォーマンスにおけるボトルネックを排除し、その限界をさらに広げるため、フロントエンド ネットワークでの「200GbE」および「200Gb InfiniBand」の接続オプションを提供します。今回のアップデートによって、昨年のアップデートと比較してストリーミング書込みが最大220%(*1)、ストリーミング読み取りが99%向上し(*2)、AIパイプラインのすべての段階でシームレスなデータフローが可能になります。
この高速化は、AIワークロードに以下のメリットをもたらします。
- AIパイプラインの最適化:データの取り込みからモデルのトレーニングと推論まで、超高速・低遅延の接続によって、大規模なデータセットでも、ストレージとコンピューティング間のスムーズなフローを実現します。データのボトルネックが減ることで、より高い頻度でトレーニング チェックポイントを実行できるとともに、生成AIアプリケーションのような大規模AI展開環境向けのモデル トレーニングを促進できます。
- GPUのパフォーマンス向上:生成AI環境を展開している企業にとって、ネットワークの高速化はデータ配信の合理化につながり、GPUのパフォーマンスに直接影響を与えます。「PowerScale」によって、より大規模なデータセットをより短時間で処理できるようになるので、質の高いインサイトを得て、データ主導の意思決定を迅速に行うことが可能になります。
より高いストレージ密度で効率を向上し、コストを削減:
多くの企業が、AIを活用して競争力を維持するために、大量のデータセットを処理しながらさまざまなコストを管理しなければならないという課題に直面しています。今回のアップデートにより、オールフラッシュの「PowerScale F710」で61TB SSDドライブを提供します。これは、密度におけるマイルストーンとなるもので、エンタープライズ企業に数々のメリットをもたらします。さらに「PowerScale」は、「A300」「A3000」「H700」「H7000」ノード向けに24TB HDDを提供します。このオプションは、高い要件が求められるハイブリッド ワークロードについて、TCO(総所有コスト)最適化に対するお客様のニーズに応えます。
ストレージ密度の向上による主なメリットは、次のとおりです。
- データセンター コストの削減:ストレージのフットプリントを最大50%縮小できるため、電力消費およびコロケーション コストの大幅な削減が可能になります。これは、ビジネスの効率向上とサステナビリティーの両方の目標達成に即したグリーン イニシアチブとなります。
- 生成AIモデルの高度化:ストレージの密度が高まることで、NVIDIA DGX SuperPODを含め、生成AIで使われるようなLLM(大規模言語モデル)に対応することが可能になります。これらのモデルを展開している企業は、より少ないノードで展開できるようになるので、優れた費用対効果でAIを実装しながら、これまで以上に深いインサイトを引き出すことができます。HDDベースのプラットフォームの場合、24TBドライブは20TBドライブに比べ、優れたSSD Cache to HDD Ratio(HDDに対するSSDキャッシュ率)を実現し、より高い出力と低遅延を提供します。
合理化したデータ管理による検索能力の強化:
データはAIを促進する要因ですが、膨大な量の非構造化データは管理が難しく、意義あるインサイトを引き出すことも容易ではありません。新たな「MetadataIQ」機能は、エンタープライズ環境におけるメタデータの扱い方を変革し、分散されているデータセット全体から価値あるコンテキストを引き出すことが可能になります。
「MetadataIQ」で、Elasticsearchデータベースへメタデータをエクスポートできるようになったことで、ユーザーは効率的にデータを発見し、数十億のファイル、ペタバイト(PB)規模のデータからインサイトを得ることができます。
今回の革新的な機能は、以下のメリットをもたらします。
- データ アクセス性の向上:エンタープライズ環境で、PDF、ナレッジベース、サポート データベースといった非構造化ソースに隠れている価値ある情報を迅速に発見することができます。また、より高速なデータ アクセスによって、組織や部門全体で、質の高い多くの情報をベースとしたリアルタイムの意思決定が可能になります。
- 効率的なAIトレーニング:分散クラスター環境全体にわたり豊富なメタデータを利用できるようになることで、一貫性を持ちコンテキストに沿ったトレーニング データセットのキュレーションを行うことができます。このアプローチによって、広範なデータを検索する必要がなくなり、アップデートしたコンテンツや新しいコンテンツのみを処理することでRAGワークフローの効率を維持できます。また、コンピューティング パワーの利用を最大化し、生成AI環境の時間とコストが削減されるとともに精度が高まります。
「PowerScale」でAIの新たな道を切り拓く:
データはAIの進化を促進し続けており、その価値を最大限引き出す上で、適正なストレージ システムが極めて重要な役割を果たします。デル・テクノロジーズは、高速ネットワーク、高密度ストレージ、強化された検索機能を備えた「PowerScale」によって、データをアクション、インサイト、イノベーションに変えることを可能にします。お客様は、数十億ドル規模のメディア制作の支援や重要な財務モデルの運用など目的に関わらず、これらのソリューションによって、インフラストラクチャーではなく「成果」に集中できるようになります。
「PowerScale」は、最先端テクノロジーだけでなく、優れたパフォーマンス、拡張性、柔軟性、シンプルさを提供し、世界中の企業のイノベーションの基盤となっています。「PowerScale」は、優れた柔軟性による大規模データセットのスケーリングから、オンプレミス環境とクラウド環境間のシームレスな移行まで、将来にわたり対応していくことができるレジリエントなAI展開の原動力です。
「PowerScale」がもたらすメリットについて、詳細はこちらの最新ニュースもしくはこちらのWebサイトをご覧ください。
*1. デル・テクノロジーズの予備的社内分析に基づく - 200GbEで、「F600p」(OneFS 9.5を実行)と「F710」(OneFS最新バージョンを実行)のストリーミング書込みの数値を比較 (2024年12月)
*2. デル・テクノロジーズの予備的社内分析に基づく - 200GbEで、「F600p」(OneFS 9.5を実行)と「F710」(OneFS最新バージョンを実行)を比較 (2024年12月)
# # #
■デル・テクノロジーズについて
デル・テクノロジーズ(NYSE:DELL)は、企業や人々がデジタルの未来を築き、仕事や生活の仕方を変革することを支援します。同社は、AI時代に向けて、業界で最も包括的かつ革新的なテクノロジーとサービスのポートフォリオをお客様に提供しています。
# # #
(C) Copyright 2024 Dell Inc.、その関連会社。All Rights Reserved.
Dell Technologiesが提供する製品及びサービスにかかる商標は、米国Dell Inc. 又はその関連会社の商標又は登録商標です。その他の製品の登録商標および商標は、それぞれの会社に帰属します。
当資料は、2024年12月10日に米国で発表されたブログの抄訳版です。
米国ブログ原文:https://www.dell.com/en-us/blog/boost-ai-pipeline-performance-with-advanced-high-speed-powerscale-infrastructure/
2024年12月10日、テキサス州ラウンドロック発:
デル・テクノロジーズは、あらゆる企業がAIによって新たな可能性を引き出せるように設計・構築された非構造化データ ストレージ プラットフォーム「Dell PowerScale」(以下、「PowerScale」)の最新アップデートを発表しました。
AIは、遠い未来のビジョンではなく、今日のデータ主導の経済環境で競争している企業を支える柱となっています。企業は、顧客体験におけるイノベーションの促進から複雑なプロセスの自動化まで、AIの能力を活用しようと競い合っています。デル・テクノロジーズは、AIの革新的な可能性は最先端のアルゴリズムだけではなく、これを支えて強化するインフラストラクチャーにもあると考えています。
今回のアップデートでは、「200Gb Ethernet」および「Frontend InfiniBand」オプションによる高速ネットワーキング、「61TB SSD」と「24TB HDD」による高密度ストレージ、また新たな「MetadataIQ」機能による検索機能の強化を実現しています。
[画像: https://prtimes.jp/api/file.php?c_id=25237&t=animationGifImage&f=7fd87e6d4fc63c754479e93860f3b43e.gif ]
「OneFS」の最新アップデートの内容と、これらの機能が企業におけるAI対応にもたらすメリットについては、以下のとおりです。
高速ネットワークによるAIワークフローの高速化:
AIプロセスにおいて効果を発揮するためには、システムのパワーだけでなく、大規模環境におけるデータへのアクセスや移動を迅速に行えることが重要です。「PowerScale」は、AIのパフォーマンスにおけるボトルネックを排除し、その限界をさらに広げるため、フロントエンド ネットワークでの「200GbE」および「200Gb InfiniBand」の接続オプションを提供します。今回のアップデートによって、昨年のアップデートと比較してストリーミング書込みが最大220%(*1)、ストリーミング読み取りが99%向上し(*2)、AIパイプラインのすべての段階でシームレスなデータフローが可能になります。
この高速化は、AIワークロードに以下のメリットをもたらします。
- AIパイプラインの最適化:データの取り込みからモデルのトレーニングと推論まで、超高速・低遅延の接続によって、大規模なデータセットでも、ストレージとコンピューティング間のスムーズなフローを実現します。データのボトルネックが減ることで、より高い頻度でトレーニング チェックポイントを実行できるとともに、生成AIアプリケーションのような大規模AI展開環境向けのモデル トレーニングを促進できます。
- GPUのパフォーマンス向上:生成AI環境を展開している企業にとって、ネットワークの高速化はデータ配信の合理化につながり、GPUのパフォーマンスに直接影響を与えます。「PowerScale」によって、より大規模なデータセットをより短時間で処理できるようになるので、質の高いインサイトを得て、データ主導の意思決定を迅速に行うことが可能になります。
より高いストレージ密度で効率を向上し、コストを削減:
多くの企業が、AIを活用して競争力を維持するために、大量のデータセットを処理しながらさまざまなコストを管理しなければならないという課題に直面しています。今回のアップデートにより、オールフラッシュの「PowerScale F710」で61TB SSDドライブを提供します。これは、密度におけるマイルストーンとなるもので、エンタープライズ企業に数々のメリットをもたらします。さらに「PowerScale」は、「A300」「A3000」「H700」「H7000」ノード向けに24TB HDDを提供します。このオプションは、高い要件が求められるハイブリッド ワークロードについて、TCO(総所有コスト)最適化に対するお客様のニーズに応えます。
ストレージ密度の向上による主なメリットは、次のとおりです。
- データセンター コストの削減:ストレージのフットプリントを最大50%縮小できるため、電力消費およびコロケーション コストの大幅な削減が可能になります。これは、ビジネスの効率向上とサステナビリティーの両方の目標達成に即したグリーン イニシアチブとなります。
- 生成AIモデルの高度化:ストレージの密度が高まることで、NVIDIA DGX SuperPODを含め、生成AIで使われるようなLLM(大規模言語モデル)に対応することが可能になります。これらのモデルを展開している企業は、より少ないノードで展開できるようになるので、優れた費用対効果でAIを実装しながら、これまで以上に深いインサイトを引き出すことができます。HDDベースのプラットフォームの場合、24TBドライブは20TBドライブに比べ、優れたSSD Cache to HDD Ratio(HDDに対するSSDキャッシュ率)を実現し、より高い出力と低遅延を提供します。
合理化したデータ管理による検索能力の強化:
データはAIを促進する要因ですが、膨大な量の非構造化データは管理が難しく、意義あるインサイトを引き出すことも容易ではありません。新たな「MetadataIQ」機能は、エンタープライズ環境におけるメタデータの扱い方を変革し、分散されているデータセット全体から価値あるコンテキストを引き出すことが可能になります。
「MetadataIQ」で、Elasticsearchデータベースへメタデータをエクスポートできるようになったことで、ユーザーは効率的にデータを発見し、数十億のファイル、ペタバイト(PB)規模のデータからインサイトを得ることができます。
今回の革新的な機能は、以下のメリットをもたらします。
- データ アクセス性の向上:エンタープライズ環境で、PDF、ナレッジベース、サポート データベースといった非構造化ソースに隠れている価値ある情報を迅速に発見することができます。また、より高速なデータ アクセスによって、組織や部門全体で、質の高い多くの情報をベースとしたリアルタイムの意思決定が可能になります。
- 効率的なAIトレーニング:分散クラスター環境全体にわたり豊富なメタデータを利用できるようになることで、一貫性を持ちコンテキストに沿ったトレーニング データセットのキュレーションを行うことができます。このアプローチによって、広範なデータを検索する必要がなくなり、アップデートしたコンテンツや新しいコンテンツのみを処理することでRAGワークフローの効率を維持できます。また、コンピューティング パワーの利用を最大化し、生成AI環境の時間とコストが削減されるとともに精度が高まります。
「PowerScale」でAIの新たな道を切り拓く:
データはAIの進化を促進し続けており、その価値を最大限引き出す上で、適正なストレージ システムが極めて重要な役割を果たします。デル・テクノロジーズは、高速ネットワーク、高密度ストレージ、強化された検索機能を備えた「PowerScale」によって、データをアクション、インサイト、イノベーションに変えることを可能にします。お客様は、数十億ドル規模のメディア制作の支援や重要な財務モデルの運用など目的に関わらず、これらのソリューションによって、インフラストラクチャーではなく「成果」に集中できるようになります。
「PowerScale」は、最先端テクノロジーだけでなく、優れたパフォーマンス、拡張性、柔軟性、シンプルさを提供し、世界中の企業のイノベーションの基盤となっています。「PowerScale」は、優れた柔軟性による大規模データセットのスケーリングから、オンプレミス環境とクラウド環境間のシームレスな移行まで、将来にわたり対応していくことができるレジリエントなAI展開の原動力です。
「PowerScale」がもたらすメリットについて、詳細はこちらの最新ニュースもしくはこちらのWebサイトをご覧ください。
*1. デル・テクノロジーズの予備的社内分析に基づく - 200GbEで、「F600p」(OneFS 9.5を実行)と「F710」(OneFS最新バージョンを実行)のストリーミング書込みの数値を比較 (2024年12月)
*2. デル・テクノロジーズの予備的社内分析に基づく - 200GbEで、「F600p」(OneFS 9.5を実行)と「F710」(OneFS最新バージョンを実行)を比較 (2024年12月)
# # #
■デル・テクノロジーズについて
デル・テクノロジーズ(NYSE:DELL)は、企業や人々がデジタルの未来を築き、仕事や生活の仕方を変革することを支援します。同社は、AI時代に向けて、業界で最も包括的かつ革新的なテクノロジーとサービスのポートフォリオをお客様に提供しています。
# # #
(C) Copyright 2024 Dell Inc.、その関連会社。All Rights Reserved.
Dell Technologiesが提供する製品及びサービスにかかる商標は、米国Dell Inc. 又はその関連会社の商標又は登録商標です。その他の製品の登録商標および商標は、それぞれの会社に帰属します。