富士通研究所と富士通、物理メモリを追加せずインメモリ処理性能を向上させるメモリ拡張技術の実証実験に成功
[18/09/19]
TOKYO, Sep 19, 2018 - (JCN Newswire) - 株式会社富士通研究所(注1)(以下、富士通研究所)と富士通株式会社(注2)(以下、富士通)は、共同で開発したメモリ拡張技術「MMGIC」(注3)の実証実験を、印Sify Technologies Limited(注4)(以下、Sify)のデータセンターで行い、サーバに本技術を適用することで、1台あたりサーバ10台分と同等の性能を出すことに成功しました。その結果、技術適用のサーバを含むシステム全体で比較した際に、性能が最大約3.6倍に達成することを確認しました。
これにより、サーバ上のメモリでデータを処理することで高速な応答性能を実現するインメモリシステムの処理をさらに向上できることが実証でき、今後、製品への適用を進めていきます。
背景
近年、企業が扱うデータ量が急激に増大し、大容量データを高速に処理したいという需要が高まっています。サーバ上のメモリ(DRAM)にデータを格納し高速な処理を実現するインメモリシステムでは、サーバ1台あたりに搭載できる物理メモリ容量が限られるため、大容量データを処理する場合は、すべてのデータがメモリに乗り切らず性能が大きく低下してしまうという課題がありました。この課題に対し、富士通研究所と富士通は、フラッシュメモリを活用して、メモリ量を仮想的に大きくできるメモリ拡張技術「MMGIC」を2015年11月に開発しました。今回、富士通と2015年より戦略的パートナーシップを結んでいるSifyのデータセンターで本技術の実証実験を行い、その有用性を確認しました。
実証実験の概要
1. 期間
2017年8月〜2018年6月
2. 内容
Sifyが運営するインド国内の一般向けポータルサイト「sify.com」を構成するWebシステムの中で、コンテンツ配信を快適に行うために、特にレスポンスが重視され、インメモリ処理の需要が高いキャッシュサーバにて実証実験を行いました。今回、3テラバイトのデータを扱うキャッシュサーバ(富士通のPCサーバ「FUJITSU Server PRIMERGY」で構築)10台のうち1台に対して、メモリ拡張技術を適用しました。「sify.com」で実際に使われているデータとアクセスパターンを用いて、キャッシュサーバのメモリがDRAM(256ギガバイト)のみの場合と、「MMGIC」のフラッシュメモリ(2.5テラバイト)で拡張した場合を、キャッシュサーバおよびWebシステムの性能で比較しました(図1)。
3. 効果
キャッシュサーバに搭載されているDRAMを物理的に増やすことなく、フラッシュメモリを仮想的にメモリとして活用する「MMGIC」の適用により、性能劣化なくサーバ10台分の性能を1台で達成しました。これにより、システム全体の処理能力が向上し、Webシステム性能が3.6倍になることを確認しました(図2)。
4. 適用技術
1) メモリ拡張技術「MMGIC」(2015年11月プレスリリース発表)
SSD内にハードウェアとして搭載されておりブラックボックス化されているコントローラをソフトウェアで実装することで、サーバのアプリケーションからSSD内のフラッシュメモリを直接扱えるようになり、高い性能を引き出すことができます。
2)「MMGIC」に最適化したキャッシュシステム(2017年3月論文発表)
高速小容量(DRAM)と低速大容量(MMGIC)の2種類のメモリ空間を構築し、頻繁にアクセスされるデータを高速メモリ、アクセス頻度の低いデータを低速メモリに配置するメモリ制御技術を活用しました。今回、高頻度にアクセスされるデータをDRAMに配置し、それ以外を「MMGIC」のメモリ空間に配置することで、性能と容量を両立するキャッシュシステムを実現しています(図3)。
今後
本技術により、インメモリ処理の需要が高いシステムにおいて、すべての処理データを大容量仮想メモリ上に置けるため、システム全体の高速化が実現できると期待されます。富士通研究所と富士通は、本技術の精度をさらに検証し、将来的な製品化を進めていきます。
エンドースメント
Sify Technologies Cloud & Engineering Services ゼネラルマネージャ Jitender D.様:
Sifyのポータルサイトは、エンターテインメント部門にて画像や動画などの様々なメディアファイルを配信するためにサーバクラスタを使っています。データ量の爆発的な増加に伴い、クラスタのメモリ容量拡張が必要でした。なぜならメモリ容量は高いスループットを出すためになくてはならないからです。我々は、これらメディアファイルのキャッシングおよび検索用途に富士通のメモリ拡張技術を評価してきました。検証では、DRAMのみのシステムと比較して容量10倍で性能が3倍にスケールする結果が得られました。このメモリ拡張技術により、将来のシステム拡張にかかる全体の設備投資が抑えられると期待できます。
本リリースの詳細は下記URLをご参照ください。
http://pr.fujitsu.com/jp/news/2018/09/19-1.html
概要:富士通株式会社
詳細は http://jp.fujitsu.com/ をご覧ください。
Copyright 2018 JCN Newswire. All rights reserved. www.jcnnewswire.com
これにより、サーバ上のメモリでデータを処理することで高速な応答性能を実現するインメモリシステムの処理をさらに向上できることが実証でき、今後、製品への適用を進めていきます。
背景
近年、企業が扱うデータ量が急激に増大し、大容量データを高速に処理したいという需要が高まっています。サーバ上のメモリ(DRAM)にデータを格納し高速な処理を実現するインメモリシステムでは、サーバ1台あたりに搭載できる物理メモリ容量が限られるため、大容量データを処理する場合は、すべてのデータがメモリに乗り切らず性能が大きく低下してしまうという課題がありました。この課題に対し、富士通研究所と富士通は、フラッシュメモリを活用して、メモリ量を仮想的に大きくできるメモリ拡張技術「MMGIC」を2015年11月に開発しました。今回、富士通と2015年より戦略的パートナーシップを結んでいるSifyのデータセンターで本技術の実証実験を行い、その有用性を確認しました。
実証実験の概要
1. 期間
2017年8月〜2018年6月
2. 内容
Sifyが運営するインド国内の一般向けポータルサイト「sify.com」を構成するWebシステムの中で、コンテンツ配信を快適に行うために、特にレスポンスが重視され、インメモリ処理の需要が高いキャッシュサーバにて実証実験を行いました。今回、3テラバイトのデータを扱うキャッシュサーバ(富士通のPCサーバ「FUJITSU Server PRIMERGY」で構築)10台のうち1台に対して、メモリ拡張技術を適用しました。「sify.com」で実際に使われているデータとアクセスパターンを用いて、キャッシュサーバのメモリがDRAM(256ギガバイト)のみの場合と、「MMGIC」のフラッシュメモリ(2.5テラバイト)で拡張した場合を、キャッシュサーバおよびWebシステムの性能で比較しました(図1)。
3. 効果
キャッシュサーバに搭載されているDRAMを物理的に増やすことなく、フラッシュメモリを仮想的にメモリとして活用する「MMGIC」の適用により、性能劣化なくサーバ10台分の性能を1台で達成しました。これにより、システム全体の処理能力が向上し、Webシステム性能が3.6倍になることを確認しました(図2)。
4. 適用技術
1) メモリ拡張技術「MMGIC」(2015年11月プレスリリース発表)
SSD内にハードウェアとして搭載されておりブラックボックス化されているコントローラをソフトウェアで実装することで、サーバのアプリケーションからSSD内のフラッシュメモリを直接扱えるようになり、高い性能を引き出すことができます。
2)「MMGIC」に最適化したキャッシュシステム(2017年3月論文発表)
高速小容量(DRAM)と低速大容量(MMGIC)の2種類のメモリ空間を構築し、頻繁にアクセスされるデータを高速メモリ、アクセス頻度の低いデータを低速メモリに配置するメモリ制御技術を活用しました。今回、高頻度にアクセスされるデータをDRAMに配置し、それ以外を「MMGIC」のメモリ空間に配置することで、性能と容量を両立するキャッシュシステムを実現しています(図3)。
今後
本技術により、インメモリ処理の需要が高いシステムにおいて、すべての処理データを大容量仮想メモリ上に置けるため、システム全体の高速化が実現できると期待されます。富士通研究所と富士通は、本技術の精度をさらに検証し、将来的な製品化を進めていきます。
エンドースメント
Sify Technologies Cloud & Engineering Services ゼネラルマネージャ Jitender D.様:
Sifyのポータルサイトは、エンターテインメント部門にて画像や動画などの様々なメディアファイルを配信するためにサーバクラスタを使っています。データ量の爆発的な増加に伴い、クラスタのメモリ容量拡張が必要でした。なぜならメモリ容量は高いスループットを出すためになくてはならないからです。我々は、これらメディアファイルのキャッシングおよび検索用途に富士通のメモリ拡張技術を評価してきました。検証では、DRAMのみのシステムと比較して容量10倍で性能が3倍にスケールする結果が得られました。このメモリ拡張技術により、将来のシステム拡張にかかる全体の設備投資が抑えられると期待できます。
本リリースの詳細は下記URLをご参照ください。
http://pr.fujitsu.com/jp/news/2018/09/19-1.html
概要:富士通株式会社
詳細は http://jp.fujitsu.com/ をご覧ください。
Copyright 2018 JCN Newswire. All rights reserved. www.jcnnewswire.com