超高速ビッグデータ処理基盤ソフトウェア『ESPERiC(エスペリック)』登場 〜WebサービスAPI、Jupyter、表計算ライクGUIで超高速処理をサポート〜
[20/02/03]
提供元:@Press
提供元:@Press
ITシステム開発の株式会社エスペラントシステム(本社:千葉県流山市、代表取締役社長:寺平 英昭、以下 ESS)は、エスペラントシステムグループの開発会社である株式会社ユニネットワーク(本社:東京都港区、代表取締役:早部 秀一、以下 ユニ)との協業プロジェクトであるビッグデータ/アナリティクス・ソフトウェア『ESPERiC(エスペリック)』を発表します。ESPERiCは、WEBサービスAPIの提供やJupyter Notebook/Lab(ジュパイター・ノートブック/ラボ)対応、表計算ライクなGUIなどでビッグデータを容易にハンドリングするビッグデータ処理基盤として多種多様な分析業務を支援するものです。これにより、クラウドやオンプレミスサーバー、一般的なPCなどの環境で容易に大規模データを超高速処理することが可能となります。
定形的な処理は自動化が可能なので分析業務の時短・省力化にも繋がります。
当製品は、デスクトップタイプとサーバータイプ(シングルユーザー用およびマルチユーザー用)で展開します。ユニ社は開発と保守、ESS社は販売とマーケティング及びESPERiCをベースにしたビッグデータ・ソリューションビジネス(コンサルティング及びアプリケーション開発)に取り組むことでビッグデータの利活用支援を進めてまいります。
画像1: https://www.atpress.ne.jp/releases/204695/LL_img_204695_1.png
ESPERiC ビッグデータ処理基盤 3つのソリューション
【ESPERiCの3つのソリューション】
1. WebサービスAPI:カスタマイズアプリケーションでビッグデータをハンドリング
2. Jupyter:Python環境REPL(Read-Eval-Print Loop)でビッグデータをハンドリング
3. Super DataChef V3(以下 SDC3):表計算ライクなGUIでビッグデータをハンドリング
https://esperic.net/solution-hub/
【ESPERiC 主な特長】
ESPERiC:Enhanced SuPER in-memory Columnar solution
◎低コストで データ精錬・統合からデータ蓄積、データ分析まで
一連のビッグデータ処理の基盤として、日々増え続ける一方の取引ログやIoTデータなどのビッグデータをクラウドおよび一般的なPCで超高速にハンドリングできるため、ビッグデータ処理のための設備コストを著しく下げることが可能となりました。
画像2: https://www.atpress.ne.jp/releases/204695/LL_img_204695_2.png
ESPERiC ビッグデータ処理
◆WebサービスAPI:
カスタムメイド/オーダーメイドアプリの開発を容易にするために、WebサービスAPIを提供します。プログラミング言語はJava、C++、Pythonなど 様々な言語が使用できます。(ESPERiC Gear-REST)
◆JupyterおよびPython API:
多くのデータアナリストが利用するJupyter Notebook/LabでESPERiCエンジンの高速処理を利用可能にしました。対話型(REPL:Read-Eval-Print Loop)で分析結果のリアルタイム表示やグラフや表などの見える化が容易になります。また、データ連携で外部のオープンデータなどの取り込みが可能で、自社データと組み合わせた分析や予測などにも対応できます。(ESPERiC Gear)
◆表計算ライクなGUI:
表計算ソフトライクなGUIで、誰でもビッグデータを容易に扱えます。また、ノンプログラミングで一連のデータ加工プロセスを定形業務として自動化できます。(Super DataChef V3)
https://esperic.net/solution/
◎ビッグデータを超高速ハンドリング
ESPERiC独自のアルゴリズムであるインメモリー・カラムナー・テクノロジーにより、最大で20億行、512項目のビッグデータをストレスなく取り扱えます。大部分の処理(サーチ、ソート、集計など)は直ぐに完了し結果が返るので、ビッグデータでもSDC3やJupyter Notebook/Labで対話型のリアルタイム処理を実行できます。
https://esperic.net/technology/
◎1億行の速度ベンチマーク
ESPERiCと同様なインメモリデータフレーム処理のPython/pandas、R/tableとESPERiCとのAPI毎の処理速度比較では、Python/Rに比べ データインポートは3〜13倍、ジョインは15〜34倍、サーチ/ソートは86〜580倍高速です。
画像3: https://www.atpress.ne.jp/releases/204695/LL_img_204695_3.png
1億行の速度ベンチマーク
測定環境
CPU:Intel Xeon E5-2650 2.3 GHz コア数 8 メモリ:132 GB ストレージ:SSD
OS:Ubuntu 18.04 Python:3.6 pandas:0.22 R:3.3
データアナリティクス業務において、およそ80%はデータの準備作業に費やされていると言われています。ESPERiCはビッグデータでも超高速に加工・処理できるので準備作業を大幅に短縮でき、分析結果を素早く得ることができます。また、ビッグデータのため処理性能が十分発揮できないBI分析関連ツールにおいてもESPERiCで分析前にデータ加工・処理をしておけば素早く分析結果を得ることが可能です。
◎適用業務(業務:内容)
アドホックなデータ分析 :セルフサービスBI、アドバンスドアナリティクス
データクレンジング :データ分析・機械学習・AIの前処理、
マスターデータの作成
データマイグレーション :データ移行、データ統合、
移行データプロファイリング
データ加工・編集 :データチェック、データ変換、単位合せ
データ検索・抽出 :名寄せ・重複データ排除、
カード不正使用パターン検出、突合(とつごう)
巨大データ処理 :POSデータ分析、IoTデータ管理、
BOM(部品表)展開、MRP(資材所要計画)
Excel/Access業務の改善※1:データ分析/レポート作成
※1 データが増えたため処理が遅くなった
高速アプリ・バッチ処理 :上記をワンストップで高速に行う必要のあるシステム
(アプリケーションの開発が可能)
◎製品ラインナップ
◆デスクトップタイプ:PCでスタンドアローン利用
◆サーバータイプ :ESPERiCをサーバーで動作
<2種類のサーバータイプ>
・シングルユーザー用:1ユーザー/1クライアントアプリがサーバーの大きなリソースを占有
※巨大データ処理用に、データ容量により使用可能メモリ量の異なるモデルを用意
・マルチユーザー用:複数ユーザー/複数クライアントアプリでサーバーリソースを分割して使用
※同時に複数ユーザー/複数クライアントアプリで使用可能。1ユーザー/1クライアントが使用可能なメモリ量により異なるモデルを用意
◎必要システム環境
OS:デスクトップ Windows10(64bit)以降/macOS Sierra10.12以降
サーバー Windows Server/Linux(Ubuntu)
サポート対象ブラウザー:Google Chrome/Firefox 4以降/Microsoft Edge/Safari
◎製品価格
デスクトップタイプ:1ユーザーライセンス 400,000円〜(税抜)
次年度以降のライセンス更新 120,000円/年〜
(税抜。年間サポート込)
サーバータイプ :販売会社にお問い合わせ下さい。
◎体験版のご案内
ESPERiCは期間無制限の体験版(デスクトップタイプ、機能制限あり)を用意しています。
https://esperic.net/download/
【エスペラントシステム概要】
社名 : 株式会社エスペラントシステム
資本金 : 8,800万円
設立日 : 1979年5月1日
所在地 : 本社 千葉県流山市前平井61番地 ESSビル
代表者名: 代表取締役社長 寺平 英昭
事業内容: コンピュータシステムの設計、システム開発、インフラ環境構築、
保守運用、電気工事、LAN敷設工事、クラウドサービス、人材派遣等
URL : https://www.ess-g.com/
【ユニネットワーク概要】
社名 : 株式会社ユニネットワーク
所在地 : 東京都港区西新橋3-13-3 ユニゾ西新橋三丁目ビル5階
代表者名: 代表取締役 早部 秀一
事業内容: ソフトウェア開発、ソリューション提供(ビッグデータ、セキュリティ)
インフラ基盤構築・システム運用保守
ITスタッフ派遣、有料職業紹介
URL : https://uni-network.com/
【お問い合わせ先】
株式会社エスペラントシステム テクノロジーソリューション本部
TEL : 03-6402-3696
Eメール: contact-esperic2020@esperic.net
URL : https://esperic.net/contact/
定形的な処理は自動化が可能なので分析業務の時短・省力化にも繋がります。
当製品は、デスクトップタイプとサーバータイプ(シングルユーザー用およびマルチユーザー用)で展開します。ユニ社は開発と保守、ESS社は販売とマーケティング及びESPERiCをベースにしたビッグデータ・ソリューションビジネス(コンサルティング及びアプリケーション開発)に取り組むことでビッグデータの利活用支援を進めてまいります。
画像1: https://www.atpress.ne.jp/releases/204695/LL_img_204695_1.png
ESPERiC ビッグデータ処理基盤 3つのソリューション
【ESPERiCの3つのソリューション】
1. WebサービスAPI:カスタマイズアプリケーションでビッグデータをハンドリング
2. Jupyter:Python環境REPL(Read-Eval-Print Loop)でビッグデータをハンドリング
3. Super DataChef V3(以下 SDC3):表計算ライクなGUIでビッグデータをハンドリング
https://esperic.net/solution-hub/
【ESPERiC 主な特長】
ESPERiC:Enhanced SuPER in-memory Columnar solution
◎低コストで データ精錬・統合からデータ蓄積、データ分析まで
一連のビッグデータ処理の基盤として、日々増え続ける一方の取引ログやIoTデータなどのビッグデータをクラウドおよび一般的なPCで超高速にハンドリングできるため、ビッグデータ処理のための設備コストを著しく下げることが可能となりました。
画像2: https://www.atpress.ne.jp/releases/204695/LL_img_204695_2.png
ESPERiC ビッグデータ処理
◆WebサービスAPI:
カスタムメイド/オーダーメイドアプリの開発を容易にするために、WebサービスAPIを提供します。プログラミング言語はJava、C++、Pythonなど 様々な言語が使用できます。(ESPERiC Gear-REST)
◆JupyterおよびPython API:
多くのデータアナリストが利用するJupyter Notebook/LabでESPERiCエンジンの高速処理を利用可能にしました。対話型(REPL:Read-Eval-Print Loop)で分析結果のリアルタイム表示やグラフや表などの見える化が容易になります。また、データ連携で外部のオープンデータなどの取り込みが可能で、自社データと組み合わせた分析や予測などにも対応できます。(ESPERiC Gear)
◆表計算ライクなGUI:
表計算ソフトライクなGUIで、誰でもビッグデータを容易に扱えます。また、ノンプログラミングで一連のデータ加工プロセスを定形業務として自動化できます。(Super DataChef V3)
https://esperic.net/solution/
◎ビッグデータを超高速ハンドリング
ESPERiC独自のアルゴリズムであるインメモリー・カラムナー・テクノロジーにより、最大で20億行、512項目のビッグデータをストレスなく取り扱えます。大部分の処理(サーチ、ソート、集計など)は直ぐに完了し結果が返るので、ビッグデータでもSDC3やJupyter Notebook/Labで対話型のリアルタイム処理を実行できます。
https://esperic.net/technology/
◎1億行の速度ベンチマーク
ESPERiCと同様なインメモリデータフレーム処理のPython/pandas、R/tableとESPERiCとのAPI毎の処理速度比較では、Python/Rに比べ データインポートは3〜13倍、ジョインは15〜34倍、サーチ/ソートは86〜580倍高速です。
画像3: https://www.atpress.ne.jp/releases/204695/LL_img_204695_3.png
1億行の速度ベンチマーク
測定環境
CPU:Intel Xeon E5-2650 2.3 GHz コア数 8 メモリ:132 GB ストレージ:SSD
OS:Ubuntu 18.04 Python:3.6 pandas:0.22 R:3.3
データアナリティクス業務において、およそ80%はデータの準備作業に費やされていると言われています。ESPERiCはビッグデータでも超高速に加工・処理できるので準備作業を大幅に短縮でき、分析結果を素早く得ることができます。また、ビッグデータのため処理性能が十分発揮できないBI分析関連ツールにおいてもESPERiCで分析前にデータ加工・処理をしておけば素早く分析結果を得ることが可能です。
◎適用業務(業務:内容)
アドホックなデータ分析 :セルフサービスBI、アドバンスドアナリティクス
データクレンジング :データ分析・機械学習・AIの前処理、
マスターデータの作成
データマイグレーション :データ移行、データ統合、
移行データプロファイリング
データ加工・編集 :データチェック、データ変換、単位合せ
データ検索・抽出 :名寄せ・重複データ排除、
カード不正使用パターン検出、突合(とつごう)
巨大データ処理 :POSデータ分析、IoTデータ管理、
BOM(部品表)展開、MRP(資材所要計画)
Excel/Access業務の改善※1:データ分析/レポート作成
※1 データが増えたため処理が遅くなった
高速アプリ・バッチ処理 :上記をワンストップで高速に行う必要のあるシステム
(アプリケーションの開発が可能)
◎製品ラインナップ
◆デスクトップタイプ:PCでスタンドアローン利用
◆サーバータイプ :ESPERiCをサーバーで動作
<2種類のサーバータイプ>
・シングルユーザー用:1ユーザー/1クライアントアプリがサーバーの大きなリソースを占有
※巨大データ処理用に、データ容量により使用可能メモリ量の異なるモデルを用意
・マルチユーザー用:複数ユーザー/複数クライアントアプリでサーバーリソースを分割して使用
※同時に複数ユーザー/複数クライアントアプリで使用可能。1ユーザー/1クライアントが使用可能なメモリ量により異なるモデルを用意
◎必要システム環境
OS:デスクトップ Windows10(64bit)以降/macOS Sierra10.12以降
サーバー Windows Server/Linux(Ubuntu)
サポート対象ブラウザー:Google Chrome/Firefox 4以降/Microsoft Edge/Safari
◎製品価格
デスクトップタイプ:1ユーザーライセンス 400,000円〜(税抜)
次年度以降のライセンス更新 120,000円/年〜
(税抜。年間サポート込)
サーバータイプ :販売会社にお問い合わせ下さい。
◎体験版のご案内
ESPERiCは期間無制限の体験版(デスクトップタイプ、機能制限あり)を用意しています。
https://esperic.net/download/
【エスペラントシステム概要】
社名 : 株式会社エスペラントシステム
資本金 : 8,800万円
設立日 : 1979年5月1日
所在地 : 本社 千葉県流山市前平井61番地 ESSビル
代表者名: 代表取締役社長 寺平 英昭
事業内容: コンピュータシステムの設計、システム開発、インフラ環境構築、
保守運用、電気工事、LAN敷設工事、クラウドサービス、人材派遣等
URL : https://www.ess-g.com/
【ユニネットワーク概要】
社名 : 株式会社ユニネットワーク
所在地 : 東京都港区西新橋3-13-3 ユニゾ西新橋三丁目ビル5階
代表者名: 代表取締役 早部 秀一
事業内容: ソフトウェア開発、ソリューション提供(ビッグデータ、セキュリティ)
インフラ基盤構築・システム運用保守
ITスタッフ派遣、有料職業紹介
URL : https://uni-network.com/
【お問い合わせ先】
株式会社エスペラントシステム テクノロジーソリューション本部
TEL : 03-6402-3696
Eメール: contact-esperic2020@esperic.net
URL : https://esperic.net/contact/